Crawlery AI na Twojej stronie: kogo wpuścić, kogo zablokować

Podczas gdy marketerzy zajmują się widocznością w odpowiedziach AI, administratorzy stron mierzą się z drugim końcem tego samego zjawiska: boty AI masowo pobierają treści. Według danych Cloudflare udział GPTBota (OpenAI) w zweryfikowanym ruchu botów wzrósł z 4,7 % latem 2024 do 11,7 % rok później; jego aktywność rok do roku wzrosła o setki procent, a ClaudeBot (Anthropic) trzyma się tuż pod 10 %. Pytanie nie brzmi już, czy boty AI do Ciebie przychodzą – ale co z tym zrobić.

Co dostajesz w zamian za crawl

Cloudflare wprowadził użyteczną metrykę: stosunek crawli do referrali – ile stron bot pobiera na jedną wizytę, którą jego usługa przyprowadzi na stronę. Liczby z 2025 roku mówią jasno:

• Google: około 14 pobranych stron na 1 przyprowadzoną wizytę.
• Bing: około 41:1.
• Perplexity: rzędu setek do jednego – najlepszy z czysto AI firm.
• OpenAI: rzędu tysiąca do jednego.
• Anthropic: rzędu dziesiątek tysięcy do jednego.

Nic dziwnego, że strony się bronią: po tym, jak Cloudflare w lipcu 2025 włączył blokadę crawlerów AI jako domyślną dla nowych domen, liczba stron blokujących trening AI przekroczyła 2,5 miliona.

Blokować czy wpuścić? Zależy, kim jesteś

Dla wydawcy żyjącego z wizyt na treściach ogólna blokada może być uzasadniona. Dla firmy, e-sklepu czy usługi to zwykle strzał w kolano: kto zablokuje boty AI, nie trafi do odpowiedzi, z których dziś płynie najbardziej wartościowy ruch. Kluczowe jest rozróżnianie typów botów:

• Boty treningowe (np. GPTBot, ClaudeBot) – zbierają dane do uczenia modeli. Blokada = długoterminowo mniejsza szansa, że model Cię „zna“.
• Boty wyszukiwania (np. OAI-SearchBot, PerplexityBot) – obsługują wyszukiwanie AI z cytowaniami. Blokada = natychmiastowa utrata cytowań i referrali.
• Boty na żądanie (np. ChatGPT-User) – pobierają stronę, gdy użytkownik właśnie potrzebuje jej w czacie. Blokada = zepsute linki do Ciebie bezpośrednio w rozmowach.

Praktyczne zalecenia

1. Strona marketingowa / e-sklep: przepuść boty AI – widoczność w odpowiedziach jest warta więcej niż zaoszczędzona moc serwera. W robots.txt steruj pojedynczymi user-agentami, nie zakazem ogólnym.
2. Treści płatne / unikalne: rozważ blokadę botów treningowych, ale zostaw boty wyszukiwania i na żądanie – inaczej znikniesz z cytowań.
3. Pomóż botom dotrzeć do sedna: plik llms.txt i czysta struktura strony skracają drogę do tego, co model ma o Tobie wiedzieć.
4. Śledź logi. Udział botów AI w logach dostępowych to dziś równie ważna metryka jak ruch z Google.

I pamiętaj: robots.txt decyduje tylko o Twojej stronie. To, czy modele Cię polecą, w dużej mierze rozstrzyga się poza nią – we wzmiankach i artykułach na stronach, które boty AI crawlują z najwyższym priorytetem. Właśnie tam trafisz dzięki artykułom PR i wzmiankom z marketplace Linketica.