AI crawleři na vašem webu: koho pustit, koho blokovat

Zatímco marketéři řeší viditelnost v AI odpovědích, správci webů řeší opačný konec téhož jevu: AI boti masivně stahují obsah. Podle dat Cloudflare vzrostl podíl GPTBota (OpenAI) na ověřeném botím trafficu z 4,7 % v létě 2024 na 11,7 % o rok později; meziročně jeho aktivita vyrostla o stovky procent a ClaudeBot (Anthropic) se drží těsně pod 10 %. Otázka už nezní, jestli k vám AI boti chodí – ale co s tím.

Co za crawl dostáváte zpět

Cloudflare zavedl užitečnou metriku: poměr crawlů k referralům – kolik stránek si bot stáhne na jednu návštěvu, kterou jeho služba webu přivede. Čísla z roku 2025 mluví jasně:

• Google: zhruba 14 stažených stránek na 1 přivedenou návštěvu.
• Bing: zhruba 41:1.
• Perplexity: řádově stovky ku jedné – nejlepší z čistě AI firem.
• OpenAI: řádově tisíc ku jedné.
• Anthropic: řádově desetitisíce ku jedné.

Není divu, že se weby brání: poté, co Cloudflare v červenci 2025 zapnul blokaci AI crawlerů jako výchozí pro nové domény, přesáhl počet webů blokujících AI trénink 2,5 milionu.

Blokovat, nebo pustit? Záleží, co jste zač

Pro vydavatele, který žije z návštěv na obsahu, může být plošné blokování obhajitelné. Pro firmu, e-shop nebo službu je to většinou vlastní gól: kdo zablokuje AI boty, ten se nedostane do odpovědí, ze kterých dnes přichází nejkvalitnější návštěvnost. Klíčové je rozlišovat typy botů:

• Tréninkoví boti (např. GPTBot, ClaudeBot) – sbírají data pro učení modelů. Blokace = dlouhodobě nižší šance, že vás model „zná“.
• Vyhledávací boti (např. OAI-SearchBot, PerplexityBot) – obsluhují AI vyhledávání s citacemi. Blokace = okamžitá ztráta citací a referralů.
• Boti na vyžádání (např. ChatGPT-User) – načítají stránku, když ji uživatel v chatu právě potřebuje. Blokace = rozbité odkazy na vás přímo v konverzacích.

Praktické doporučení

1. Marketingový web / e-shop: nechte AI boty projít – viditelnost v odpovědích má vyšší hodnotu než ušetřený serverový výkon. V robots.txt řiďte jednotlivé user-agenty, ne plošný zákaz.
2. Placený / unikátní obsah: zvažte blokaci tréninkových botů, ale vyhledávací a on-demand boty ponechte – jinak zmizíte z citací.
3. Pomozte botům k podstatě: soubor llms.txt a čistá struktura webu zkracují cestu k tomu, co má model o vás vědět.
4. Sledujte logy. Podíl AI botů v přístupových logách je dnes stejně důležitá metrika jako návštěvnost z Googlu.

A nezapomeňte: robots.txt rozhoduje jen o vašem webu. To, jestli vás modely doporučí, se z velké části odehrává mimo něj – ve zmínkách a článcích na webech, které AI boti crawlují s nejvyšší prioritou. Právě tam vás dostanou PR články a zmínky z marketplace Linketica.