KI-Crawler auf Ihrer Website: Wen hereinlassen, wen blockieren

Während Marketer an der Sichtbarkeit in KI-Antworten arbeiten, beschäftigt Website-Betreiber das andere Ende desselben Phänomens: KI-Bots laden massiv Inhalte herunter. Laut Cloudflare-Daten stieg der Anteil des GPTBot (OpenAI) am verifizierten Bot-Traffic von 4,7 % im Sommer 2024 auf 11,7 % ein Jahr später; seine Aktivität wuchs im Jahresvergleich um Hunderte Prozent, und ClaudeBot (Anthropic) hält knapp 10 %. Die Frage lautet nicht mehr, ob KI-Bots zu Ihnen kommen – sondern was Sie damit tun.

Was Sie für das Crawlen zurückbekommen

Cloudflare führte eine nützliche Metrik ein: das Verhältnis von Crawls zu Referrals – wie viele Seiten ein Bot pro einem Besuch herunterlädt, den sein Dienst der Website bringt. Die Zahlen von 2025 sprechen eine klare Sprache:

• Google: etwa 14 heruntergeladene Seiten pro 1 vermitteltem Besuch.
• Bing: etwa 41:1.
• Perplexity: in der Größenordnung von Hunderten zu eins – der beste der reinen KI-Anbieter.
• OpenAI: in der Größenordnung von tausend zu eins.
• Anthropic: in der Größenordnung von Zehntausenden zu eins.

Kein Wunder, dass sich Websites wehren: Nachdem Cloudflare im Juli 2025 die Blockade von KI-Crawlern zum Standard für neue Domains machte, überstieg die Zahl der Websites, die KI-Training blockieren, 2,5 Millionen.

Blockieren oder durchlassen? Kommt darauf an, wer Sie sind

Für einen Publisher, der von Content-Besuchen lebt, kann eine pauschale Blockade vertretbar sein. Für ein Unternehmen, einen E-Shop oder einen Dienst ist sie meist ein Eigentor: Wer KI-Bots blockiert, kommt nicht in die Antworten, aus denen heute der hochwertigste Traffic stammt. Entscheidend ist, die Bot-Typen zu unterscheiden:

• Trainings-Bots (z. B. GPTBot, ClaudeBot) – sammeln Daten für das Modelltraining. Blockade = langfristig geringere Chance, dass das Modell Sie „kennt“.
• Such-Bots (z. B. OAI-SearchBot, PerplexityBot) – bedienen die KI-Suche mit Zitaten. Blockade = sofortiger Verlust von Zitaten und Referrals.
• On-Demand-Bots (z. B. ChatGPT-User) – laden eine Seite, wenn ein Nutzer sie im Chat gerade braucht. Blockade = kaputte Links auf Sie direkt in den Konversationen.

Praktische Empfehlungen

1. Marketing-Website / E-Shop: Lassen Sie KI-Bots durch – Sichtbarkeit in Antworten ist mehr wert als gesparte Serverleistung. Steuern Sie einzelne User-Agents in der robots.txt, kein Pauschalverbot.
2. Bezahlter / einzigartiger Content: Erwägen Sie die Blockade von Trainings-Bots, lassen Sie aber Such- und On-Demand-Bots zu – sonst verschwinden Sie aus den Zitaten.
3. Helfen Sie den Bots zum Wesentlichen: Eine llms.txt-Datei und eine saubere Website-Struktur verkürzen den Weg zu dem, was das Modell über Sie wissen soll.
4. Beobachten Sie die Logs. Der Anteil der KI-Bots in den Zugriffslogs ist heute eine ebenso wichtige Metrik wie der Traffic von Google.

Und vergessen Sie nicht: robots.txt entscheidet nur über Ihre eigene Website. Ob die Modelle Sie empfehlen, entscheidet sich großteils außerhalb – in Erwähnungen und Artikeln auf Websites, die KI-Bots mit höchster Priorität crawlen. Genau dorthin bringen Sie PR-Artikel und Erwähnungen vom Marktplatz Linketica.