KI-Crawler und Verlage: blockieren oder davon profitieren?

Für Verlage ist es das unangenehmste Thema der letzten zwei Jahre. Sprachmodelle lernen und antworten aus Content, den jemand geschrieben und bezahlt hat – und der Traffic, der früher dafür zurückkam, schrumpft. Die Frage „blockieren oder nicht“ hat dabei keine einzig richtige Antwort; sie hat mehrere Optionen mit unterschiedlichen Folgen.

Wie ungleich das Verhältnis ist

Die Cloudflare-Daten von 2025 geben einen Rahmen, den man sich merken sollte: Während bei Google auf einen vermittelten Besuch rund 14 heruntergeladene Seiten entfallen, sind es bei Perplexity Hunderte, bei OpenAI ungefähr tausend und bei Anthropic Zehntausende. Anders gesagt: Die klassische Suchmaschine war ein Handel, dies ist bislang überwiegend eine Einbahn-Abnahme.

Dazu kommen die Daten zum Leserverhalten: Laut Pew Research klickt ein Nutzer bei angezeigter KI-Übersicht nur in 8 % der Fälle auf ein klassisches Ergebnis gegenüber 15 % ohne sie – und auf einen Link innerhalb der Übersicht nur in 1 %. Zero-Click trifft die Medien härter als alle anderen, weil ihr Produkt genau die Information ist, die die Übersicht liefert.

Unterscheiden Sie, mit wem Sie es eigentlich zu tun haben

Die flächendeckende Blockade von „KI-Bots“ ist ein grobes Werkzeug, denn es ist keine einheitliche Gruppe:

• Trainings-Bots (z. B. GPTBot, ClaudeBot) sammeln Daten für das Lernen der Modelle. Einen Besuch geben sie Ihnen praktisch nie zurück.
• Such-Bots mit Zitaten (z. B. OAI-SearchBot, PerplexityBot) bedienen Antworten, in denen Ihr Medium genannt und verlinkt wird. Der Traffic ist klein, aber die Erwähnung existiert.
• On-Demand-Bots (z. B. ChatGPT-User) laden eine Seite, weil ein Nutzer sie gerade angefordert hat. Das ist einem gewöhnlichen Besuch am nächsten.

Jeder von ihnen lässt sich in der robots.txt separat steuern. Die vernünftige Ausgangsposition für die meisten Medien: Trainings-Bots erwägen, Such- und On-Demand-Bots durchlassen. Sich aus den Antworten mit Zitaten auszuschließen heißt, von dem Ort zu verschwinden, an dem sich ein Teil des Publikums heute sein Bild davon macht, welche Medien lesenswert sind.

Drei Strategien, die heute Sinn ergeben

1. Selektiver Zugang. Den Such-Bots öffnen, die Trainings-Bots beschränken – besonders beim Archiv und exklusivem Content. Geringes Risiko, kein Sichtbarkeitsverlust.
2. Bezahlter Zugang. Infrastruktur-Player (Cloudflare und andere) bieten heute Modi an, in denen der Crawler entweder zahlt oder nicht durchkommt. Für ein Medium mit solidem Content-Volumen ist es ein realer Weg, aus der Abnahme Einnahmen zu machen.
3. Lizenzierung. Direkte Vereinbarungen mit den Modellbetreibern. Vor allem großen Verlagen zugänglich, aber kleinere Titel können gemeinsam im Rahmen von Branchenverbänden vorgehen.

Warum es sich lohnt, zitierte Quelle zu sein

Traffic ist nicht die einzige Währung. Wenn Ihr Medium wiederholt als Quelle in KI-Antworten erscheint, wächst seine wahrgenommene Autorität – und genau die kaufen die Werbetreibenden bei Ihnen. Ein Titel, auf den sich die Modelle berufen, ist für Auftraggeber von PR-Artikeln wertvoller als ein Titel mit demselben Traffic, der in den Antworten fehlt. Die Zitierbarkeit lässt sich sogar belegen: Stellen Sie den Modellen Anfragen aus Ihrem Fach und halten Sie fest, wie oft Sie als Quelle angeführt sind. Es ist ein Argument für Verkaufsgespräche, das bisher kaum jemand nutzt.

Was diese Woche zu tun ist

1. Schauen Sie in die Logs, wie viel Traffic Ihnen die KI-Bots real nehmen – ohne Zahlen entscheidet es sich schlecht.
2. Gehen Sie die robots.txt durch und teilen Sie die Bots in die drei Gruppen oben statt einer Pauschalregel.
3. Prüfen Sie, ob die Modelle Sie bei den Themen erwähnen, auf denen Sie die Marke aufbauen.
4. Ergänzen Sie diese Angabe in der Präsentation für Werbetreibende neben Traffic und DA.

Und dann geht es nur noch darum, dass die Auftraggeber, die das schätzen, von Ihrem Titel erfahren. Genau deshalb ergibt es Sinn, das Medium dort sichtbar zu haben, wo Werbetreibende und Agenturen Medien auswählen – zum Beispiel auf dem Marketplace Linketica, wo Sie Parameter, Regeln und Preisliste selbst verwalten.