Log-File-Analyse und Crawl-Budget für große Websites

Bei Websites mit Zehntausenden von URLs zählt nicht nur, was Bots sehen, sondern vor allem, wofür sie ihre Zeit aufwenden. Das nennt man Crawl-Budget – und es ist einer der wenigen Aspekte des SEO, der sich mit harten Daten messen lässt. Die Quelle sind Server-Logs: eine Aufzeichnung jeder Anfrage, die ein Bot tatsächlich gestellt hat. Keine Schätzung, keine Simulation – die Realität.

Warum Crawling-Tools nicht genügen

Gängige SEO-Crawler zeigen, wie eine Website gecrawlt werden könnte. Logs zeigen, wie sie tatsächlich gecrawlt wird – welche Seiten der Googlebot täglich besucht, welche einmal im Monat und welche nie. Dieser Unterschied ist bei großen Websites entscheidend; er enthüllt, wo die Aufmerksamkeit der Bots verschwendet wird und wo sie umgekehrt gar nicht hingelangt.

Was Logs enthüllen

• Welche URLs Bots am häufigsten besuchen – und welche wichtigen Seiten sie ignorieren.
• Verschwendung an parametrischen, duplizierten, Filter- oder Fehler-URLs.
• Wie schnell Bots neuen und wichtigen Inhalt erreichen.
• Statuscodes – unnötige Weiterleitungsketten und Fehler, die das Budget auffressen.

Wie man das Crawl-Budget optimiert

• Begrenzen Sie unnötige URLs – Parameter, Filterkombinationen, Duplikate.
• Halten Sie eine saubere Sitemap mit nur indexierbaren, kanonischen URLs.
• Verlinken Sie auf wichtige Seiten, damit Bots sie leicht und schnell finden.
• Entfernen Sie unnötige Weiterleitungen und beheben Sie Fehlerseiten.

Wann man es angehen sollte

Seien wir fair: Bei kleinen Websites ist das Crawl-Budget kein Problem und es anzugehen wäre Zeitverschwendung – Google crawlt ein paar tausend URLs ohne Mühe. Entscheidend ist es bei Onlineshops und großen Portalen, wo es darüber entscheidet, wie schnell neuer Inhalt in den Index und anschließend in KI-Antworten gelangt. Dort zahlt sich die Log-File-Analyse um ein Vielfaches aus.