Grundlagen
Was ist ein KI-Crawler – und was sieht er wirklich?
Veröffentlicht und geprüft am · Von Metin Özkan
Ein KI-Crawler ist ein automatisierter Web-Abruf, der Inhalte für Suche, Antworten, nutzergesteuerte Agenten oder Trainingsdatensätze erfassen kann. Ob er eine Seite lesen darf und was er tatsächlich erhält, sind zwei verschiedene Fragen.
Vier Schritte statt eines einzigen Häkchens
Zuerst muss der Crawler die URL entdecken. Danach entscheiden robots.txt und technische Schutzsysteme, ob er sie abrufen darf. Erst dann zählt, welcher Inhalt im gelieferten HTML steckt. Schließlich entscheidet das jeweilige System selbst, ob es diesen Inhalt indexiert, zitiert oder für eine Antwort verwendet.
Ein erlaubter Bot ist deshalb noch kein Beweis für Sichtbarkeit. Umgekehrt kann eine technisch abrufbare Seite für eine konkrete Frage nutzlos sein, wenn wichtige Angaben nur in Bildern, hinter Interaktionen oder nach JavaScript-Ausführung erscheinen.
- Entdeckung: Links, Sitemap oder direkte URL
- Zugriff: robots.txt, HTTP-Status und Schutzsysteme
- Lesbarkeit: Inhalt im initialen HTML
- Verwendung: Indexierung, Abruf, Zitat oder Training
Warum Browser und Crawler verschiedene Inhalte sehen
Ein moderner Browser führt JavaScript aus, akzeptiert häufig Cookies und baut die Seite schrittweise auf. Ein einfacher Crawler ruft dagegen HTML ab und führt kein JavaScript aus. Bei clientseitig gerenderten Websites kann die Browseransicht deshalb einen vollständigen Artikel zeigen, während der ursprüngliche HTML-Text fast leer bleibt.
Metoz vergleicht beide Fassungen mit derselben Textextraktion. So wird nicht nur eine Wortzahl verglichen, sondern auch, ob die entscheidenden Wörter und Passagen in beiden Ansichten vorkommen.
Such-, Agenten- und Trainingsbots unterscheiden
Bot-Namen verraten oft ihren Zweck. Such-Crawler holen aktuelle Quellen für Such- oder Antwortfunktionen. Agenten-Bots führen einen konkreten Abruf im Auftrag eines Menschen aus. Trainings-Crawler sammeln Inhalte für Modellverbesserung oder Datensätze. Anbieter können mehrere User-Agents mit unterschiedlichen Aufgaben betreiben.
Eine pauschale Regel gegen alle KI-Bots kann daher unbeabsichtigt aktuelle Zitate verhindern, obwohl nur Training ausgeschlossen werden sollte. Jede Entscheidung sollte am dokumentierten Zweck des konkreten User-Agents ausgerichtet sein.
So prüfst du deine Website
Prüfe zuerst die öffentlich ausgelieferte robots.txt und danach das HTML ohne JavaScript. Vergleiche die sichtbaren Kernaussagen: Angebot, Zielgruppe, Preis oder Konditionen, Standort, Kontakt und Abgrenzung. Erst wenn diese Angaben im Crawler-Text vorhanden sind, lohnt sich die Frage nach Zitierfähigkeit.
Ein einzelner Test ist eine Momentaufnahme. Consent-Banner, A/B-Tests, Schutzseiten und temporäre Fehler können das Ergebnis verändern. Wiederhole die Messung nach technischen Änderungen und dokumentiere Datum, URL und verwendeten User-Agent.
Häufige Fragen
Ist Googlebot ein KI-Crawler?
Googlebot ist primär der Web-Crawler der Google-Suche. Für einzelne KI- und Trainingszwecke verwendet Google zusätzliche Steuerungsmöglichkeiten. Die Zwecke sollten nicht pauschal gleichgesetzt werden.
Garantiert ein erlaubter KI-Crawler ein Zitat?
Nein. Eine Erlaubnis beseitigt nur eine mögliche Zugriffssperre. Indexierung, Auswahl und Zitat entscheidet das jeweilige System unabhängig.
Muss eine Website JavaScript abschalten?
Nein. Der zentrale Inhalt sollte jedoch bereits im serverseitig gelieferten HTML stehen oder zuverlässig vorgerendert werden. JavaScript kann die Seite anschließend erweitern.