KI-Sichtbarkeit prüfen
Kann ChatGPT meine Website lesen? So prüfst du es
Veröffentlicht am · Von Metin Özkan
Ob ChatGPT eine Website als Quelle nutzen kann, hängt nicht an einem einzigen Schalter. Entscheidend sind Entdeckung, erlaubter Zugriff und der Text, den ein Crawler tatsächlich erhält. Mit einem KI-Crawler-Test kannst du diese technischen Voraussetzungen getrennt prüfen.
Die kurze Antwort
ChatGPT kann nicht einfach jede Website in gleicher Weise lesen. Anbieter nutzen unterschiedliche Abrufe für Suche, nutzergesteuerte Anfragen und Training. Eine öffentlich erreichbare Seite mit lesbarem HTML und passenden robots.txt-Regeln schafft eine technische Voraussetzung – sie garantiert aber weder Indexierung noch ein späteres Zitat in einer Antwort.
Prüfe daher nicht nur, ob ein Bot in robots.txt erlaubt ist. Vergleiche auch die im Browser sichtbaren Kernaussagen mit dem initial ausgelieferten HTML. Fehlen Angebot, Zielgruppe, Kontakt oder zentrale Fakten ohne JavaScript, kann ein einfacher Crawler sie nicht auswerten.
Was ein KI-Crawler-Test konkret prüft
Ein sinnvoller Test beginnt mit der öffentlich ausgelieferten robots.txt. Sie zeigt, welche User-Agents der Betreiber nach Zweck erlaubt oder sperrt. Danach folgt ein Abruf ohne JavaScript: Er zeigt den Text, der bereits im ersten HTML-Dokument steht. Die Browseransicht dient als Vergleich, damit eine Rendering-Lücke sichtbar wird.
Metoz prüft genau diese drei Ebenen: Regeln in robots.txt, Crawler-Lesbarkeit des Haupttexts und die Beantwortbarkeit von sechs grundlegenden Fragen allein aus dem Crawler-Text. Das Ergebnis ist ein technischer Befund mit Belegen, kein Versprechen über eine konkrete Antwort von ChatGPT, Perplexity oder Google.
Die häufigsten Gründe, warum wichtiger Inhalt fehlt
Viele moderne Seiten laden den Hauptinhalt erst nach JavaScript-Ausführung. Im Browser sieht das vollständig aus; der erste Abruf enthält dann nur Navigation, Platzhalter oder wenige allgemeine Sätze. Auch Consent-Varianten, Bot-Schutz, Weiterleitungen, zeitweise Fehler und unterschiedliche Auslieferung nach Standort können den Crawler-Text verändern.
Die robuste Lösung ist kein Bot-Sonderfall. Liefere den fachlich wichtigen Hauptinhalt serverseitig oder statisch im HTML aus und ergänze ihn anschließend mit JavaScript. So erhalten Menschen, Suchmaschinen und einfache Crawler dieselbe belastbare Grundfassung.
So gehst du nach einem Befund vor
Wenn robots.txt einen gewünschten Such- oder Agenten-Bot sperrt, triff zuerst eine bewusste Entscheidung über Suche, nutzergesteuerte Abrufe und Training. Diese Zwecke sind nicht identisch. Passe anschließend gezielt die dokumentierten Regeln an und prüfe die öffentliche Datei erneut.
Wenn der Crawler-Text wesentliche Inhalte verliert, prüfe Rendering, CDN- oder Firewall-Regeln und die tatsächlich ausgelieferte HTML-Antwort. Wiederhole den Test nach der Änderung. Eine technische Verbesserung ist dann nachvollziehbar, wenn die relevanten Aussagen in Browser- und Crawler-Ansicht übereinstimmen.
Häufige Fragen
Garantiert eine erlaubte robots.txt-Regel ein ChatGPT-Zitat?
Nein. Eine Erlaubnis beseitigt nur eine mögliche technische Sperre. Ob ein System eine Seite entdeckt, abruft, indexiert oder als Quelle auswählt, entscheidet der jeweilige Anbieter unabhängig.
Welcher Inhalt muss für KI-Crawler im HTML stehen?
Vor allem die Aussagen, die eine korrekte Zusammenfassung tragen: Angebot, Zielgruppe, zentrale Konditionen, Standort, Kontakt und belastbare Belege. Interaktive Ergänzungen können weiterhin JavaScript verwenden.
Reicht eine llms.txt-Datei aus?
Nein. llms.txt kann freiwillig unterstützende Systeme zu wichtigen Seiten führen, ersetzt aber weder crawlbares HTML noch robots.txt, interne Links oder eine XML-Sitemap.