metoz.de/ Wissen

Crawler-Lesbarkeit

JavaScript und KI-Crawler: Wenn der Hauptinhalt fehlt

Veröffentlicht und geprüft am · Von Metin Özkan

Eine Seite kann im Browser vollständig aussehen und im ersten HTML fast keinen Hauptinhalt enthalten. Für Crawler ohne JavaScript und viele agentische Abrufe entsteht dann eine inhaltliche Lücke.

Initiales HTML gegen gerenderte Ansicht

Beim ersten HTTP-Abruf erhält ein Client ein HTML-Dokument. Server Rendering und statische Generierung schreiben den Hauptinhalt bereits in dieses Dokument. Rein clientseitige Anwendungen liefern dagegen oft nur eine leere Wurzel und JavaScript-Dateien, die den Inhalt später nachladen.

Ein Browser führt diese Dateien aus. Ein einfacher Crawler tut das nicht. Selbst Suchmaschinen, die JavaScript rendern können, behandeln Rendering als zusätzliche Arbeitsstufe. Für zuverlässige Lesbarkeit ist entscheidender Inhalt im initialen HTML die robustere Grundlage.

Welche Inhalte zuerst sichtbar sein müssen

Priorisiere alle Aussagen, die eine Suchmaschine oder ein Assistent für eine korrekte Zusammenfassung braucht: Seitentitel, Hauptüberschrift, Leistungsbeschreibung, Zielgruppe, zentrale Konditionen, Standort, Kontakt und Belege. Interaktive Rechner, Filter und personalisierte Bereiche dürfen weiterhin JavaScript verwenden.

Auch strukturierte Daten sollten zum sichtbaren Inhalt passen. JSON-LD kann fehlenden Haupttext nicht ersetzen und darf keine Angaben behaupten, die Nutzer auf der Seite nicht finden.

Technische Lösungswege

Bei modernen Frameworks sind statische Generierung oder serverseitiges Rendering meist die beste Wahl für öffentliche Inhaltsseiten. Hydration macht die bereits gelieferte Seite anschließend interaktiv. Für hochdynamische Daten können serverseitige Platzhalter mit verständlichem Grundinhalt und späterer Aktualisierung kombiniert werden.

  • Static Site Generation für dauerhaftes Wissen
  • Server Rendering für aktuelle öffentliche Daten
  • Streaming nur mit sinnvollem HTML-Grundgerüst
  • Progressive Enhancement für Formulare und Interaktion

Richtig testen

Vergleiche nicht nur Screenshots oder DOM-Bäume nach dem Rendering. Rufe die URL zusätzlich mit einem klaren Crawler-User-Agent ohne JavaScript ab und extrahiere aus beiden Fassungen denselben Haupttext. Wortabdeckung und Inhaltsähnlichkeit beantworten unterschiedliche Fragen und sollten gemeinsam betrachtet werden.

Teste außerdem HTTP-Status, Weiterleitungen, Canonical, robots.txt und Schutzseiten. Eine niedrige Abdeckung kann aus JavaScript entstehen, aber auch aus Consent-Varianten, Bot-Abwehr, geografischer Auslieferung oder temporären Fehlern.

Häufige Fragen

Kann Google JavaScript rendern?

Google kann viele JavaScript-Seiten rendern. Das ist trotzdem eine zusätzliche Verarbeitungsstufe und sagt nichts darüber aus, was andere Crawler oder Agenten ohne Rendering sehen.

Ist Client-Side Rendering grundsätzlich schlecht?

Nein. Für öffentliche, suchrelevante Hauptinhalte ist eine serverseitige oder statische Grundausgabe robuster. Interaktive Teile können clientseitig bleiben.

Reicht ein Prerendering nur für Bots?

Bot-spezifisch abweichende Inhalte sind riskant. Besser ist dieselbe inhaltliche Grundfassung für Menschen und Crawler, ergänzt durch JavaScript im Browser.