metoz.de

KI-Crawler-Ansicht

So liest eine KI
deine Website.

Der kostenlose KI-Crawler-Test zeigt die Differenz zwischen dem, was Menschen sehen, und dem Text, den ein Crawler ohne JavaScript erhält. So prüfst du, ob wichtige Inhalte für KI-Systeme technisch lesbar sind.

Kein Login. Der Abruf respektiert die robots.txt der Zielseite.

Was der Test beantwortet

Abrufbar ist nicht automatisch verständlich.

Eine Website kann für einen Bot freigegeben sein und trotzdem kaum verwertbaren Text liefern. Metoz trennt deshalb Zugang, Lesbarkeit und Beantwortbarkeit – mit sichtbaren Belegen statt eines einzelnen Häkchens.

01

Doppelansicht

Browser mit JavaScript und MetozBot ohne JavaScript werden mit derselben Haupttext-Extraktion verglichen.

02

Türsteher

Die robots.txt wird nach Suche, nutzergesteuerten Agentenabrufen und Training ausgewertet.

03

Zitat-Test

Sechs feste Fragen zeigen, welche Kernaussagen allein aus dem crawler-sichtbaren Text belegbar sind.

Vom Befund zur Änderung

Konkrete Arbeitsunterlagen statt einer weiteren Checkliste.

Nach dem Scan erzeugt die Metoz-Werkstatt einen belegten Arbeitsauftrag für Entwickler oder Coding-Agenten. Zusätzlich helfen eigenständige Werkzeuge bei robots.txt-Regeln und fehlenden Website-Aussagen.

01

KI-Arbeitsauftrag aus dem Scan

Empfehlungen, Messwerte, Leitplanken und Abnahme als Markdown.

02

robots.txt für KI-Bots

Suche, Agentenabrufe und Training getrennt konfigurieren.

03

Content-Briefing

Bestätigte Kernaussagen sammeln, ohne fehlende Fakten zu erfinden.

Werkzeuge

Metoz-Observatorium

353 deutsche Websites, jeden Monat gleich gemessen.

Das Observatorium macht aus Einzelbeobachtungen eine offene Zeitreihe: Behörden, DAX und MDAX, Nachrichtenseiten und Onlineshops. Rohdaten, CSV und Parquet erscheinen unter CC BY 4.0.

Observatorium ansehen

353

Domains im Korpus

4

Segmente

monatlich

fester Rhythmus

CC BY

offene Lizenz

KI-Crawler-Sichtbarkeit verstehen

Technische Grundlagen und konkrete Korrekturwege – sachlich, offen und ohne Rankingversprechen.

Häufige Fragen

Was prüft Metoz?

Metoz vergleicht den gerenderten Haupttext einer Website mit dem Text eines gekennzeichneten Crawlers ohne JavaScript. Zusätzlich werden robots.txt-Regeln für KI-Bots und sechs feste Fragen zur Zitierfähigkeit geprüft.

Ist Metoz ein vollständiger SEO-Audit?

Nein. Der Scan beantwortet gezielt, was ein KI-Crawler lesen darf und tatsächlich als Haupttext erhält. Rankings, Backlinks, interne Sucharchitektur und viele klassische SEO-Faktoren sind nicht Gegenstand des Tests.

Werden Scan-Seiten von Suchmaschinen indexiert?

Neue Scan-Permalinks bleiben standardmäßig auf noindex. Eine Freigabe erfolgt nur nach mehreren unabhängigen Anfragen. Korpusmessungen erscheinen als offener Datensatz und in neutralen Segmentlisten; ihre direkt erreichbaren Einzelansichten bleiben noindex.

Respektiert Metoz die robots.txt?

Ja. MetozBot identifiziert sich eindeutig, prüft die robots.txt und bricht den Crawler-Abruf ab, wenn die Zielseite ihn sperrt.

Messmethode, Grenzen und Korrekturweg sind vollständig unter Methodik. Kontakt: info@metoz.de.

KI-Crawler-Test: So liest eine KI deine Website