Offene Messmethode · Version 1.0
So misst das Metoz-Observatorium
Die Methode ist bewusst eng, wiederholbar und überprüfbar. Sie trennt beobachtete Technik von Interpretationen und macht Rohdaten, Grenzen und Korrekturweg öffentlich.
Forschungsfrage
Metoz misst, wie viel des im Browser sichtbaren Haupttexts ein gekennzeichneter Crawler ohne JavaScript erhält, welche veröffentlichten robots.txt-Regeln für relevante KI-User-Agents gelten und welche sechs grundlegenden Aussagen aus dem gelieferten Text beantwortbar sind. Die Messung sagt nicht voraus, ob ein Anbieter eine Seite indexiert, zitiert oder empfiehlt.
Korpus und Zeitreihe
Der Korpus v1 umfasst 353 versionierte Domains aus Behörden, DAX und MDAX, reichweitenstarken Nachrichtenseiten und großen Onlineshops. Auswahl, Quelle, Segment und begründete Hinweise stehen im Repository. Jeder Monatslauf verwendet den zu diesem Zeitpunkt versionierten Korpus. Änderungen erfolgen separat und bleiben über Git nachvollziehbar.
Respektvoller Abruf
MetozBot nutzt den User-Agent MetozBot/1.0 (+https://metoz.de/bot), liest die robots.txt und beendet den Crawler-Abruf bei einer Sperre. Pro Domain und Lauf wird genau eine Ziel-URL geprüft. Weiterleitungen auf einen anderen Host lösen eine erneute robots.txt-Prüfung aus. Schutzmaßnahmen und HTTP-Fehler werden nicht umgangen.
Doppelansicht und Extraktion
Die Crawler-Fassung entsteht mit einem normalen HTTP-Abruf ohne JavaScript. Die Menschenansicht wird separat in Chromium mit JavaScript gerendert. Beide HTML-Fassungen laufen durch dieselbe Haupttext-Extraktion. Dadurch vergleicht Metoz Inhalt mit Inhalt und nicht den vollständigen DOM mit einem Screenshot.
Kennzahlen
Die Crawler-Abdeckung misst den Anteil der Wörter aus dem gerenderten Haupttext, die im Crawler-Text vorkommen. Die Inhaltsähnlichkeit bewertet die Wortüberschneidung beider Fassungen symmetrisch. Die Wortdifferenz ist Crawler-Wortzahl minus Browser-Wortzahl. Zusammen zeigen die Werte fehlenden Umfang und inhaltliche Abweichung; einzeln sind sie kein Qualitätsurteil.
Bot-Regeln und Zitat-Test
Die datierte Bot-Liste ordnet dokumentierte User-Agents den Zwecken Suche, nutzergesteuerter Agentenabruf oder Training zu. Der Zitat-Test erhält ausschließlich den crawler-sichtbaren Text, auf höchstens 6.000 Text-Token gekürzt, und beantwortet sechs feste Fragen. Nicht belegbare Antworten werden ausdrücklich als nicht beantwortbar markiert.
Rohdaten, Lizenz und Reproduzierbarkeit
Jeder Lauf schreibt neue JSONL-Rohdaten sowie CSV und Parquet. Alte Messungen werden nie überschrieben. Veröffentlicht werden Messwerte und Bot-Regeln, aber keine kopierten Seitentexte oder Screenshots. Der Datensatz steht unter CC BY 4.0; als Quelle ist „Metoz-Observatorium, metoz.de“ mit Link zum verwendeten Lauf zu nennen.
Grenzen und Korrekturen
Zwei getrennte Abrufe können durch A/B-Tests, Consent, Geografie, Personalisierung oder kurzfristige Fehler variieren. Die Messung bewertet öffentlich beobachtbare Antworten, keine Absichten eines Betreibers. Sachliche Korrekturhinweise, erneute Prüfungen und Opt-outs gehen an info@metoz.de. Korrekturen an veröffentlichten Daten erfolgen als neuer, datierter Lauf statt durch Überschreiben.