Metoz-Observatorium · 19. August 2026
Wie lesbar ist das deutsche Web für KI-Crawler?
Dieser Bericht fasst einen vollständigen, datierten Lauf über den unveränderten Korpus zusammen. Er beschreibt öffentlich beobachtbare Abrufe und robots.txt-Regeln – keine Absichten der Betreiber und keine Garantie für Zitate.
Domains
353
Erfolgreiche Scans
240
Ø Crawler-Abdeckung
76%
Mindestens ein Bot blockiert
8
Vergleich nach Segment
| Segment | Domains | Erfolgreich | Ø Abdeckung | Ø Ähnlichkeit |
|---|---|---|---|---|
| Behörden | 52 | 35 | 77% | 67% |
| Handel | 100 | 54 | 69% | 68% |
| DAX und MDAX | 90 | 67 | 73% | 69% |
| Nachrichten | 111 | 84 | 82% | 80% |
Daten und Nachprüfbarkeit
Der Datensatz enthält alle veröffentlichten Messwerte dieses Laufs. Alte Dateien werden bei Korrekturen nicht verändert; stattdessen folgt ein neuer datierter Lauf.
Die vollständige Methodik und ihre Grenzen erläutern, wie die Daten entstehen. Für die Einordnung eines einzelnen Scans hilft die Hilfeseite. Sachliche Korrekturhinweise und Opt-outs: MetozBot.