metoz.de/ Werkzeuge

Kostenloser Konfigurator

robots.txt für KI-Bots sicher konfigurieren

Suchbots, nutzergesteuerte Agenten und Trainingscrawler erfüllen unterschiedliche Zwecke. Wähle bewusst, welche Gruppen vollständig gesperrt werden sollen, und prüfe den erzeugten Ausschnitt vor der Veröffentlichung.

Welche Zwecke möchtest du vollständig sperren?

Nicht ausgewählte Zwecke erhalten keine zusätzliche Regel. So überschreibt der Entwurf nicht versehentlich die normalen Pfadregeln deiner Website.

Crawler-Zwecke auswählen
Der Entwurf ist kein vollständiger Ersatz für deine robots.txt. Bereits vorhandene Blöcke desselben User-Agents müssen fachlich zusammengeführt werden.

Dein ergänzender Entwurf

# KI-Crawler-Regeln
# Erstellt mit metoz.de · Bot-Quellen geprüft bis 2026-08-14
# Nur ergänzende Vollsperren. Normale Pfadregeln bleiben in deiner bestehenden robots.txt.

# Suche und Quellen
# Keine zusätzliche Sperre erzeugt. Bestehende Regeln gelten weiter.

# Nutzergesteuerte Abrufe
# Keine zusätzliche Sperre erzeugt. Bestehende Regeln gelten weiter.

# Training und Datensätze
# Keine zusätzliche Sperre erzeugt. Bestehende Regeln gelten weiter.

# Vor Veröffentlichung prüfen:
# 1. Bereits vorhandene Blöcke derselben User-Agents zusammenführen.
# 2. Die vollständige robots.txt öffentlich abrufen und wichtige URLs testen.
# 3. Suchbots nur sperren, wenn ihre Such- und Quellenfunktion bewusst entfallen soll.

Bot-Quellen und Prüfdatum

So verwendest du den Entwurf

  1. 1. Bestehende Datei sichern. Öffne die öffentlich ausgelieferte robots.txt und suche nach denselben User-Agents.
  2. 2. Regeln zusammenführen. Übernimm keine doppelten oder widersprüchlichen Gruppen.
  3. 3. Öffentlich testen. Prüfe Statuscode, Inhalt und wichtige URLs nach dem Upload.
  4. 4. Erneut messen. Starte einen neuen Metoz-Scan und kontrolliere die angezeigten Folgen je Bot.

Die Bot-Liste verändert sich. Metoz führt deshalb Quelle und Prüfdatum je Anbieter mit. Weitere Hintergründe stehen in robots.txt für KI-Bots richtig steuern.

Häufige Fragen

Ersetzt der Entwurf meine vollständige robots.txt?

Nein. Er erzeugt ausschließlich ergänzende Vollsperren für ausgewählte Zwecke. Bestehende Pfadregeln und doppelte User-Agent-Blöcke müssen vor der Veröffentlichung geprüft und zusammengeführt werden.

Warum erzeugt Metoz keine ausdrücklichen Allow-Regeln?

Ein spezifischer Allow-Block kann allgemeine Schutzregeln unbeabsichtigt überschreiben. Nicht ausgewählte Zwecke bleiben deshalb ohne zusätzliche Metoz-Regel und folgen weiterhin der vorhandenen robots.txt.

Garantiert eine Erlaubnis ein Zitat?

Nein. robots.txt regelt nur eine mögliche Zugriffssperre. Entdeckung, Abruf, Indexierung und Auswahl als Quelle bleiben getrennte Entscheidungen des jeweiligen Dienstes.

Eigene robots.txt prüfenAlle Werkzeuge
robots.txt für KI-Bots konfigurieren | metoz.de