Die robots.txt ist zurück in der Aufmerksamkeit – und wird häufiger falsch eingesetzt als je zuvor. Der Grund: Die Anbieter generativer Systeme betreiben nicht einen Crawler, sondern mehrere, mit ganz unterschiedlichen Aufgaben. Wer sie über einen Kamm schert, trifft meist die falschen.

Zwei Arten von Zugriff

Die entscheidende Unterscheidung ist die zwischen Sammeln und Abrufen.

Sammeln für das Training: Ein Crawler lädt Inhalte, die in das Training künftiger Modelle einfließen können. Ob man das möchte, ist eine strategische und teils rechtliche Frage.

Abrufen bei einer Anfrage: Stellt jemand eine Frage, ruft das System die Seite in diesem Moment ab, um die Antwort darauf zu stützen. Genau hier entsteht Sichtbarkeit – und nur hier.

Wer den zweiten Fall sperrt, ist in generierten Antworten nicht vertreten. Wer nur den ersten sperrt, behält die Sichtbarkeit und schließt die Trainingsnutzung aus.

Die relevanten User-Agents

OpenAI

  • GPTBot – Crawler zum Sammeln von Inhalten
  • ChatGPT-User – Abruf, wenn ein Nutzer in ChatGPT einen Link öffnet oder eine Aktion auslöst
  • OAI-SearchBot – Indexierung für die Suchfunktion in ChatGPT

Anthropic

  • ClaudeBot – Crawler zum Sammeln von Inhalten
  • Claude-User – Abruf im Auftrag eines Nutzers
  • Claude-SearchBot – Indexierung für Suchfunktionen

Google

  • Googlebot – die klassische Websuche
  • Google-Extended – steuert die Nutzung für generative Funktionen, nicht die Aufnahme in den Suchindex

Diese Trennung wird oft missverstanden. Eine Sperre für Google-Extended entfernt eine Seite nicht aus der Google-Suche, kann aber die Berücksichtigung in generativen Antworten beeinflussen.

Weitere

  • PerplexityBot und Perplexity-User
  • Applebot und Applebot-Extended
  • meta-externalagent, Amazonbot, Bytespider, MistralAI-User, DuckAssistBot

Die Liste verändert sich. Wer sie einmal schreibt und nie wieder ansieht, arbeitet nach kurzer Zeit mit veralteten Angaben – ein Blick in die eigenen Serverprotokolle nach unbekannten User-Agents lohnt regelmäßig.

Drei Konfigurationen

Maximale generative Sichtbarkeit

User-agent: *
Allow: /
Disallow: /admin/

Sitemap: https://beispiel.de/sitemap.xml

Schlicht und wirksam. Alles ist erlaubt, was nicht ausdrücklich ausgenommen wird.

Sichtbarkeit ja, Training nein

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Claude-User
Allow: /

Ein Mittelweg. Zu beachten: Manche Anbieter nutzen dieselben Daten für beide Zwecke – die Trennung ist eine Absichtserklärung, keine technische Garantie.

Vollständige Sperre

Möglich, hat aber Konsequenzen: keine Nennungen in generierten Antworten. Für Websites, deren Geschäftsmodell auf Auffindbarkeit beruht, ist das selten die richtige Wahl.

Zwei häufige Fehler

Widersprüchliche Regeln. Ein Disallow: / in einem User-agent: *-Block, gefolgt von einem Allow für einen spezifischen Bot – die Auswertung ist nicht bei allen Crawlern identisch. Klarer ist, spezifische Blöcke vollständig auszuformulieren.

robots.txt für Vertrauliches. Die Datei ist eine höfliche Bitte und öffentlich einsehbar. Wer einen Pfad dort einträgt, macht ihn bekannt. Vertrauliche Bereiche gehören hinter eine Authentifizierung, nicht in die robots.txt.

Kontrolle

Nach einer Änderung lohnt der Blick ins Serverprotokoll. Ein Filter auf die relevanten User-Agents zeigt, wer tatsächlich vorbeikommt:

grep -iE "GPTBot|ClaudeBot|PerplexityBot|OAI-SearchBot" access.log | tail -50

Das ist die einzige belastbare Rückmeldung. Alles andere ist Vermutung.