KI-Crawler blockieren und trotzdem in ChatGPT gefunden werden

Stand: 3. November 2026

Bei Website-Checks habe ich schon gesperrte KI-Bots gefunden. Von außen sieht man einer Sperre nicht an, ob sie gewollt ist. Hinter ihr kann ein klarer Wunsch stehen: Die eigenen Texte sollen nicht ins KI-Training. Dafür musst du aber nicht jeden KI-Bot aussperren, denn bei OpenAI und Anthropic laufen Training und Suche über verschiedene Bots.

Hier liest du, welcher Bot wofür zuständig ist, welche robots.txt zu welchem Ziel passt und wie du deine eigene Website prüfst.

Kann ich KI-Training sperren und trotzdem in ChatGPT erscheinen?

Ja, bei ChatGPT geht das. OpenAI nutzt für Training und Suche zwei Bots, die du in der robots.txt einzeln erlauben oder sperren kannst.

GPTBot sammelt Inhalte, die ins Training der KI-Basismodelle von OpenAI einfließen können. Sperrst du ihn, signalisierst du laut OpenAI, dass deine Inhalte dafür nicht genutzt werden sollen. OAI-SearchBot sorgt dafür, dass Websites in den Suchergebnissen von ChatGPT auftauchen. Laut der Dokumentation von OpenAI zu seinen Crawlern sind beide Einstellungen unabhängig voneinander. Erlaubst du beide, kann OpenAI einen einzigen Abruf für beide Zwecke nutzen.

Die Gegenrichtung zählt genauso. Sperrst du OAI-SearchBot, erscheint deine Seite laut OpenAI nicht in den Suchantworten von ChatGPT, höchstens noch als Navigationslink. Für die Suche empfiehlt OpenAI außerdem, Anfragen aus seinen veröffentlichten IP-Bereichen zuzulassen. Eine Firewall kann den Such-Bot also abweisen, obwohl die robots.txt ihn erlaubt.

Nach einer Änderung der robots.txt brauchen die Suchsysteme von OpenAI laut eigener Angabe etwa 24 Stunden. Die Freigabe macht eine Nennung in ChatGPT möglich, erzwingen kann sie sie nicht.

Das gilt für OpenAI. Die anderen Anbieter regeln es ähnlich, aber nicht gleich.

Welcher KI-Bot macht was?

Für deine Entscheidung zählt bei jedem Bot eine Frage: Holt er Inhalte fürs Training, für die Suche oder nur dann, wenn ein Nutzer gerade danach fragt? Such-Bots entscheiden mit, ob du in KI-Antworten auftauchst. Trainings-Bots liefern Material für künftige Modelle.

Quellen: Dokumentationen von OpenAI, Anthropic, Perplexity und Google, Stand 3. November 2026. Microsoft ändert seine Regeln gerade, mehr dazu im Abschnitt über 2027.

Drei Zeilen der Tabelle brauchen eine Erklärung.

PerplexityBot sammelt keine Trainingsdaten. Laut den Angaben von Perplexity zu seinen Crawlern dient er der Suche und wird nicht genutzt, um Inhalte für KI-Basismodelle zu sammeln. Wer PerplexityBot sperrt, sperrt also den Such-Bot.

Die Bots für Nutzerfragen halten sich nicht alle an die robots.txt. Für ChatGPT-User und Perplexity-User gilt sie laut den Anbietern womöglich nicht. Anthropic schreibt im Hilfe-Center zu seinen Crawlern dagegen, dass sich seine Bots daran halten. Über die ChatGPT-Suche entscheidet laut OpenAI ohnehin OAI-SearchBot.

Google-Extended ist kein eigener Bot. Laut Googles Dokumentation zu Google-Extended ist es eine Kennung in der robots.txt, gecrawlt wird mit den normalen Google-Bots. Sie steuert das Training künftiger Gemini-Modelle und das Grounding in den Gemini Apps, also das Nachschlagen aktueller Inhalte für eine Antwort. Auf die Google-Suche hat sie laut Google keinen Einfluss, ein Rankingsignal ist sie auch nicht.

So sieht die robots.txt aus

Die robots.txt ist eine Textdatei im Hauptverzeichnis deiner Website, erreichbar unter deinedomain.de/robots.txt. Welche Regeln hineingehören, hängt von deinem Ziel ab:

Ganz ausschließen kannst du KI-Antworten auch mit der dritten Zeile nicht. Abrufe auf Nutzerwunsch wie ChatGPT-User und Perplexity-User halten sich laut den Anbietern womöglich nicht an die robots.txt.

Wie die zweite Zeile in der Datei aussieht, zeigt ein Beispiel. Es ist ein Muster zur Erklärung, kein Fall von einer echten Website. Angenommen, jemand will das KI-Training verhindern und sperrt dafür alle KI-Bots, die er findet:

# Vorher: alle KI-Bots gesperrt
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Disallow

# Vorher: alle KI-Bots gesperrt
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Disallow

# Vorher: alle KI-Bots gesperrt
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Disallow

Mehrere User-agent-Zeilen über einer Regel bilden eine Gruppe, die Regel gilt für alle. Diese Datei sperrt das Training von OpenAI und Anthropic. Sie sperrt aber auch die Suche in ChatGPT, Claude und Perplexity. Für das eigentliche Ziel reicht diese Gruppe:

# Nachher: nur KI-Training gesperrt
User-agent: GPTBot
User-agent: ClaudeBot
Disallow

# Nachher: nur KI-Training gesperrt
User-agent: GPTBot
User-agent: ClaudeBot
Disallow

# Nachher: nur KI-Training gesperrt
User-agent: GPTBot
User-agent: ClaudeBot
Disallow

Für die Such-Bots gilt jetzt der allgemeine Block User-agent: *. Fehlt er, gelten für sie keine robots.txt-Regeln, so legt es der Internet-Standard RFC 9309 fest. Steht im allgemeinen Block Disallow: /, bleiben die Such-Bots allerdings gesperrt.

Google-Extended steht bewusst nicht im Beispiel, weil die Kennung neben dem Training auch das Grounding in Gemini sperrt.

Beim Einbau helfen drei Regeln:

• Ein eigener Block ersetzt den allgemeinen. Hat ein Bot eine eigene Gruppe, liest er den Block User-agent: * nicht mehr mit. Google schreibt ausdrücklich, dass eigene und allgemeine Gruppen nicht zusammengeführt werden. Legst du etwa einen Block an, der OAI-SearchBot ausdrücklich erlaubt, gilt eine allgemeine Sperre für deinen Admin-Bereich für ihn nicht mehr. Wiederhole solche Sperren dann in seinem Block.

• Jede Subdomain braucht eine eigene Datei. Eine robots.txt gilt nur für den Host, auf dem sie liegt. Für shop.deinedomain.de zählt also nicht die Datei von deinedomain.de.

• Sperre über die robots.txt, nicht über IP-Adressen. Anthropic schreibt, dass eine Sperre über IP-Adressen den Opt-out unzuverlässig machen kann, weil der Bot dann die robots.txt nicht mehr lesen kann.

Eine Sperre ist eine Bitte an die Bots, kein technischer Schutz. Die genannten Anbieter sagen zu, sie zu beachten, mit den beschriebenen Ausnahmen für Abrufe auf Nutzerwunsch.

Was sich bis 2027 ändert

Die heutigen Bot-Regeln gelten weiter. Neu kommt ein gemeinsames Signal fürs Training dazu, außerdem trennt Microsoft Training und KI-Antworten.

Bisher sperrst du jeden Trainings-Bot einzeln. Eine Arbeitsgruppe der IETF, die Internet-Standards entwickelt, arbeitet an einem gemeinsamen Signal. Damit sagst du allen teilnehmenden Anbietern zugleich, ob du Training erlaubst. Google und Microsoft nennen dafür die Zeile User-Agent: __usage_ai-training in der robots.txt. Noch ist das ein Entwurf und kein fertiger Standard.

Quellen: Ankündigung von OpenAI vom 30. Oktober 2026, Crawler-Dokumentation von Google, Bing Blog vom 30. Oktober 2026. OpenAI hat die genaue Umsetzung noch nicht veröffentlicht, die Steuerung über GPTBot und OAI-SearchBot gilt laut OpenAI weiter.

Am weitesten geht Microsoft. Laut dem Bing Blog vom 30. Oktober 2026 stellst du ab Februar 2027 zwei Dinge getrennt ein: das Training und das Grounding, also ob deine Inhalte als Quelle für Antworten in Bing, Copilot und Microsoft 365 dienen. Das Grounding regelst du je Seite über ein Meta-Tag oder einen HTTP-Header. Als Beispiel nennt Microsoft genau den Fall aus diesem Artikel: Training sperren, Grounding erlauben. Die normale Bing-Suche bleibt unberührt, ohne eigene Angabe gilt beides als „erlaubt“.

Für die meisten Websites heißt das: Jetzt musst du nichts umbauen. Handeln musst du nur, wenn deine Seiten die Microsoft-Angaben NoArchive oder NoCache nutzen. Ab dem 1. März 2027 liest Microsoft sie nicht mehr als Wunsch zu Training oder Grounding, bis dahin stellst du auf die neuen Angaben um.

Kurzer Selbstcheck: Sperrt deine Website KI-Bots aus?

Eine Sperre kann an drei Stellen sitzen: in der robots.txt, in einer Firewall vor deiner Website und in den Einstellungen bei Google. Für die ersten beiden reichen der Browser und eine Nachfrage beim Hoster. Für die dritte brauchst du Zugang zur Google Search Console.

1. Die robots.txt lesen. Ruf deinedomain.de/robots.txt im Browser auf. Such nach den Bot-Namen aus der Tabelle und nach der Zeile Disallow: /. Schau dir besonders den Block User-agent: * an. Steht dort Disallow: /, gilt die Sperre für jeden Bot ohne eigenen Block, also auch für die Such-Bots von OpenAI, Anthropic und Perplexity. Meldet der Browser „nicht gefunden“, gibt es keine robots.txt und damit dort keine Sperre. Zeigt er einen Serverfehler, lass das beheben: Google stellt laut eigener Doku dann in den ersten 12 Stunden das Crawlen deiner Website ein.

2. Hoster und Firewall prüfen. Sperren können auch in einem Dienst sitzen, der vor deiner Website läuft. Ein Beispiel ist Cloudflare. Laut Cloudflare-Changelog vom 1. Juli 2026 können dort alle Kunden, auch im kostenlosen Tarif, KI-Verkehr getrennt nach Suche, Agenten und Training steuern. Für neue Domains gilt laut Changelog ab dem 15. September 2026 eine Voreinstellung: Training und Agenten sind auf Seiten mit Werbung gesperrt, die Suche bleibt erlaubt. Nutzt du einen anderen Anbieter, frag beim Support nach, ob KI-Bots gefiltert werden.

3. Search Console ansehen. Der robots.txt-Bericht in der Google Search Console zeigt, welche robots.txt Google gefunden hat, wann Google sie zuletzt abgerufen hat und ob Fehler auftraten. Seit dem 31. August 2026 gibt es dort laut Google für alle Websites weltweit außerdem einen Schalter: Damit entscheidest du, ob deine Seite in den KI-Funktionen der Google-Suche erscheint, etwa in den KI-Übersichten und im AI Mode. Wer sich abmeldet, bekommt von dort weder Besucher noch Impressionen. Prüf also, ob der Schalter so steht, wie du es willst.

In den Bing Webmaster Tools gibt es ab dem 15. Dezember 2026 eine Übergangseinstellung für KI-Antworten, laut Microsoft aber nur für Websites mit NoArchive oder NoCache. Alle anderen müssen dort nichts tun.

Findest du eine Sperre, die du nicht kennst, kläre zuerst, wer sie gesetzt hat und warum. Manchmal steckt eine bewusste Entscheidung dahinter, manchmal eine Voreinstellung, die nie jemand angesehen hat.

Fünf Fehler beim Sperren von KI-Bots

Die folgenden Fehler entstehen, wenn Training und Suche verwechselt werden oder nur eine Stelle geprüft wird. Die Gründe stehen in den Abschnitten oben.

Training sperren: wann es sich lohnt und wann nicht

Das ist eine Abwägung, keine technische Frage. Wer gefunden werden will, lässt die Such-Bots offen. Ob du zusätzlich das Training sperrst, hängt davon ab, wie wichtig dir die Kontrolle über deine Inhalte ist.

Für eine Sperre spricht vor allem, dass du selbst bestimmst, was mit deinen Texten passiert. Wer eigenes Fachwissen veröffentlicht, will es vielleicht nicht in Trainingsdaten sehen. Bei Anthropic gilt die Sperre laut Hilfe-Center für künftige Inhalte.

Einen technischen Nachteil der Trainingssperre dokumentieren OpenAI und Anthropic nicht, denn der Such-Bot lässt sich bei beiden getrennt steuern. Microsoft schreibt, dass freigegebenes Training helfen kann, künftige Modelle zu verbessern. Dass dir freigegebene Trainingsdaten später Nennungen bringen, sagt keiner der hier genannten Anbieter zu. Laut Microsoft garantiert weder das erlaubte Training noch das erlaubte Grounding eine Aufnahme, Besucher oder eine Bezahlung.

Bei Google liegt der Fall anders. Google-Extended verbindet Training und Grounding in den Gemini Apps, eine Sperre trifft beides.

Meine Sicht als jemand, der Websites baut: Zuerst muss die Seite für die Such-Bots lesbar sein. Sperrst du OAI-SearchBot, erscheint sie laut OpenAI nicht in den Suchantworten von ChatGPT. Auch Anthropic und Perplexity verknüpfen ihre Such-Bots mit der Sichtbarkeit in ihren Antworten. Die Frage nach dem Training kommt danach. Die entscheidet jeder Inhaber für sich.

Eine Grenze gehört dazu: Dieser Artikel klärt die technische Seite. Rechtliche Fragen, etwa zum Nutzungsvorbehalt nach Urheberrecht, behandelt er nicht.

Häufige Fragen