Zusammenfassung lesen
In dem Blogbeitrag erfährst du, wie du KI-Crawler mit der robots.txt steuerst, ohne aus ChatGPT, Claude oder Google zu verschwinden.
Der wichtigste Punkt zuerst: KI-Firmen nutzen getrennte Crawler. OpenAI hat GPTBot für das Training seiner Modelle und OAI-SearchBot für die Suche in ChatGPT. Bei Anthropic heißen sie ClaudeBot und Claude-SearchBot. Wer pauschal alle KI-Bots sperrt, verschwindet laut OpenAI aus den Suchantworten von ChatGPT. Wer nur den Trainings-Crawler sperrt, bleibt dort sichtbar.
Bei Google ist es anders aufgebaut. Mit der Kennung Google-Extended legst du fest, ob deine Inhalte für das Training von Gemini und für Antworten in der Gemini-App genutzt werden. Auf die Google-Suche hat das laut Google keinen Einfluss. Für die Übersichten mit KI und den KI-Modus gibt es seit dem 31. August 2026 einen eigenen Schalter in der Search Console. Den Googlebot zu sperren, würde dich aus der ganzen Google-Suche nehmen.
Dazu kommt etwas, das viele übersehen: Am 21. Oktober 2026 hat Google in einem Video erklärt, dass die robots.txt den Zugriff regelt, nicht was mit bereits gesammelten Daten passiert. Zeilen, die Google nicht versteht, werden ohne Fehlermeldung übergangen. Einen Crawler musst du also mit seinem genauen Namen eintragen. Außerdem sind Crawler laut Google nicht verpflichtet, sich an die robots.txt zu halten. Und bei Abrufen, die ein Nutzer direkt auslöst, gilt die robots.txt laut den Anbietern oft nicht.
Meine Empfehlung für kleine Unternehmen: Lass die Such-Crawler von ChatGPT, Claude und Perplexity immer zu, denn dort fragen Kunden heute nach Anbietern. Ob du das Training sperrst, entscheidest du selbst. Prüfe nach jeder Änderung im robots.txt-Bericht der Search Console, ob Google die Datei noch fehlerfrei lesen kann. Und denk daran: Die robots.txt ist ein klares Signal für seriöse Crawler, aber kein Schloss. Für vertrauliche Unterlagen brauchst du einen Passwortschutz.
Inhaltsverzeichnis
- Die wichtigsten Begriffe, einfach erklärt
- Was Google am 21. Oktober 2026 zur robots.txt gesagt hat
- Drei Arten von KI-Crawlern: Training, Suche, Abruf
- Google-Extended: Was es sperrt und was nicht
- Übersichten mit KI und KI-Modus: dafür gibt es die Search Console
- KI-Crawler in der robots.txt: ein Beispiel
- Was die robots.txt nicht kann
- Meine Empfehlung für kleine Unternehmen
- Häufige Fragen zu KI-Crawlern und robots.txt
- Fazit
- Quellen
Ein Tischlermeister hört auf einer Messe: „Sperr die KI-Bots aus, die klauen deine Texte.“ Zu Hause bittet er seinen Neffen, alle KI-Crawler in der robots.txt zu blockieren. Ein paar Wochen später nennt ChatGPT bei der Frage nach einer Tischlerei in seiner Stadt nur noch die Konkurrenz. Der Grund: Er hat nicht nur das KI-Training gesperrt, sondern auch die Suche von ChatGPT. Genau diesen Unterschied erkläre ich hier: welche KI-Crawler es gibt, was die robots.txt wirklich kann und was Google am 21. Oktober 2026 dazu gesagt hat.
Das Wichtigste in Kürze
- KI-Firmen nutzen getrennte Crawler: einen für das Training ihrer Modelle, einen für die Suche und einen für Abrufe auf Nutzerwunsch.
- Wer den Such-Crawler sperrt, verschwindet laut OpenAI aus den Suchantworten von ChatGPT. Wer nur den Trainings-Crawler sperrt, bleibt sichtbar.
- Google-Extended steuert nur das Training und die Fundierung von Gemini. Laut Google hat es keinen Einfluss auf die Google-Suche.
- Für die Übersichten mit KI und den KI-Modus gibt es seit dem 31. August 2026 eine eigene Einstellung in der Search Console.
- Die robots.txt regelt den Zugriff, nicht was mit bereits gesammelten Daten passiert. Und Crawler sind laut Google nicht verpflichtet, sich daran zu halten.
Die wichtigsten Begriffe, einfach erklärt
- Crawler (auch Bot): ein Programm, das Websites automatisch besucht und liest. Der bekannteste ist der Googlebot, der Seiten für die Google-Suche sammelt.
- KI-Crawler: ein Crawler einer KI-Firma wie OpenAI (ChatGPT), Anthropic (Claude) oder Perplexity, einer KI-Suchmaschine. Er sammelt Inhalte entweder zum Training der KI oder für ihre Suchfunktion.
- robots.txt: eine kleine Textdatei unter deinedomain.de/robots.txt. Darin steht, welche Crawler welche Bereiche besuchen dürfen. Sie ist wie ein Schild am Gartentor: Seriöse Besucher halten sich daran, ein Schloss ist es nicht.
- User-Agent: der Name, mit dem sich ein Crawler ausweist, zum Beispiel GPTBot. In der robots.txt sprichst du jeden Crawler über diesen Namen an.
- Training: Die KI lernt aus vielen Texten, wie Sprache und Wissen zusammenhängen. Was einmal im Training war, steckt im Modell, ohne dass ein Link zu deiner Seite entsteht.
- Suche und Fundierung: Die KI schlägt bei einer Frage im Netz nach und nennt Quellen mit Link.
Was Google am 21. Oktober 2026 zur robots.txt gesagt hat
In der zweiten Folge der YouTube-Reihe „The Non-Canonical Cabinet“ auf dem Kanal von Google Search Central haben Gary Illyes und Cherry Prommawin aus Googles Team für Website-Betreiber erklärt, was in eine robots.txt gehört. Die Folge heißt „What can you actually put in a robots.txt?“. Laut der Mitschrift von PPC Land, einem Fachportal für Online-Werbung, gab es zwei Aussagen, die für KI-Crawler wichtig sind.
Erstens: Die robots.txt sei ein Protokoll für Zugriffswünsche. Sie lege nicht fest, was ein System mit Daten macht, die es schon gesammelt hat. Zweitens: Googles Programm zum Lesen der robots.txt kennt nur wenige Arten von Zeilen. Zeilen, die es nicht versteht, verwirft es stillschweigend und macht weiter. Laut PPC Land heißt das: Wer einen bestimmten KI-Crawler sperren will, muss ihn mit seinem genauen Namen eintragen. Eine selbst ausgedachte Regel wie „Keine KI erlaubt“ bewirkt nichts, und es gibt keine Fehlermeldung.
Das deckt sich mit Googles schriftlicher Dokumentation zur robots.txt.
Was zeigt der Screenshot? Googles Beschreibung, wie die Google-Crawler eine robots.txt lesen. Im roten Rahmen steht: Google ignoriert ungültige Zeilen und verwendet nur gültige. Weiter unten steht, dass Google nur vier Felder kennt: user-agent, allow, disallow und sitemap. Andere Felder wie crawl-delay, eine Bremse für die Besuchshäufigkeit, unterstützt Google nicht. Für dich heißt das: Was Google nicht kennt, wird nicht als Fehler gemeldet, sondern einfach übergangen. Andere Crawler können das anders handhaben.
Die Kernaussage in einem Bild
Die robots.txt ist wie ein Schild am Gartentor: „Lieferanten bitte hinten klingeln.“ Wer das Schild liest, hält sich meist daran. Was ein Besucher mit dem macht, was er schon gesehen hat, steht nicht auf dem Schild. Und ein Schild mit „Bitte keine Roboter“ hilft nichts, wenn der Roboter sich „Paketdienst“ nennt.
Drei Arten von KI-Crawlern: Training, Suche, Abruf
Die großen KI-Firmen trennen ihre Crawler nach Aufgaben. Das ist für dich die wichtigste Information, denn so kannst du das Training sperren und trotzdem in der KI-Suche vorkommen. Am deutlichsten beschreibt es OpenAI in der eigenen Dokumentation.
Was zeigt der Screenshot? Die offizielle Crawler-Übersicht von OpenAI. Oberhalb des Rahmens steht: Jede Einstellung ist unabhängig. Ein Website-Betreiber kann OAI-SearchBot erlauben, um in den Suchergebnissen zu erscheinen, und gleichzeitig GPTBot sperren, damit seine Inhalte nicht ins Training kommen. Im roten Rahmen steht: Websites, die OAI-SearchBot aussperren, werden nicht in den Suchantworten von ChatGPT gezeigt. Laut OpenAI dauert es etwa 24 Stunden, bis eine geänderte robots.txt wirkt. Für dich heißt das: Wer „alle KI-Bots“ sperrt, verliert die Sichtbarkeit in ChatGPT.
Bei Anthropic, der Firma hinter Claude, ist es genauso aufgebaut, mit drei Crawlern.
Was zeigt der Screenshot? Die Hilfeseite von Anthropic, Stand 7. April 2026. Im roten Rahmen steht: Wer ClaudeBot sperrt, signalisiert, dass künftige Inhalte der Website nicht in die Trainingsdaten sollen. Darunter erklärt Anthropic, dass eine Sperre von Claude-User und Claude-SearchBot die Sichtbarkeit in Claudes Suchantworten verringern kann. Für dich heißt das: Auch bei Claude kannst du Training und Suche getrennt steuern.
KI-Crawler im Überblick
Stand: 22.10.2026, laut den Dokumentationen der Anbieter
| Anbieter | Training | Suche | Abruf auf Nutzerwunsch |
|---|---|---|---|
| OpenAI (ChatGPT) | GPTBot | OAI-SearchBot | ChatGPT-User, robots.txt gilt laut OpenAI womöglich nicht |
| Anthropic (Claude) | ClaudeBot | Claude-SearchBot | Claude-User |
| Perplexity | kein eigener genannt, PerplexityBot laut Perplexity nicht für Training | PerplexityBot | Perplexity-User, ignoriert robots.txt in der Regel |
| Google (Gemini) | Google-Extended, kein eigener Crawler | Googlebot, auch für KI-Übersichten und KI-Modus | Google-Agent, ignoriert robots.txt in der Regel |
Abrufe auf Nutzerwunsch passieren, wenn jemand in ChatGPT, Claude oder Perplexity ausdrücklich nach einer Seite fragt. Weil ein Mensch den Abruf auslöst, gilt die robots.txt dort laut den Anbietern oft nicht.
Google-Extended: Was es sperrt und was nicht
Bei Google ist es etwas anders. Es gibt keinen eigenen KI-Crawler, sondern eine Kennung namens Google-Extended. Sie ist laut Google kein eigenes Programm, sondern nur ein Name für die robots.txt. Gesammelt wird weiter mit den normalen Google-Crawlern. Mit Google-Extended legst du fest, ob diese Inhalte für das Training künftiger Gemini-Modelle und für die Fundierung in der Gemini-App und in Googles Cloud-Angebot genutzt werden dürfen.
Was zeigt der Screenshot? Googles Liste der gängigen Crawler, Stand 20. Oktober 2026. Im roten Rahmen steht: Google-Extended hat keinen Einfluss auf die Aufnahme einer Website in die Google-Suche und wird nicht als Ranking-Signal verwendet. Darüber steht, wofür die Kennung gilt: Training und Fundierung in den Gemini-Apps und in Vertex AI, Googles Cloud-Angebot für Unternehmen. Für dich heißt das: Wer Google-Extended sperrt, bleibt normal in der Google-Suche. Er nimmt sich aber auch die Chance, in Antworten der Gemini-App als Quelle zu dienen.
Übersichten mit KI und KI-Modus: dafür gibt es die Search Console
Die Übersichten mit KI oben in der Google-Suche und der KI-Modus laufen über den normalen Googlebot. Sperrst du ihn, verschwindest du aus der ganzen Google-Suche. Das will fast niemand. Laut der Google-Dokumentation zu den KI-Funktionen der Suche kannst du stattdessen mit den Einstellungen nosnippet, data-nosnippet und max-snippet begrenzen, was aus deinen Seiten gezeigt wird. Seit dem 31. August 2026 steht allen Websites außerdem ein eigener Schalter zur Verfügung.
Was zeigt der Screenshot? Die Search Console-Hilfe zur Einstellung „Generative KI-Funktionen der Google Suche“. Im roten Rahmen steht: Seit dem 31. August 2026 ist die Einstellung für alle Websites weltweit verfügbar. Darunter erklärt Google, dass sie für die Übersichten mit KI, den KI-Modus und KI-Funktionen in Google Discover gilt. Standardmäßig ist deine Website eingeschlossen. Laut Google wird die Einstellung nicht als Ranking-Signal für die übrige Suche verwendet. Für dich heißt das: Wer raus will, macht das hier und nicht über die robots.txt.
Erst nachdenken, dann abschalten
Wer seine Website aus den KI-Funktionen nimmt, wird dort auch nicht mehr als Quelle mit Link gezeigt. Für einen Dienstleister, der Anfragen über Google gewinnt, ist das aus meiner Sicht fast immer ein Nachteil. Sinnvoll kann es sein, wenn deine Inhalte selbst das Produkt sind, etwa bei einem Fachverlag.
KI-Crawler in der robots.txt: ein Beispiel
So könnte die robots.txt einer Tischlerei aussehen, die ihre Texte nicht für das KI-Training freigeben will, aber in den Suchantworten von ChatGPT, Claude und Perplexity vorkommen möchte. Mehrere User-Agent-Zeilen hintereinander bilden dabei eine Gruppe, für die die Regel darunter gilt.
Ganz oben stehen die drei Trainings-Kennungen mit „Disallow: /“, also kein Zugriff auf die ganze Website. Darunter die Such-Crawler mit „Allow: /“. Die Gruppe mit dem Sternchen gilt für alle Crawler, die nicht namentlich genannt sind, also auch für den Googlebot. Zum Schluss steht der Ort der Sitemap. Wie du eine Sitemap anlegst, erkläre ich im Beitrag Sitemap erstellen.
- 1
Bestehende Datei ansehen
Öffne deinedomain.de/robots.txt im Browser. In WordPress erzeugen viele SEO-Plugins die Datei und bieten einen Editor dafür an.
- 2
Namen exakt übernehmen
Kopiere die Crawler-Namen aus den offiziellen Dokumentationen. Ein Tippfehler bedeutet, dass die Regel nichts bewirkt.
- 3
Googlebot nicht anfassen
Sperre nie den Googlebot oder alle Crawler mit einem Sternchen und „Disallow: /“. Sonst fällst du aus der Google-Suche.
- 4
Prüfen
Kontrolliere in der Search Console im robots.txt-Bericht, ob Google die Datei fehlerfrei lesen kann. Laut OpenAI wirken Änderungen nach etwa 24 Stunden.
Was die robots.txt nicht kann
Die robots.txt ist eine Bitte, kein Verbot. Das schreibt Google selbst in der Einführung zur robots.txt.
Was zeigt der Screenshot? Googles Einführung zur robots.txt, Stand 18. Dezember 2025. Im roten Rahmen steht: robots.txt-Regeln werden möglicherweise nicht von allen Suchmaschinen unterstützt. Crawler sind nicht verpflichtet, sie einzuhalten. Der Googlebot und andere seriöse Crawler tun es, andere vielleicht nicht. Wer Inhalte wirklich schützen will, braucht laut Google andere Methoden, etwa einen Passwortschutz. Für dich heißt das: Für öffentliche Werbetexte reicht die robots.txt als klares Signal. Für vertrauliche Unterlagen ist sie der falsche Ort.
Dazu kommen drei Grenzen, die viele nicht kennen:
- Abrufe auf Nutzerwunsch: Fragt jemand in ChatGPT oder Perplexity ausdrücklich nach deiner Seite, gilt die robots.txt laut OpenAI womöglich nicht, laut Perplexity und laut Google für den Google-Agent in der Regel nicht.
- Bereits Gesammeltes: Eine Sperre wirkt laut Anthropic für künftige Inhalte. Was vorher gesammelt wurde, holt sie nicht zurück, genau das meinte Google mit „Zugriff, nicht Nutzung“.
- IP-Sperren: Anthropic rät davon ab, seine Crawler nur über IP-Adressen auszusperren. Dann könne der Crawler auch die robots.txt nicht mehr lesen, und die Sperre sei nicht verlässlich.
Meine Empfehlung für kleine Unternehmen
Das ist meine Einschätzung, keine Vorgabe von Google oder den KI-Firmen. Für die meisten Dienstleister und Handwerksbetriebe gilt: Die Website ist ein Schaufenster, sie soll gefunden werden. Ich würde deshalb die Such-Crawler von ChatGPT, Claude und Perplexity immer zulassen und den Googlebot ohnehin. Ob du das Training sperrst, ist eine Geschmacksfrage. Für Sichtbarkeit in den Suchantworten ist es nach den Dokumentationen der Anbieter nicht entscheidend, weil Training und Suche getrennt laufen.
Egal wie du dich entscheidest: Prüfe nach jeder Änderung, ob Google die Datei noch sauber lesen kann. Dafür gibt es in der Search Console einen eigenen Bericht.
Was zeigt der Screenshot? Die Search Console-Hilfe zum robots.txt-Bericht. Im roten Rahmen steht: Der Bericht zeigt, welche robots.txt-Dateien Google gefunden hat, wann sie zuletzt abgerufen wurden und welche Warnungen oder Fehler es gibt. In Notfällen kannst du dort ein erneutes Abrufen anfordern. Für dich heißt das: Nach einer Änderung an den KI-Regeln siehst du hier, ob dabei aus Versehen etwas kaputtgegangen ist.
Wichtiger als die robots.txt sind gute Inhalte, die eine KI gern als Quelle nennt. Wie das geht, beschreibe ich im Beitrag In KI sichtbar werden. Warum eine llms.txt dabei kaum hilft, steht im Beitrag zur llms.txt. Wenn du deine robots.txt prüfen lassen willst, findest du mich unter SEO Freelancer.
Häufige Fragen zu KI-Crawlern und robots.txt
Verschwinde ich aus ChatGPT, wenn ich GPTBot sperre?
Laut OpenAI nicht. GPTBot ist nur für das Training zuständig. Für die Suchantworten von ChatGPT zählt OAI-SearchBot. Erst wenn du den sperrst, wirst du laut OpenAI nicht mehr in den Suchantworten gezeigt.
Schadet es meinem Google-Ranking, wenn ich Google-Extended sperre?
Laut Google nicht. Google-Extended hat nach Googles Dokumentation keinen Einfluss auf die Aufnahme in die Google-Suche und ist kein Ranking-Signal.
Kann ich mit der robots.txt verhindern, dass KI meine Texte nutzt?
Nur für die Zukunft und nur bei Crawlern, die sich daran halten. Bereits gesammelte Inhalte holt eine Sperre nicht zurück. Das ist keine Rechtsberatung, bei rechtlichen Fragen zur Nutzung deiner Inhalte hilft ein Anwalt.
Wie nehme ich meine Website aus den Übersichten mit KI?
Über die Einstellung „Generative KI-Funktionen der Google Suche“ in der Search Console oder mit nosnippet und verwandten Einstellungen. Den Googlebot zu sperren, würde dich aus der ganzen Google-Suche nehmen.
Fazit
Die robots.txt ist für KI-Crawler ein brauchbares Werkzeug, solange man weiß, was man sperrt. Training und Suche laufen bei OpenAI und Anthropic über getrennte Crawler, Google trennt Gemini-Training und Google-Suche über Google-Extended. Wer pauschal alle KI-Bots aussperrt, verschwindet schnell aus den Suchantworten, in denen Kunden heute nach Anbietern fragen. Mein Rat: Such-Crawler zulassen, beim Training selbst entscheiden und jeden Crawler mit seinem genauen Namen eintragen.
Quellen
- Google Search Central auf YouTube: What can you actually put in a robots.txt?, 21.10.2026 (englisch)
- PPC Land: Google says robots.txt limits AI crawling, not what bots do with data, 21.10.2026 (englisch)
- Google Search Central: Einführung zu robots.txt, Stand 18.12.2025
- Google: So interpretiert Google die robots.txt-Spezifikation
- Google: Gängige Crawler und Google-Extended, Stand 20.10.2026
- Google: Von Nutzern ausgelöste Abrufe, Stand 19.08.2026
- Google Search Central: KI-Funktionen und deine Website
- Search Console-Hilfe: Freigabe von Inhalten für generative KI in der Google Suche managen
- Search Console-Hilfe: robots.txt-Bericht
- OpenAI: Overview of OpenAI Crawlers, abgerufen am 22.10.2026 (englisch)
- Anthropic: Does Anthropic crawl data from the web?, Stand 07.04.2026 (englisch)
- Perplexity: Perplexity Crawlers, abgerufen am 22.10.2026 (englisch)
