Jan Philipps Zusammenfassung lesen
Viele unterschätzen das: Wer seine Website auf ein CDN umzieht, kann den Googlebot aus Versehen aussperren. Google hat dazu am 11. November 2026 im Search Central Blog einen Beitrag veröffentlicht. Ein CDN ist ein Netz aus vielen Servern, die Kopien deiner Website ausliefern. Das macht die Seite schneller.
Problem 1: mehr Crawling, leerer Zwischenspeicher
Und genau da beginnt das erste Problem. Antwortet deine Website schneller, ruft der Googlebot mehr ab. Ein neues CDN startet aber mit einem leeren Zwischenspeicher. Jede Adresse, die dort noch nicht liegt, landet zuerst bei deinem eigenen Server. Der Googlebot geht dabei in die Breite, laut Google bleibt der eigene Server beim Start deshalb der Engpass.
Problem 2: der Bot-Schutz
Das zweite Problem ist der Bot-Schutz. Wer viele Zugriffe sieht, schaltet schnell eine Sperre für alle automatischen Zugriffe ein. Eine Bilderabfrage mit Ampeln kann der Googlebot aber nicht lösen. Aus Sicht von Google wirkt die Website dann gesperrt oder kaputt, und Seiten können aus der Suche fallen.
Googles drei Schritte
Was dabei wichtig ist, ist Folgendes: Google empfiehlt drei Schritte.
- Erstens verifizierte Bots im CDN und in der Firewall zulassen.
- Zweitens den Zwischenspeicher vorwärmen, also die wichtigsten Seiten vor dem Umzug einmal in ruhigem Tempo über das CDN abrufen. Bei Shops denke ich da besonders an die Aktionsseiten vor dem Black Friday am 27. November.
- Drittens, wenn der Server trotzdem überlastet ist, kurz die Statuscodes 429 oder 503 senden. Laut Google aber nur ein paar Stunden, höchstens ein bis zwei Tage. Sonst können Seiten aus dem Index fallen.
Eine Sperrseite mit Code 403 oder eine Bilderabfrage ist dagegen keine Bremse, sondern eine Wand.
Prüfen und beobachten
Ob ein Zugriff wirklich vom Googlebot kommt, kannst du mit einer Rückwärtssuche der IP-Adresse oder mit Googles IP-Listen prüfen. Für die meisten kleinen Unternehmen reicht aber die fertige Regel für verifizierte Bots.
Meine Empfehlung: Nach jedem Umzug und jeder neuen Firewall-Regel ein paar Tage genau hinschauen, ob Google die wichtigsten Seiten weiter abruft. Gerade läuft außerdem das Core Update vom November, Schwankungen können also zwei Ursachen haben.
Inhaltsverzeichnis
- Die wichtigsten Begriffe, einfach erklärt
- Was Google am 11. November 2026 veröffentlicht hat
- Warum der Googlebot nach dem CDN-Wechsel mehr crawlt
- Wenn der Bot-Schutz den Googlebot blockiert
- Googles Plan für den CDN-Umzug in drei Schritten
- Googlebot-IP prüfen: echte Googlebots erkennen
- Die Notbremse 429 und 503: höchstens ein bis zwei Tage
- Meine Einschätzung
- Häufige Fragen zum Googlebot und CDN
- Fazit
- Quellen
Am 11. November 2026 hat Google im Search Central Blog beschrieben, was beim Umzug einer Website auf ein CDN schiefgehen kann. Geschrieben haben den Beitrag Gary Illyes und Cherry Prommawin aus dem Google-Suchteam. Zwei Probleme stehen im Mittelpunkt: Der eigene Server bekommt kurz nach dem Wechsel mehr Anfragen vom Googlebot statt weniger. Und ein zu scharf eingestellter Bot-Schutz sperrt den Googlebot ganz aus. Dann verschwinden Seiten aus der Google-Suche, obwohl die Website für Besucher ganz normal läuft.
Das Wichtigste in Kürze
Warum das wichtig ist
Wer seine Website hinter ein CDN oder einen Bot-Schutz stellt, kann den Googlebot aus Versehen aussperren. Dann fallen Seiten aus der Google-Suche, ohne dass man es auf der eigenen Website merkt.
Darauf kommt es an
- Quelle: Google Search Central Blog vom 11. November 2026
- Mehr Crawling: Nach dem Umzug antwortet die Website schneller, der Googlebot fragt deshalb mehr an
- Leerer Zwischenspeicher: Jede noch nicht gespeicherte Adresse landet zuerst beim eigenen Server
- Bot-Schutz: Pauschale Sperren und CAPTCHA-Abfragen blockieren auch den Googlebot
- Googles Rat: verifizierte Bots zulassen, Zwischenspeicher vorwärmen, notfalls kurz 429 oder 503
- Zeitgrenze: Die Notbremse laut Google höchstens ein bis zwei Tage nutzen
Die wichtigsten Begriffe, einfach erklärt
- CDN (Content Delivery Network): ein Netz aus vielen Servern auf der ganzen Welt, die Kopien deiner Website ausliefern. Ein Besucher aus Hamburg bekommt die Seite dann von einem Server in seiner Nähe, nicht vom Server deines Hosters. Das macht die Seite schneller.
- Ursprungsserver (Origin): dein eigentlicher Webserver beim Hoster. Dort liegen die Originale aller Seiten. Google nennt ihn die Quelle der Wahrheit für deine Inhalte.
- Zwischenspeicher (Cache): die Kopien, die das CDN aufbewahrt. Ist eine Seite noch nicht im Zwischenspeicher, holt das CDN sie beim Ursprungsserver.
- Googlebot: das Programm, mit dem Google Webseiten abruft und liest. Nur was der Googlebot abrufen kann, kann in der Google-Suche erscheinen.
- Bot-Schutz und WAF (Web Application Firewall): Filter im CDN, die automatische Zugriffe abwehren sollen, etwa mit einer CAPTCHA-Abfrage („Klicke alle Ampeln an“).
Was Google am 11. November 2026 veröffentlicht hat
Der Beitrag heißt „Moving to a CDN without overwhelming your origin (or blocking Googlebot)“, auf Deutsch etwa: Umzug auf ein CDN, ohne den Ursprungsserver zu überlasten oder den Googlebot zu blockieren. Er gehört zu einer Videoreihe des Google-Suchteams. Laut Google berichten Website-Betreiber immer wieder, dass der Crawler-Verkehr direkt nach dem Umzug hinter ein CDN deutlich steigt. Google erklärt, woher das kommt, und gibt drei konkrete Empfehlungen.
Aus meiner Sicht ist das auch für kleine Unternehmen kein Spezialthema. Ein CDN oder ein Bot-Schutz ist oft schnell eingeschaltet. Wer das tut, ändert damit auch, wie Google seine Website erreicht.
Warum der Googlebot nach dem CDN-Wechsel mehr crawlt
Google regelt das Tempo beim Abrufen einer Website über die sogenannte Crawling-Kapazität (auf Englisch crawl capacity limit oder hostload). Antwortet ein Server langsam, ruft Google weniger ab. Antwortet er schnell und stabil, steigert Google das Tempo mit der Zeit, sofern es genug Seiten gibt, die Google abrufen möchte.
Sobald deine Domain auf ein schnelles CDN zeigt, sinken die Antwortzeiten. Für Google ist das ein Zeichen, dass die Website mehr verträgt. Der Googlebot fragt also mehr an. Das Problem: Ein neues CDN startet mit einem leeren Zwischenspeicher. Jede Adresse, die noch nicht gespeichert ist, leitet das CDN an deinen Ursprungsserver weiter.
KI-generiertBesucher rufen meist dieselben beliebten Seiten auf, die liegen schnell im Zwischenspeicher. Der Googlebot dagegen geht in die Breite und ruft auch alte Blogbeiträge, Produktvarianten und Filterseiten ab. Google schreibt dazu: „Basically, the real bottleneck during a CDN launch is still the origin server.“ Der Engpass beim Start ist also weiter dein eigener Server.
Wenn der Bot-Schutz den Googlebot blockiert
Sieht ein Betreiber plötzlich viele Zugriffe in seinen Server-Protokollen, liegt eine Reaktion nahe: im CDN den Bot-Schutz für alle automatischen Zugriffe einschalten. Genau davor warnt Google. Eine pauschale Sperre oder eine CAPTCHA-Abfrage trifft auch den Googlebot, denn der kann keine Ampeln anklicken.
Google beschreibt die Folge so: „From our perspective, your website appears deliberately restricted or broken.“ Aus Sicht von Google wirkt die Website also absichtlich gesperrt oder kaputt. Ohne Ausnahme für Googles Crawler zieht sich Google zurück, und Seiten können aus der Suche verschwinden. Laut Google betrifft das auch andere Google-Dienste, die auf abgerufene Daten angewiesen sind.
Typische Falle
Die Website sieht im eigenen Browser völlig normal aus. Der Bot-Schutz zeigt die CAPTCHA-Seite nur automatischen Zugriffen. Deshalb fällt eine Sperre gegen den Googlebot oft erst auf, wenn die Besucher aus der Google-Suche schon weniger werden.
Googles Plan für den CDN-Umzug in drei Schritten
Google fasst die Empfehlungen in drei Schritten zusammen. Ich habe sie hier übersetzt und für kleine Websites eingeordnet.
So zieht deine Website ohne Ärger mit dem Googlebot um
- 1
Verifizierte Bots zulassen
Die meisten CDNs und Firewalls haben einen Schalter oder eine fertige Regel für bekannte, geprüfte Bots. Damit kommt der Googlebot ohne CAPTCHA durch, unerwünschte Bots bleiben draußen.
- 2
Zwischenspeicher vorwärmen
Bevor der ganze Verkehr über das CDN läuft, die wichtigsten Seiten gezielt und in ruhigem Tempo einmal über das CDN abrufen: meistbesuchte Seiten, kommende Aktionsseiten und oft gecrawlte Adressen.
- 3
Notfalls kurz bremsen
Ist der eigene Server trotzdem überlastet, für kurze Zeit den Statuscode 429 oder 503 senden. Laut Google ein paar Stunden, höchstens ein bis zwei Tage.
Statt alle automatischen Zugriffe zu sperren, nennt Google noch einen besseren Weg: gezielt nur die Bots ausschließen, die du nicht willst, etwa über die robots.txt. Wie das bei KI-Crawlern geht, steht in meinem Beitrag KI-Crawler mit der robots.txt steuern.
Beim Vorwärmen denke ich besonders an Onlineshops vor Aktionstagen. Black Friday ist 2026 am 27. November. Wer kurz vorher auf ein CDN umzieht, sollte die Aktionsseiten vorher einmal über das CDN abrufen, damit der erste Ansturm nicht beim eigenen Server landet.
KI-generiertGooglebot-IP prüfen: echte Googlebots erkennen
Nicht jeder Zugriff, der sich „Googlebot“ nennt, kommt auch von Google. Den Namen kann jedes Programm angeben. Google beschreibt in der Anleitung Google-Crawler überprüfen zwei Wege, echte Zugriffe zu erkennen:
- Rückwärtssuche der IP-Adresse (Reverse DNS): Man fragt mit dem Befehl host, zu welchem Namen eine IP-Adresse aus dem Server-Protokoll gehört. Der Name muss auf googlebot.com, google.com oder googleusercontent.com enden. Danach fragt man den gefundenen Namen noch einmal ab, er muss wieder dieselbe IP-Adresse ergeben. Googles Beispiel: 66.249.66.1 gehört zu crawl-66-249-66-1.googlebot.com.
- Abgleich mit Googles IP-Listen: Google veröffentlicht die Adressbereiche seiner Crawler als JSON-Dateien, getrennt nach normalen Crawlern wie dem Googlebot, Spezial-Crawlern und Abrufen, die ein Nutzer auslöst. Mit diesen Listen lassen sich Regeln bauen, die echte Google-Crawler durchlassen.
Für die meisten kleinen Unternehmen reicht es, im CDN die fertige Regel für verifizierte Bots einzuschalten. Die Rückwärtssuche brauchst du, wenn du in den Protokollen einen verdächtigen „Googlebot“ siehst und wissen willst, ob du ihn sperren darfst.
Die Notbremse 429 und 503: höchstens ein bis zwei Tage
Die Statuscodes 429 (zu viele Anfragen) und 503 (Dienst nicht verfügbar) sagen dem Googlebot: Bitte später wiederkommen. Laut Googles Anleitung zum Senken der Crawling-Rate senkt Google dann das Tempo für den ganzen Hostnamen und erhöht es automatisch wieder, sobald die Fehler weniger werden. Bei 429 und 503 kann der Server zusätzlich angeben, wann Google es wieder versuchen soll (Retry-After).
Wichtig ist die Zeitgrenze. Google rät davon ab, das länger als ein bis zwei Tage zu machen. Sieht der Googlebot diese Codes mehrere Tage lang bei derselben Adresse, kann sie aus dem Google-Index fallen. Laut Google hat ein gesenktes Tempo außerdem breite Folgen: Neue Seiten werden langsamer entdeckt, Änderungen langsamer übernommen, und sogar Werbekampagnen können pausiert werden.
Kein 403 als Bremse
Eine Sperrseite mit Code 403 (verboten) oder eine CAPTCHA-Seite ist keine Bremse, sondern eine Wand. Google nennt ausdrücklich 429 oder 503 als vorübergehende Lösung.
KI-generiertMeine Einschätzung
Aus meiner Sicht ist der Beitrag vor allem eine Warnung vor dem Bot-Schutz. Ein CDN ist nicht das Problem: Schnelle Antworten sind gut für Besucher und laut Google auch für das Crawling. Riskant wird es, wenn jemand bei hoher Last zum pauschalen Schalter greift.
Ich würde nach jedem Umzug auf ein CDN und nach jeder neuen Firewall-Regel ein paar Tage genau beobachten, ob Google die wichtigsten Seiten weiter abruft und ob die Besucher aus der Suche stabil bleiben. Gerade läuft zusätzlich das Google Core Update vom November 2026. Schwankungen in diesen Tagen haben also womöglich zwei Ursachen. Ein Umzug ist für mich ähnlich heikel wie ein Website-Relaunch: Mit einem Plan geht er gut, ohne Plan kostet er Besucher. Wenn du dabei Unterstützung brauchst, schau dir meine Arbeit als SEO-Freelancer an.
Häufige Fragen zum Googlebot und CDN
Schadet ein CDN der Sichtbarkeit bei Google?
Google beschreibt schnelle und stabile Antworten als gutes Zeichen, der Googlebot crawlt dann eher mehr. Die Probleme im Google-Beitrag entstehen beim Umzug durch den leeren Zwischenspeicher und durch einen zu scharfen Bot-Schutz, nicht durch das CDN an sich.
Woran erkenne ich, dass mein Bot-Schutz den Googlebot blockiert?
Ein Warnzeichen sind Seiten, die kurz nach einer neuen Firewall-Regel aus der Google-Suche fallen. Bietet dein CDN ein Protokoll der Sperren an, schau dort nach Zugriffen mit dem Namen Googlebot, die blockiert oder vor eine Abfrage gestellt wurden. Prüfe dann, ob die Regel für verifizierte Bots aktiv ist.
Wie lange darf ich dem Googlebot 503 oder 429 senden?
Laut Google ein paar Stunden, höchstens ein bis zwei Tage. Sieht der Googlebot die Codes mehrere Tage lang bei derselben Adresse, kann die Seite aus dem Index fallen.
Muss ich als kleines Unternehmen die Googlebot-IP selbst prüfen?
Meist nicht. Die fertige Regel für verifizierte Bots im CDN erledigt das. Die Rückwärtssuche lohnt sich, wenn du einen verdächtigen Zugriff sperren willst und sicher sein musst, dass es nicht der echte Googlebot ist.
Fazit
Google rät beim Umzug auf ein CDN zu drei Dingen: verifizierte Bots zulassen, den Zwischenspeicher vorwärmen und bei Überlastung nur kurz mit 429 oder 503 bremsen. Der größte Fehler ist ein pauschaler Bot-Schutz, der den Googlebot vor eine CAPTCHA-Seite stellt. Wer das vor dem Umzug einplant, bekommt eine schnellere Website, ohne Sichtbarkeit in der Google-Suche zu verlieren.
