TL;DR: Wenn du den Cloudflare AI-Bot-Block deaktivieren willst, geht es nicht um irgendeinen kosmetischen Fix. Cloudflares AI-Bot-Sperre kann dir versehentlich GEO-Traffic aus AI-Antwortsystemen abschneiden. So richtest du deine Regeln sauber ein, damit du Scraper stoppst, ohne Erwähnungen, Zitate und Traffic zu verlieren.
("GEO-Traffic" bedeutet hier: Traffic aus generativen Such- und Antwortsystemen wie ChatGPT, Claude, Perplexity und Gemini.)
Mir ist das aufgefallen, als unser eigener Traffic eingebrochen ist. Im Juli 2025 habe ich in unseren SEOJuice-Analytics etwas Merkwürdiges gesehen: Brand Mentions in AI-Antworten lagen fast zwei Wochen praktisch bei null, obwohl sich an unserem Content nichts geändert hatte. Ich habe den Großteil eines Freitagnachmittags damit verbracht, Server-Logs zu durchforsten, bevor ich überhaupt auf die Idee kam, in Cloudflare nachzusehen. Und da war es — „Block AI Scrapers“ war aktiviert. Ich kann mich nicht erinnern, das eingeschaltet zu haben. Vielleicht war es eine Standardeinstellung nach einem Cloudflare-Plan-Upgrade, oder jemand aus unserem Team hat es während eines DDoS-Schrecks umgelegt und später nicht wieder zurückgesetzt. So oder so: GPTBot, ClaudeBot, PerplexityBot, Google-Extended — alle wurden zwei Wochen lang direkt am Edge mit 403 abgewiesen. In unseren Origin-Logs war nichts zu sehen, weil die Requests nie bis zum Origin durchkamen.
Wenn Cloudflare einen 403 ausliefert, fällt ChatGPT auf alles zurück, was es anderswo indexieren kann: Product-Hunt-Blurbs, veraltete Reviews oder Write-ups von Wettbewerbern. Du verlierst die Kontrolle über die Erzählung — und, noch schmerzhafter, den Link, der qualifizierte Besucher direkt auf deine Seite gebracht hätte.
Nachdem ich den Schalter deaktiviert und eine explizite Allow-Regel hinzugefügt hatte, haben sich unsere AI-Erwähnungen innerhalb von ungefähr 72 Stunden erholt. Zwei Wochen unsichtbarer Schaden, in zwei Minuten behoben. Dieser Artikel ist genau dieser Zwei-Minuten-Fix.
GEO-Traffic ist der Strom an Besuchern, die auf deine Website kommen, nachdem dein Content in AI-Assistenten zitiert wurde — ChatGPT Browse, Gemini-Snapshots, Perplexity-Antworten, Microsoft-Copilot-Seitenleisten, sogar Antworten von Smart Speakern. Wenn GPTBot oder ClaudeBot eine Seite crawlt, landen Text und Links in einem Vektorspeicher, der diese Antworten ermöglicht. Jedes Mal, wenn das Modell deinen Absatz mit einem direkten Link ausspielt, klickt ein Teil der Nutzer weiter.
Warum das wichtig ist: Studien auf Basis von Server-Logs zeigen, dass seriöse AI-Crawler auf Tech- und SaaS-Seiten inzwischen 20-30% des klassischen Googlebot-Volumens ausmachen. Dieser Anteil wächst um ~5% von Monat zu Monat, während traditionelle organische Klicks nur um 1-2% zulegen. Ehrlich gesagt würde ich mich nicht darauf festlegen, dass diese Wachstumsraten genau so bleiben — sie können sich abflachen, sie können auch noch anziehen. Aber eines kann ich ziemlich klar sagen: Diese Traffic-Quelle jetzt zu ignorieren heißt, etwas zu ignorieren, das auf den meisten Tech-Seiten längst messbar ist.
Typischer Pfad bis zur Erwähnung:
GPTBot ruft deine Show-Notes- oder Blog-Seite ab →
Text wird eingebettet und gespeichert →
Ein Nutzer stellt eine Frage →
Das Modell zieht deinen Ausschnitt heran und zitiert die URL →
Der Nutzer klickt → du gewinnst einen besonders qualifizierten Besucher.
Blockierst du Schritt 1, kommt die ganze Kette gar nicht erst in Gang.
Cloudflares Bot Fight Mode bringt einen harmlos klingenden Schalter mit: „Block AI Scrapers“. Sobald er aktiviert ist, wird jede Anfrage, die als GPTBot, ClaudeBot, PerplexityBot oder Google-Extended erkannt wird, mit einer Sicherheitsprüfung konfrontiert oder direkt mit 403 abgewiesen. Weil die Sperre am Edge greift, taucht sie in deinen Origin-Logs oft gar nicht auf — nur in den Cloudflare-Analytics siehst du einen Anstieg von 4xx-Antworten für diese User-Agents.
Warum es diesen Schalter gibt: Cloudflare testet gerade einen pay-per-crawl-Marktplatz, bei dem große LLM-Anbieter Zugriffstokens kaufen und Cloudflare 30-40% davon einbehält — ziemlich ähnlich zur Apple-„App-Store-Steuer“. In der Zwischenzeit schützt die Standardeinstellung Inhalte, indem nicht zahlende AI-Bots ausgesperrt werden. Gut für ihre Marge, schlecht für deine Sichtbarkeit. (Ich verstehe die Business-Logik dahinter. Ich wünschte nur, die Voreinstellung wäre nicht „alles blockieren“.)
Symptome, die du sehen wirst
| Symptom | Wo du es siehst | Was es bedeutet |
|---|---|---|
| Anstieg von 403s für GPTBot in den Cloudflare-Logs | Security ▸ Events | AI-Bots werden am Edge blockiert |
| ChatGPT Browse zitiert Zusammenfassungen von Drittseiten statt deiner Domain | Manueller Test mit einem Prompt | Das Modell konnte deinen Content nicht crawlen |
| In Perplexity fehlt deine Seite im Bereich „Sources“, obwohl sie thematisch relevant ist | Perplexity-Antwortansicht | Deine Seite wurde beim Indexieren übergangen |
Technischer Beweis
curl -I https://yourdomain.com/ --user-agent "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.0" HTTP/2 403
Führe denselben curl mit einer normalen Browser-UA aus; dann bekommst du 200 OK. Der Unterschied ist Cloudflares AI-Bot-Sperre.
Unterm Strich: Lässt du den Schalter an, setzt du effektiv Disallow: / für jeden AI-Crawler, auf den ein wachsender Teil des Webs inzwischen setzt. Schalte ihn aus oder erstelle eine explizite Allow-Regel für seriöse User-Agents, dann kann GEO-Traffic innerhalb von 24-48 Stunden wieder anlaufen.
| Bot | Anbieter | Warum du ihn willst | Offizieller User-Agent-String* |
|---|---|---|---|
| GPTBot | OpenAI | Versorgt ChatGPT-Antworten und Link-Zitate. | Mozilla/5.0 … GPTBot/1.0 |
| ClaudeBot | Anthropic | Treibt Claude-Erwähnungen und Echtzeit-Abrufe an. | Mozilla/5.0 … ClaudeBot/1.0 |
| PerplexityBot | Perplexity.ai | Baut den Antwort-Index von Perplexity auf (der Bereich „Sources“ bringt Klicks). | Mozilla/5.0 … PerplexityBot/1.0 |
| Google-Extended | Liefert Daten für das Gemini-LLM; getrennt vom klassischen Googlebot. | Mozilla/5.0 (compatible; Google-Extended/1.0…) |
|
| BingBot (Copilot) | Microsoft | Crawlt sowohl für die Bing-Suche als auch für Copilot-AI-Antworten. | Mozilla/5.0 … bingbot/2.0 |
*Die Auslassungspunkte (…) stehen für Standard-Browser-Strings vor dem Bot-Token.
Logge dich im Cloudflare Dashboard ein
Wähle die Domain aus, die du reparieren willst.
Navigiere zu: Security ▸ Bots
Finde den Schalter „Block AI Scrapers“
Er sitzt unter Bot Fight Mode. Stell ihn auf OFF.
(Optional, aber sicherer) Füge eine explizite Allow-Regel hinzu
Security ▸ WAF ▸ Custom Rules ▸ Create
Expression: (http.user_agent contains "GPTBot") or (http.user_agent contains "ClaudeBot") or (http.user_agent contains "PerplexityBot") or (http.user_agent contains "Google-Extended") or (http.user_agent contains "bingbot")
Action: Skip → Bot Fight Mode, Managed Challenge
Cache leeren
Caching ▸ Configuration ▸ Purge Everything, damit Bots frische 200-Antworten abrufen.
Verifizieren
curl -I https://yourdomain.com/ \ -A "Mozilla/5.0 AppleWebKit/537.36; compatible; GPTBot/1.0"
Erwarte HTTP/2 200, nicht 403.
Gesamtzeit: ~2 Minuten. Ergebnis: AI-Crawler können deine Seiten endlich wieder lesen und zitieren.
User-agent: * Allow: /
Mehr brauchst du nicht. Ein pauschales Allow stellt sicher, dass alle seriösen Bots — Suche und AI — auf jede öffentliche URL zugreifen können. Teilweise oder alte Disallow:-Zeilen zerschießen moderne Indexierung, weil:
AI-Bots oft keine speziellen Regeln für Unterverzeichnisse haben; ein verirrtes Disallow: /api kann in eine komplette Sperre kippen.
Zukünftige Crawler dieselben Regeln erben; dein „temporärer“ Block wird dann zu einem dauerhaften Ausschluss aus Trainingsdaten.
Wenn du Bandbreite drosseln musst, nutze Cloudflare Rate Limiting oder WAF, nicht robots.txt, damit du Crawl-Sichtbarkeit behältst und die Last trotzdem kontrollierst.
Q 1. Cloudflares „Bot Fight Mode“ ist aktiv, aber ich sehe keine Fehler in meinen Server-Logs — warum?
Cloudflare blockiert GPTBot und Co. direkt am Edge, daher erreichen die 403-Antworten deinen Origin nie. Schau in Cloudflare Dashboard → Security → Events nach oder führe einen curl-Test mit dem User-Agent des Bots aus; dort werden die versteckten Sperren sichtbar.
Q 2. Schießt meine Bandbreitenrechnung hoch, wenn ich GPTBot erlaube?
Ein vollständiger GPTBot-Crawl ist leichtgewichtig — nur HTML, keine Bilder, kein CSS, kein JS-Rendering. Für eine Website mit 500 Seiten sind das typischerweise < 30 MB pro Monat, also deutlich unter den 100 MB Cloudflare-Free-Tier-Egress.
Q 3. Könnte das Entsperren von AI-Crawlern private oder bezahlte Inhalte freilegen?
Nur wenn die URLs öffentlich erreichbar sind. Halte Premium-PDFs oder Member-Videos hinter Authentication-Headers; GPTBot respektiert HTTP 401/403 genauso wie Googlebot. robots.txt ist kein Security-Feature.
Q 4. Enthält Cloudflares „Verified Bot“-Liste AI-Crawler?
Nein. GPTBot, ClaudeBot und PerplexityBot stehen noch nicht auf Cloudflares Verified-Liste und landen deshalb in der generischen Kategorie „AI Scraper“, die blockiert wird, wenn der Schalter aktiv ist.
Q 5. Was ist mit dubiosen, bandbreitenfressenden AI-Scrapern?
Erstelle eine WAF-Regel, die nur seriöse User-Agents erlaubt (GPTBot, ClaudeBot, PerplexityBot, Google-Extended, bingbot) und setze für alles andere Rate Limits. So bleibst du offen für Erwähnungen und Zitate, schützt dich aber vor unbekannten Sammel-Bots.
Q 6. Wenn ich heute entsperre, wie schnell fangen AI-Assistenten wieder an, mich zu zitieren?
GPTBot besucht populäre oder frisch aktualisierte Seiten innerhalb von 24-72 Stunden erneut. ChatGPT Browse kann neue Zitate ein oder zwei Tage später anzeigen. Weniger stark frequentierte Seiten können eine Woche oder länger brauchen. Bei uns hat die Erholung für unsere meistzitierten Seiten ungefähr 3 Tage gedauert und für den Long Tail etwa 10 Tage.
no credit card required
