TL;DR: Cloudflare AI-botblokkade uitschakelen kan nodig zijn als je onbedoeld GEO-verkeer uit AI-antwoordmachines blokkeert. Zo stel je je regels goed in, zodat je scrapers tegenhoudt zonder je citaties kwijt te raken.
(Met "GEO-verkeer" bedoel ik hier: Generative-Engine-Optimised verkeer uit AI-assistenten zoals ChatGPT, Claude, Perplexity en Gemini.)
Ik ontdekte dit toen ons eigen verkeer daalde. In juli 2025 zag ik iets vreemds in onze SEOJuice-analytics: merkvermeldingen in AI-antwoorden bleven ongeveer twee weken lang volledig uit, terwijl onze contentoutput niet was veranderd. Ik heb het grootste deel van een vrijdagmiddag in serverlogs zitten graven voordat ik eraan dacht om Cloudflare te checken. En ja hoor — "Block AI Scrapers" stond aan. Ik kan me niet herinneren dat ik dat heb ingeschakeld. Misschien was het een standaardwijziging tijdens een upgrade van ons Cloudflare-plan, of heeft een van onze engineers het tijdens een DDoS-paniek aangezet en daarna vergeten terug te draaien. Hoe dan ook: GPTBot, ClaudeBot, PerplexityBot, Google-Extended — ze liepen allemaal twee weken lang tegen 403-responses bij Cloudflare aan. In onze serverlogs zag je niets, omdat die requests de origin nooit bereikten.
Wanneer Cloudflare een 403 teruggeeft, valt ChatGPT terug op alles wat het elders nog kan indexeren: Product Hunt-tekstjes, verouderde reviews of write-ups van concurrenten. Je verliest de regie over het verhaal en — pijnlijker nog — de link die gekwalificeerde bezoekers rechtstreeks naar je site had gestuurd.
Nadat ik de schakelaar uitzette en een expliciete allow-regel toevoegde, herstelden onze AI-citaties zich binnen ongeveer 72 uur. Twee weken onzichtbare schade, opgelost in twee minuten. Dit artikel laat precies die oplossing van twee minuten zien.
GEO-verkeer is de stroom bezoekers die binnenkomt nadat je content wordt geciteerd in AI-assistenten — ChatGPT "Browse", Gemini-samenvattingen, Perplexity-antwoorden, Microsoft Copilot-zijbalken, zelfs antwoorden van slimme speakers. Wanneer GPTBot of ClaudeBot een pagina crawlt, komen tekst en links terecht in een vectorindex die deze antwoorden mogelijk maakt. Elke keer dat het model jouw alinea toont met een live link, klikt een deel van de gebruikers door.
Waarom dit belangrijk is: studies op basis van serverlogs laten zien dat betrouwbare AI-crawlers op tech- en SaaS-sites inmiddels goed zijn voor 20-30% van het klassieke Googlebot-volume. Dat aandeel groeit met ongeveer 5% maand op maand, terwijl traditionele organische klikken maar zo'n 1-2% stijgen. Eerlijk gezegd weet ik niet zeker of die groeicijfers zo blijven — het kan afvlakken, het kan ook versnellen. Wat ik hierover wél kan zeggen: deze verkeersbron nu negeren betekent iets negeren dat op de meeste tech-sites al gewoon meetbaar is.
Typisch pad naar een citatie:
GPTBot haalt je show notes- of blogpagina op →
De tekst wordt verwerkt en opgeslagen →
Een gebruiker stelt een vraag →
Het model haalt jouw snippet op en citeert de URL →
De gebruiker klikt → jij krijgt een bezoeker met hoge intentie.
Blokkeer stap 1, en de hele keten komt nooit op gang.
Cloudflare's Bot Fight Mode heeft een onschuldig klinkende schakelaar: "Block AI Scrapers." Zodra die aanstaat, krijgt elk request dat matcht op GPTBot, ClaudeBot, PerplexityBot of Google-Extended een challenge of direct een 403. Omdat die blokkade aan de edge gebeurt, zie je hem mogelijk nooit terug in je serverlogs — alleen in Cloudflare-analytics zie je dan een piek in 4xx-responses naar AI-bots.
Waarom die schakelaar bestaat: Cloudflare test een pay-per-crawl-marktplaats waarbij grote LLM-leveranciers toegangstokens kopen en Cloudflare daar 30-40% van pakt — een beetje zoals de App Store-heffing van Apple. In de tussentijd beschermt de standaardinstelling content door niet-betalende AI-bots te weigeren. Geweldig voor hun marges; rampzalig voor jouw zichtbaarheid. (Ik snap hun commerciële redenering wel. Ik wou alleen dat de standaard niet "blokkeer alles" was.)
Symptomen die je zult zien
| Symptoom | Waar je het ziet | Wat het betekent |
|---|---|---|
| Piek in 403-fouten voor GPTBot in de Cloudflare-logs | Security ▸ Events | AI-bots worden al aan de edge geblokkeerd |
| ChatGPT Browse citeert samenvattingen van derden in plaats van jouw domein | Handmatige prompttest | Het model kon je content niet crawlen |
| In de Perplexity-lijst met bronnen kom je niet voor, ondanks duidelijke relevantie | Het antwoordenpaneel van Perplexity | De index heeft je pagina gemist |
Technisch bewijs
curl -I https://yourdomain.com/ --user-agent "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.0" HTTP/2 403
Voer dezelfde curl uit met een normale browser-UA en je krijgt 200 OK. Dat verschil komt door de Cloudflare AI-botblokkade.
Bottom line: laat je deze schakelaar aanstaan, dan zet je in de praktijk Disallow: / voor elke AI-crawler waar het web nu op leunt. Zet hem uit, of maak een expliciete allow-regel voor betrouwbare bots, en GEO-verkeer kan binnen 24-48 uur weer op gang komen.
| Bot | Leverancier | Waarom je hem wilt toelaten | Officiële User-Agent String* |
|---|---|---|---|
| GPTBot | OpenAI | Levert input voor ChatGPT-antwoorden en bronvermeldingen met links. | Mozilla/5.0 … GPTBot/1.0 |
| ClaudeBot | Anthropic | Stuurt Claude-citaties en real-time fetches aan. | Mozilla/5.0 … ClaudeBot/1.0 |
| PerplexityBot | Perplexity.ai | Bouwt de antwoordindex van Perplexity op (het bronnenpaneel levert klikken op). | Mozilla/5.0 … PerplexityBot/1.0 |
| Google-Extended | Levert input voor de Gemini LLM; dit is iets anders dan de klassieke Googlebot. | Mozilla/5.0 (compatible; Google-Extended/1.0…) |
|
| BingBot (Copilot) | Microsoft | Crawlt voor zowel Bing search als Copilot AI-antwoorden. | Mozilla/5.0 … bingbot/2.0 |
*De ellipsen (…) geven standaard browserstrings aan die vóór de bottoken staan.
Log in op je Cloudflare Dashboard
Kies het domein dat je wilt fixen.
Ga naar: Security ▸ Bots
Zoek de schakelaar "Block AI Scrapers"
Die staat onder Bot Fight Mode. Zet hem UIT.
(Optioneel, maar veiliger) Voeg een expliciete allow-regel toe
Security ▸ WAF ▸ Custom Rules ▸ Create
Expressie: (http.user_agent contains "GPTBot") or (http.user_agent contains "ClaudeBot") or (http.user_agent contains "PerplexityBot") or (http.user_agent contains "Google-Extended") or (http.user_agent contains "bingbot")
Actie: Skip → Bot Fight Mode, Managed Challenge
Purge Cache
Caching ▸ Configuration ▸ Purge Everything zodat bots verse 200-responses ophalen.
Verifieer
curl -I https://yourdomain.com/ \ -A "Mozilla/5.0 AppleWebKit/537.36; compatible; GPTBot/1.0"
Je verwacht HTTP/2 200, niet 403.
Totale tijd: ~2 minuten. Resultaat: AI-bots kunnen je pagina's eindelijk weer lezen en citeren.
User-agent: * Allow: /
Dat is alles. Een algemene allow-regel zorgt ervoor dat alle betrouwbare bots — search én AI — toegang hebben tot elke publieke URL. Gedeeltelijke of oude Disallow:-regels breken moderne indexatie omdat:
AI-bots vaak geen speciale regels voor subdirectories hebben; een verdwaalde Disallow: /api kan doorschieten naar een volledige blokkade.
Toekomstige crawlers dezelfde regels erven; je "tijdelijke" blokkade verandert dan in permanente uitsluiting uit trainingsdata.
Moet je bandbreedte beperken, gebruik dan Cloudflare rate limiting of WAF, niet robots.txt, zodat je crawl-zichtbaarheid behoudt terwijl je de belasting onder controle houdt.
Q 1. Cloudflare's "Bot Fight Mode" staat aan, maar ik zie geen fouten in mijn serverlogs — hoe kan dat?
Cloudflare blokkeert GPTBot en vrienden aan de edge, dus die 403-responses bereiken je origin nooit. Check Cloudflare Dashboard → Security → Events of draai een curl-test met de User-Agent van de bot; daar zie je deze verborgen blokkades wel terug.
Q 2. Gaat mijn bandbreedtefactuur omhoog als ik GPTBot toelaat?
Een volledige GPTBot-crawl is lichtgewicht — alleen HTML, geen afbeeldingen, geen CSS, geen JS-executie. Voor een site met 500 pagina's is dat meestal < 30 MB per maand, ruim onder de 100 MB egress allowance van Cloudflare's free tier.
Q 3. Kan het opheffen van de blokkade voor AI-bots privé- of betaalde content blootleggen?
Alleen als die URL's publiek bereikbaar zijn. Houd premium-PDF's of membervideo's achter authenticatieheaders; GPTBot respecteert HTTP 401/403 net als Googlebot. Robots.txt is geen beveiligingsfunctie.
Q 4. Staat Cloudflare's lijst met geverifieerde bots ook AI-bots toe?
Nee. GPTBot, ClaudeBot en PerplexityBot staan nog niet op Cloudflare's lijst met geverifieerde bots, dus vallen ze in de generieke categorie "AI Scraper" die wordt geblokkeerd zodra de schakelaar aanstaat.
Q 5. Hoe zit het met dubieuze AI-scrapers die je bandbreedte leegtrekken?
Maak een WAF-regel die alleen betrouwbare bots toelaat (GPTBot, ClaudeBot, PerplexityBot, Google-Extended, bingbot) en zet rate limiting op alles daarbuiten. Zo blijf je open voor citaties, maar bescherm je jezelf tegen onbekende harvesters.
Q 6. Als ik vandaag de blokkering uitschakel, hoe snel gaan AI-assistenten me dan weer citeren?
GPTBot bezoekt populaire of recent bijgewerkte pagina's opnieuw binnen 24-72 uur. ChatGPT Browse kan nieuwe citaties een dag of twee later tonen. Minder bezochte pagina's kunnen een week of langer nodig hebben. In ons geval duurde het herstel ongeveer 3 dagen voor onze meest geciteerde pagina's en ongeveer 10 dagen voor de long tail.
no credit card required
No related articles found.
