User-Agent

User-agent is de HTTP-requestheader die de opvragende client identificeert. Voor SEO is dit van belang omdat je hiermee Googlebot kunt onderscheiden van Chrome, AhrefsBot van willekeurige scrapers en legitieme crawlactiviteit van rommelverkeer dat serverresources verspilt.

Het belangrijke onderdeel: de string is bruikbaar, maar je kunt hem makkelijk nabootsen. Zie het daarom als een aanwijzing en niet als bewijs.

Waarom SEOs om user-agents geven

User-agentdata vormt de ruggengraat van serieuze analyse van logbestanden. In Screaming Frog Log File Analyser, Splunk, BigQuery, of zelfs een opgeschoonde export naar Looker Studio, gebruik je dit om crawlactiviteit te segmenteren op type bot en op map. Zo zie je of Googlebot 60% van zijn hits besteedt aan gefacetteerde URL’s, of Bingbot vastloopt in redirectketens, of dat GPTBot pagina’s intensief benadert die je niet wilt gebruiken voor training.

Het beïnvloedt ook de implementatie. Robots.txt-directives zijn specifiek voor user-agents. Dat geldt ook voor veel CDN- en WAF-regels in Cloudflare of Akamai. Wil je AhrefsBot vertragen om tijdens piekuren de capaciteit van de origin te behouden, of wil je een AI-crawler blokkeren van een private kennisbank? Dan begint dat bij het matchen van user-agents.

Wat het niet is

User-agent is geen rankingfactor. Google rangschikt pagina’s niet beter omdat ze iets bijzonders teruggeven aan een user-agent van een crawler. En cloakingregels blijven van kracht. Als je Googlebot wezenlijk andere content voorschotelt dan gebruikers zien, is dat geen slimme technische SEO-truc. Het is een beleidsrisico.

Google’s documentatie is hierin al jaren consistent en Google’s John Mueller heeft herhaaldelijk bevestigd dat botidentificatie niet gebruikt mag worden als excuus om zoekmachines andere primaire content te tonen.

Hoe je het goed gebruikt

• Verifieer vóór je vertrouwt: Controleer de user-agentstring en verifieer het IP-adres via reverse DNS of via de door Google gedocumenteerde verificatiemethoden voor crawlers. Een nagemaakte Googlebot-string komt vaak voor.
• Segment logbestanden: Splits Googlebot, Googlebot-Image, Bingbot, AhrefsBot, SemrushBot en AI-crawlers afzonderlijk. Ze bij elkaar voegen verstoort de analyse.
• Audit robots-regels: Bevestig dat je robots.txt bewust ingestelde directives bevat voor de belangrijkste crawlers. Test in Google Search Console en valideer het live fetch-gedrag in de logs.
• Gebruik serverregels zorgvuldig: NGINX, Apache, Cloudflare en Fastly kunnen allemaal optreden op basis van user-agentdata. Goed voor rate limiting. Risicovol voor variatie in content.

Waar de data afbreekt

Dit is de kanttekening die het merendeel van de teams overslaat: user-agentrapportage is rommelig. Bots bespoken elkaar. Sommige tools roteren strings. Een deel van het verkeer komt via gedeelde infrastructuur waardoor toeschrijving onduidelijk wordt. Zelfs Googlebot-verificatie kan verkeerd gaan als je team vertrouwt op oude IP-lijsten in plaats van live verificatie.

Daarnaast is user-agentanalyse zonder logbestanden zwak. Google Search Console laat crawlcijfers zien, maar niet het zelfde detailniveau per request dat je krijgt uit ruwe logs. Ahrefs, Semrush en Moz kunnen je vertellen over hun eigen crawlers, niet over wat er daadwerkelijk je server heeft geraakt.

Gebruik user-agentdata voor diagnose en controle. Beschouw het niet als waarheid zonder verificatie.