User-Agent

User-agent è l’intestazione (header) della richiesta HTTP che identifica il client che effettua la richiesta. In ottica SEO è importante perché ti aiuta a distinguere Googlebot da Chrome, AhrefsBot da scraper casuali e l’attività di crawling legittima dal traffico di bassa qualità che spreca risorse del server.

La parte importante: la stringa è utile, ma è facile da falsificare. Considerala prima un indizio, non una prova.

Perché i SEO tengono agli user-agent

I dati dell’user-agent sono la base dell’analisi seria dei file di log. In Screaming Frog Log File Analyser, Splunk, BigQuery o anche in un export ripulito importato in Looker Studio, li usi per segmentare l’attività di crawling per tipologia di bot e per directory. Questo ti dice se Googlebot sta dedicando il 60% dei suoi hit agli URL con filtri e faccette, se Bingbot è bloccato in catene di redirect oppure se GPTBot sta “martellando” pagine che non vuoi vengano usate per l’addestramento.

Influisce anche sull’implementazione. Le direttive di robots.txt sono specifiche per user-agent. Lo sono anche molte regole di CDN e WAF in Cloudflare o Akamai. Se vuoi rallentare AhrefsBot per preservare la capacità dell’origin durante le ore di picco, oppure bloccare un crawler AI da una knowledge base privata, l’abbinamento degli user-agent è il punto di partenza.

Che cosa non è

L’user-agent non è un fattore di ranking. Google non posiziona meglio le pagine perché restituiscono qualcosa di “speciale” a un user-agent da crawler. E valgono ancora le regole sul cloaking. Se serv i contenuti sostanzialmente diversi a Googlebot rispetto a quelli che vedono gli utenti, non è una mossa di technical SEO “furba”: è un rischio di policy.

La documentazione di Google è coerente su questo da anni e John Mueller di Google ha ribadito più volte che l’identificazione dei bot non dovrebbe essere usata come scusa per mostrare ai motori di ricerca un contenuto primario diverso.

Come usarlo correttamente

• Verifica prima di fidarti: controlla la stringa dell’user-agent e verifica l’IP tramite reverse DNS o i metodi di verifica dei crawler documentati da Google. Una stringa “finta Googlebot” è comune.
• Segmenta i log: separa Googlebot, Googlebot-Image, Bingbot, AhrefsBot, SemrushBot e i crawler AI. Metterli tutti insieme rovina l’analisi.
• Audit delle regole robots: verifica che il tuo robots.txt contenga direttive intenzionali per i principali crawler. Testa in Google Search Console e valida il comportamento di fetch in tempo reale nei log.
• Usa con attenzione le regole lato server: NGINX, Apache, Cloudflare e Fastly possono tutti agire sui dati dell’user-agent. Utile per il rate limiting. Rischioso per la variazione dei contenuti.

Dove i dati si “rompono”

Questa è l’avvertenza che molti team ignorano: il reporting sugli user-agent è caotico. I bot si spoofano a vicenda. Alcuni strumenti ruotano le stringhe. Una parte del traffico passa attraverso infrastrutture condivise che rendono l’attribuzione poco chiara. Anche la verifica di Googlebot può essere gestita male se il tuo team si basa su liste IP vecchie invece che su verifiche live.

Inoltre, l’analisi degli user-agent senza file di log è debole. Google Search Console mostra statistiche di crawling, ma non lo stesso livello di dettaglio richiesta-per-richiesta che ottieni dai log grezzi. Ahrefs, Semrush e Moz possono dirti qualcosa sui loro crawler, non su ciò che ha realmente colpito il tuo server.

Usa i dati dell’user-agent per diagnosi e controllo. Non trattarli come verità assoluta senza una verifica.