Che cos’è il crawling in SEO? Come i bot dei motori di ricerca leggono il tuo sito

TL;DR: La scansione SEO (SEO crawl) è la fase di scoperta e download. Googlebot trova un URL, ne recupera il contenuto e può anche eseguire il rendering del JavaScript. La scansione non garantisce né l’indicizzazione né posizionamenti, quindi individua se il problema è avvenuto in fase di scansione, rendering, indicizzazione oppure ranking prima di mettere mano al sito.

La maggior parte dei problemi di scansione si diagnostica guardando dalla parte sbagliata. Una pagina non compare nella ricerca, qualcuno conclude che Google non l’abbia scansionata e si modifica robots.txt. Eppure Google potrebbe aver già recuperato la pagina e deciso di non indicizzarla, aver selezionato un altro canonical oppure non aver trovato motivi per classificarla per la query che stai controllando.

Scansione, rendering, indicizzazione e ranking sono “cancelli” separati. Google colloca ufficialmente il rendering nella fase di scansione, ma separarli durante la diagnosi rende molto più semplice localizzare i guasti tecnici.

Che cosa significa davvero “crawling” in SEO

Google Search Central definisce il crawling in modo diretto:

“Crawling: Google scarica testo, immagini e video dalle pagine che scopre su internet con programmi automatizzati chiamati crawler.”

In pratica, il crawling è scoperta + fetch. Google capisce che un URL esiste e richiede i suoi contenuti, così la pagina potrà essere processata in un secondo momento.

Il programma che svolge questo lavoro è Googlebot. Google lo descrive come “conosciuto anche come crawler, robot, bot o spider”. Questi nomi indicano lo stesso tipo generale di software: un programma automatizzato che richiede pagine e segue link per scoprire altri URL.

Googlebot non ispeziona il tuo sito “cliccando in giro” come farebbe una persona per vedere cosa c’è a schermo. Richiede HTML e risorse di supporto. Durante la fase di crawl, Google può anche effettuare il rendering della pagina usando una versione recente di Chrome e eseguire il suo JavaScript. Questo è importante se il tuo testo significativo, la navigazione o i link interni non esistono finché non vengono eseguiti gli script.

Un ulteriore dettaglio che è facile trascurare: Googlebot è prevalentemente mobile. Google dice: “Per la maggior parte dei siti, Google Search indicizza principalmente la versione mobile del contenuto. Di conseguenza, la maggior parte delle richieste di crawl di Googlebot viene effettuata usando il crawler mobile, mentre una minoranza usa il crawler desktop”. Se contenuti importanti esistono solo su desktop ma mancano nella versione mobile, test di desktop “riusciti” possono darti una falsa sicurezza.

Ho passato tempo a sistemare il gate sbagliato, prima. Un URL mancante dalla ricerca non dimostra che la scoperta sia fallita; inoltre, richiedere un altro crawl non ripara contenuti duplicati o inutili (un errore di categoria frustrantemente comune).

Crawl, render, index e rank sono lavori diversi

1. Crawl: scopri e scarica

Googlebot deve prima sapere che un URL esiste. Una volta scoperto, prova a recuperare il raw HTML della pagina e le risorse necessarie. Una restrizione di robots.txt, un errore DNS o di rete, un timeout o un errore del server possono fermare il processo già qui.

Un fetch riuscito fa passare l’URL attraverso il primo gate. Nient’altro.

2. Render: esegui la pagina

Google include ufficialmente il rendering dentro il crawling, ma vale la pena testarlo separatamente (non come un quarto stadio ufficiale, per essere precisi). Google dice che durante il crawling effettua il rendering delle pagine e avvia JavaScript usando una versione recente di Chrome, in modo simile a un browser normale.

Per le applicazioni JavaScript, Google documenta la sequenza funzionante come crawling, rendering e indicizzazione. Le pagine che restituiscono una risposta corretta possono entrare in una coda di rendering, dove Chromium headless esegue il loro JavaScript. Google Search usa una versione “evergreen” di Chromium invece di un browser bloccato per sempre a una versione specifica.

Questo crea una separazione diagnostica importante. Googlebot può recuperare una pagina con HTTP 200 mentre fallisce comunque a vedere i suoi contenuti finali. Risorse bloccate, errori negli script, contenuti lato client in ritardo o link che compaiono solo dopo un’interazione dell’utente possono lasciare il risultato renderizzato incompleto.

3. Index: analizza e salva

Google definisce l’indicizzazione come l’analisi del testo, delle immagini e dei video di una pagina e il salvataggio delle informazioni nell’indice Google. Durante questo processo, Google valuta anche le duplicazioni e sceglie quale URL considera canonical.

Una pagina crawled non viene indicizzata automaticamente. Una direttiva noindex può escluderla. Google può anche rifiutare di indicizzare materiale sottile o sostanzialmente duplicato, oppure può consolidare la pagina sotto un altro URL canonical. La nostra guida su come funziona l’indicizzazione di Google tratta questo passaggio in modo più dettagliato.

4. Rank and serve: rispondi a una query

Indicizzato significa “ammissibile a comparire”. Non significa “visibile per ogni ricerca” né “garantito in una posizione specifica”. Google deve comunque decidere che la pagina corrisponde a una query e stabilire dove si colloca tra le altre opzioni ammissibili.

• Un URL può essere scoperto ma non recuperato con successo.
• Può essere recuperato ma renderizzato in modo errato.
• Può essere renderizzato ma escluso dall’indice.
• Può essere indicizzato ma fallire il ranking per la query che controlli.

Google offre ai proprietari di siti un controllo di realtà utile: “Google non garantisce che effettuerà il crawling, l’indicizzazione o la pubblicazione della tua pagina, anche se la tua pagina segue le Google Search Essentials”. L’accessibilità tecnica è necessaria. Non è una promessa di inclusione o visibilità.

Come Google scopre le pagine

Google non parte da una directory completa di ogni URL sul web. La sua documentazione identifica tre canali principali di scoperta:

1. Ritorno su URL già conosciuti. Google torna sulle pagine che ha già recuperato in passato.
2. Seguire i link. Google estrae un link da una pagina nota e scopre la sua destinazione.
3. Lettura delle sitemap. Google elabora liste di URL inviate dai proprietari dei siti.

Per questo il linking interno è infrastruttura, non decorazione. Una pagina senza link interni che puntano ad essa è un orfano. Può esistere nel CMS e comparire nella XML sitemap, restando però scollegata dai percorsi che Googlebot segue normalmente.

Lo studio di Cyrus Shepard su circa 23 milioni di link interni distribuiti su circa 1.800 siti ha trovato una relazione “direzionale” tra link interni e clic Google: “Gli URL con 0-4 link interni hanno ricevuto in media 2 clic da Google Search, mentre gli URL con 40-44 link interni hanno ricevuto 4 volte tanto”. Era una correlazione, non la prova che aggiungere link moltiplichi il traffico in modo meccanico.

Lo studio ha anche rilevato che l’effetto si invertiva dopo circa 45-50 link interni. Più non significa sempre meglio. La conclusione utile è che le pagine importanti richiedono diversi percorsi di crawl rilevanti, non che ogni pagina debba ricevere decine di link arbitrari.

Da quello che vediamo su SEOJuice, tra i siti che analizziamo gli orfani e le route interne deboli emergono molto più spesso dei problemi di “capacità di crawl” veri. La correzione è quasi sempre collegare la pagina a contenuti pertinenti già indicizzati e mantenerla nella sitemap. Una struttura coerente, come content silos per SEO, dà ai crawler percorsi ripetibili tra pagine correlate.

In passato consideravo l’inclusione in sitemap come una prova più forte di quanto sia. Dimostra che un URL è stato fornito a Google, non che Google lo abbia recuperato o indicizzato (stavo sovra-interpretando il segnale). La sitemap aiuta la scoperta; non sostituisce i link interni né costringe a un esito.

Per un singolo URL nuovo o aggiornato, anche URL Inspection in Google Search Console offre l’azione Request Indexing. Questo aggiunge una richiesta alla coda di elaborazione di Google. È un “aiuto”, non un comando.

robots.txt, noindex e nofollow fanno cose diverse

robots.txt controlla il fetch

Un file robots.txt dice ai crawler “compliant” quali percorsi di URL possono accedere. Google afferma che viene usato principalmente per evitare che le richieste dei crawler sovraccarichino un sito.

Non è uno strumento affidabile di rimozione. La documentazione su robots.txt di Google specifica che “Una pagina che è vietata in robots.txt può comunque essere indicizzata se è linkata da altri siti” e definisce esplicitamente il file “non un meccanismo per tenere una pagina web fuori da Google”. Google può sapere che un URL bloccato esiste senza essere autorizzato a recuperare i suoi contenuti.

Controlla ogni regola generale prima della pubblicazione. Un Disallow: / in produzione consiste in pochissimo testo e può rimuovere l’accesso di Googlebot all’intero sito. Il generatore di robots.txt può aiutarti a redigere un file, ma il suo output va comunque testato sui tuoi percorsi importanti.

noindex controlla l’idoneità all’indicizzazione

Usa noindex quando Google può anche fare crawl di una pagina ma non dovrebbe mantenerla nei risultati di ricerca. Non disabilitare anche quell’URL in robots.txt. Google deve recuperare la pagina per leggere la sua direttiva noindex.

Applicare entrambe può produrre l’opposto della certezza che volevi ottenere. La restrizione di crawl impedisce a Google di vedere l’istruzione di indicizzazione, quindi l’URL bloccato potrebbe rimanere comunque noto tramite link esterni o interni.

nofollow è un suggerimento a livello di link

L’attributo nofollow non è un divieto di crawl a livello pagina. Google lo tratta come un suggerimento, non come un blocco garantito. Non dovrebbe essere usato per nascondere un URL, proteggere contenuti privati oppure assicurare l’esclusione dall’indice.

La navigation “a faccette” è il punto in cui queste definizioni pulite diventano meno comode. Non esiste un pattern robots.txt universalmente sicuro per ogni catalogo. Alcuni URL filtrati soddisfano ricerche distinte; altri generano combinazioni praticamente infinite. Bloccare prima e mappare il valore dopo è rischioso (e sì, questa è una delle aree in cui non mi fido dei “fix” in una riga).

Probabilmente non hai un problema di crawl budget

Il crawl budget è l’insieme di URL che Google può e vuole scansionare. Google descrive due componenti: il limite di capacità di crawl, che considera connessioni parallele, tempi di risposta e stato del server; e la domanda di crawl, che riflette fattori come dimensione del sito, frequenza di aggiornamento, qualità, popolarità e freschezza.

Il termine suona abbastanza importante da far preoccupare ogni proprietario di sito. Eppure le soglie di Google dicono il contrario.

“Se il tuo sito non ha un gran numero di pagine che cambiano rapidamente, oppure se sembra che le tue pagine vengano sottoposte a crawl lo stesso giorno in cui vengono pubblicate, non hai bisogno di leggere questa guida.”

Google indirizza la sua guida sul crawl budget principalmente a siti con più di un milione di pagine uniche che cambiano circa ogni settimana, oppure a siti con più di 10.000 pagine uniche che cambiano ogni giorno. Per la maggior parte dei siti più piccoli, mantenere la sitemap e controllare la copertura dell’indicizzazione è sufficiente.

Se pubblichi un numero modesto di URL e Google recupera rapidamente le nuove pagine, smetti di cercare di ottimizzare il crawl budget. Sistematizza invece percorsi di scoperta rotti, direttive accidentali, problemi di rendering, errori del server o problemi di qualità del contenuto. Per siti davvero grandi o molto dinamici, la nostra guida all’ottimizzazione del crawl budget copre i casi più difficili.

Come capire cosa sta facendo crawling per Google

Inizia con URL Inspection

Per una singola pagina mancante, URL Inspection in Google Search Console è il punto di partenza più rapido. Può mostrarti l’ultima data di crawl, se il crawling era consentito, lo stato di indicizzazione e il canonical selezionato da Google.

Leggi quei campi in sequenza. Se il crawling è stato bloccato, ripara l’accesso. Se Google ha effettuato il crawl dell’URL ma lo ha escluso dall’indice, un’ulteriore richiesta di crawl è improbabile che risolva il problema di base.

Usa Crawl Stats per individuare pattern a livello di sito

Il report Crawl Stats mostra la storia di crawling di Google, inclusi conteggio richieste, dimensione totale scaricata, tempo di risposta medio, risposte del server, problemi di disponibilità, tipi di file, scopo del crawl e tipo di Googlebot.

Google lo chiama report avanzato e dice che i siti con meno di 1.000 pagine in generale non dovrebbero averne bisogno. Ha senso. Tuttavia lo controllo comunque dopo migrazioni o cambiamenti improvvisi a livello di sito, ma non è un utile “punteggio giornaliero” (più crawling non significa automaticamente meglio).

Usa i log del server per richieste esatte

I log di accesso del server registrano le richieste che hanno effettivamente raggiunto la tua infrastruttura. Possono rivelare quali URL Googlebot recupera, con che frequenza visita ogni sezione e se parametri o URL di scarto stanno ricevendo attenzione mentre pagine di valore vengono raramente visitate.

Le stringhe user-agent di Googlebot includono Googlebot/2.1, ma il testo dell’user-agent può essere imitato. Per un’identificazione affidabile, verifica le richieste sospette come Googlebot tramite reverse e forward DNS, invece di fidarti solo della stringa.

Per la maggior parte dei siti, l’attività reale di Googlebot dovrebbe essere piuttosto “leggera”. Google dice: “Per la maggior parte dei siti, Googlebot non dovrebbe accedere al tuo sito più di una volta ogni pochi secondi in media”.

Cinque problemi di crawl SEO che vale la pena sistemare

1. Pagine orfane e quasi-orfane

Un orfano non ha nessun percorso via link interno dal resto del sito. Un quasi-orfano potrebbe avere un singolo link poco visibile da un archivio o da una pagina di paginazione che Google raramente rivede. Aggiungi link contestuali da pagine pertinenti già indicizzate invece di affidarti solo alla sitemap.

Di solito questo è il primo problema strutturale che controllo. L’URL esiste, quindi il team assume che il sito lo esponga correttamente. Non sono la stessa cosa.

2. JavaScript o CSS bloccati

Google effettua il rendering delle pagine con Chromium. Se robots.txt blocca le risorse necessarie a scoprire contenuti o navigazione, la richiesta HTML può riuscire mentre la pagina renderizzata resta incompleta.

Confronta l’output renderizzato da Google con ciò che vedono gli utenti, soprattutto nelle applicazioni renderizzate lato client dove l’HTML iniziale contiene poco o nulla di contenuto sostanziale.

3. Trappole di crawl infinite

Filtri, parametri di ordinamento, calendari, pagine di ricerca e ID di sessione possono generare un’enorme quantità di combinazioni URL a basso valore. Su siti grandi questo diventa un problema di crawling concreto.

Rimedi comuni includono consolidare duplicati tramite canonical, limitare combinazioni di parametri scansionabili e bloccare pattern appropriati. Mappa quali combinazioni meritano indicizzazione prima di limitarle; una regola “a tappeto” può rimuovere pagine di categoria preziose insieme allo “spazzatura”.

4. Server lenti o poco affidabili

Google adatta la capacità di crawl in base alla salute del server. Timeout persistenti, risposte lente ed errori 5xx possono portare Google a ridurre il crawling. Crawl Stats può evidenziare variazioni aggregate nei tempi di risposta, mentre i log indicano i template e gli URL che li causano.

5. Blocchi accidentali in produzione

Controlla regole robots.txt di staging passate in produzione, direttive noindex a livello di sito, asset bloccati e impostazioni del CMS pensate per scoraggiare i motori di ricerca. Sono failure “banali”, ma con conseguenze su tutto il sito.

Durante la migrazione da seojuice.io a seojuice.com nel gennaio 2026, abbiamo trattato scoperta, fetch, selezione del canonical e indicizzazione come controlli separati. Un URL sull’host “vecchio” che veniva ricrawled non dimostrava che il suo sostituto sull’host nuovo fosse stato indicizzato, e un redirect corretto non dimostrava che Google avesse ancora cambiato canonical. Questa separazione ci ha evitato di ridurre la migrazione a una fuorviante casella “Google lo vede”.

Siamo un team di due persone, Lida e io, quindi l’ordine diagnostico conta. Non possiamo passare giorni a rifinire teorie sul crawl budget mentre una pagina orfana o un noindex in produzione sta facendo davvero il danno.

Se questi problemi ricorrenti sono difficili da monitorare manualmente, SEOJuice ha un piano gratuito senza bisogno di carta di credito. La sua automazione può aggiungere link interni rilevanti e la sua funzione di site audit segnala blocchi robots.txt, tag noindex e risorse bloccate. Può correggere o evidenziare problemi specifici sul sito; non può forzare Google a crawlare più velocemente, indicizzare una pagina o assegnare ranking.

Domande frequenti

Che cos’è il crawling in SEO?

Il crawling in SEO è il processo con cui i bot dei motori di ricerca scoprono e scaricano pagine. Googlebot trova gli URL tornando su pagine note, seguendo link e leggendo sitemap. Un crawling riuscito non garantisce che una pagina venga indicizzata o posizionata.

Qual è la differenza tra crawling e indicizzazione?

Crawling significa che Google recupera una pagina. Indicizzazione significa che Google analizza la pagina, valuta il suo canonical e può salvare informazioni al riguardo nell’indice Google. Una pagina può essere crawled ma non indicizzata a causa di noindex, duplicazioni, qualità del contenuto o selezione del canonical.

Che cos’è un web crawler, uno spider o un bot?

Un web crawler è un programma automatizzato che visita URL, scarica contenuti e segue link per trovare altre pagine. Il crawler di Google è Googlebot. Crawler, spider, robot e bot sono nomi diversi per lo stesso tipo generale di software.

Come fa Google a trovare e fare crawling del mio sito?

Google torna su URL che già conosce, segue link da pagine note verso nuove destinazioni e legge le sitemap XML inviate. I link interni forniscono percorsi diretti di scoperta, mentre la sitemap fornisce un elenco utile di URL che Google può considerare per il crawling.

robots.txt impedisce a Google di fare crawling o indicizzare?

robots.txt limita il crawling, non l’indicizzazione. Un URL bloccato può comunque comparire su Google se viene scoperto tramite link. Per tenere una pagina crawlabile fuori dall’indice, usa noindex e non impedire simultaneamente a Google di recuperare la direttiva.

Come posso vedere cosa sta facendo Google in crawling?

Usa URL Inspection per lo stato di un singolo URL, Crawl Stats per richieste e pattern a livello di sito, e i log di accesso al server per i singoli URL richiesti da Googlebot. Insieme, queste fonti distinguono un vero fallimento di crawl da un problema successivo di rendering o indicizzazione.