Diluizione del budget dell’indice

Diluizione del budget di indicizzazione significa che troppi URL di scarso valore competono per l’attenzione del Googlebot. Su siti con 100.000+ URL, questo si traduce di solito in indicizzazione più lenta, ricrawl non aggiornati sulle template chiave e performance organica più debole proprio dove conta davvero.

Il problema pratico è semplice: il Googlebot sta sprecando richieste su URL di categoria filtrati, parametri di tracciamento, pagine di ricerca interna, varianti duplicate e pagine soft-empty invece che sugli URL commerciali o editoriali che vuoi indicizzare velocemente. Screaming Frog mostrerà la dimensione del fenomeno. I log del server ne dimostrano il costo.

Perché conta

Non è solo un punto di discussione sul crawl budget. Diventa un problema di indicizzazione quando Google continua a scoprire “spazzatura” più velocemente di quanto riesca a processare le tue pagine utili. In Google Search Console lo vedi spesso come un pattern gonfio di Scoperto - non indicizzato o Crawled - non indicizzato, associato a una copertura della sitemap che appare peggiore di quanto dovrebbe.

Su ecommerce enterprise, marketplace e archivi di editori, correggere la diluizione può ridurre in modo significativo il tempo fino all’indicizzazione. Ahrefs e Semrush possono aiutarti a isolare le pagine che dovrebbero posizionarsi ma non sono presenti nell’indice di Google. GSC e file di log dicono se la richiesta di crawl viene sprecata “a monte”.

Cause più comuni

• La navigazione a filtri (faceted navigation) genera 10.000+ combinazioni indicizzabili
• I parametri UTM, ordinamento, sessione e paginazione lasciati indicizzabili
• Pagine prodotto o località quasi duplicate con segnali canonici deboli
• Pagine dei risultati della ricerca interna linkate su larga scala
• Sitemap XML con URL non canonici, reindirizzati o con noindex

Da soli, Moz e Surfer SEO non diagnosticano bene questo aspetto. Prima di tutto è un problema di technical SEO, non un tema di “scoring” del contenuto.

Come valutarlo correttamente

Inizia con tre fonti di dati: GSC Crawl Stats, i log grezzi del server e un crawl completo in Screaming Frog o Sitebulb. Se il 20%+ degli hit del Googlebot va verso URL parametrizzati, duplicati, reindirizzati o non indicizzabili, probabilmente hai un problema di diluizione che vale la pena risolvere. Su siti molto grandi, il 30%+ è comune.

Poi confronta:

1. URL inviati nelle sitemap vs. URL effettivamente indicizzati
2. Hit del Googlebot verso template di valore vs. template di scarso valore
3. Link interni che puntano agli URL canonici vs. versioni alternative

John Mueller di Google ha detto più volte che il crawl budget conta soprattutto per i siti più grandi, e quella resta l’impostazione corretta. La precisazione: i team spesso danno la colpa al crawl budget quando il vero problema è la qualità. Se le pagine sono sottili, duplici o commercialmente intercambiabili, migliorare l’efficienza di crawl non obbligherà Google a indicizzarle.

Come risolverlo

• Blocca i pattern di parametri inutili in robots.txt quando non dovrebbero mai essere crawlati
• Usa noindex per pagine di cui gli utenti hanno bisogno ma che la ricerca non dovrebbe indicizzare
• Rafforza i canonicals, poi allinea i link interni all’URL target canonico
• Rimuovi il “rumore” dalle sitemap XML. Sii rigoroso.
• Consolida i template duplicati con 301 quando l’intento è lo stesso

Un avvertimento. Non usare robots.txt come scorciatoia per la pulizia. Se gli URL bloccati continuano ad attirare link o sono referenziati pesantemente internamente, Google può mantenerli in gioco come URL “scoperti” senza vedere le tue direttive canoniche o noindex. Ed è qui che la saggezza convenzionale si rompe.

Il set di KPI migliore è quello noioso ma utile: percentuale di spreco del crawl, rapporto tra indicizzati e inviati, giorni mediani fino all’indicizzazione per i nuovi URL e hit del Googlebot per ogni template di valore. Se quei numeri si muovono nella direzione giusta, la diluizione sta diminuendo. Se no, probabilmente stai trattando i sintomi.