Indexbudgetverwatering

Index budget-dilutie betekent dat er te veel laagwaardige URL’s concurreren om de aandacht van Googlebot. Op sites met 100.000+ URL’s vertaalt dat zich doorgaans in trager indexeren, verouderde hercrawl van belangrijke templates en zwakkere organische prestaties—juist waar het ertoe doet.

Het praktische probleem is simpel: Googlebot besteedt verzoeken aan gefilterde categorie-URL’s, trackingparameters, interne zoekpagina’s, duplicaten/varianten en soft-empty pagina’s in plaats van aan commerciële of redactionele URL’s die je snel geïndexeerd wilt hebben. Screaming Frog laat de omvang zien. Serverlogs bewijzen de kosten.

Waarom het ertoe doet

Dit is niet alleen maar een “crawl budget”-aandachtspunt. Het wordt een indexeerprobleem zodra Google junk sneller blijft ontdekken dan jij nuttige pagina’s kunt verwerken. In Google Search Console zie je het meestal als een opgeblazen patroon Ontdekt - momenteel niet geïndexeerd of Gecrawld - momenteel niet geïndexeerd, samen met een sitemapdekking die er slechter uitziet dan zou moeten.

Bij enterprise webshops, marketplaces en uitgeversarchieven kan het oplossen van dilutie de time-to-index aantoonbaar verkorten. Ahrefs en Semrush kunnen helpen om pagina’s te isoleren die wel zouden moeten ranken maar niet in de index van Google staan. GSC en logbestanden vertellen je of de crawlvraag stroomopwaarts wordt verspild.

Wat is meestal de oorzaak

• Faceted navigation die 10.000+ crawlbare combinaties genereert
• UTM-, sort-, sessie- en pagineringsparameters die crawlbaar zijn gelaten
• Bijna-duplicate product- of locatiepagina’s met zwakke canonieke signalen
• Interne zoekresultaatpagina’s die op grote schaal worden gelinkt
• XML-sitemaps met niet-canonieke, doorgestuurde of noindex-URL’s

Moz en Surfer SEO kunnen dit niet goed op zichzelf diagnosticeren. Dit is eerst een technisch SEO-probleem, geen probleem met contentwaardering.

Hoe je het goed beoordeelt

Begin met drie databronnen: GSC Crawl Stats, ruwe serverlogs en een volledige crawl in Screaming Frog of Sitebulb. Als 20%+ van de Googlebot-hits naar URL’s met parameters, duplicaten, redirects of “niet-indexeerbare” varianten gaat, heb je waarschijnlijk een dilutieprobleem dat het waard is om op te lossen. Op heel grote sites is 30%+ gebruikelijk.

Vergelijk vervolgens:

1. URL’s die in sitemaps zijn ingediend versus URL’s die daadwerkelijk geïndexeerd zijn
2. Googlebot-hits op waardevolle templates versus hits op laagwaardige templates
3. Interne links naar canonieke URL’s versus links naar alternatieve versies

Google’s John Mueller heeft herhaaldelijk gezegd dat crawl budget vooral van belang is voor grotere sites, en dat is nog steeds de juiste insteek. De kanttekening: teams leggen vaak de schuld bij crawl budget terwijl de echte oorzaak kwaliteit is. Als pagina’s dun, duplicatief of commercieel uitwisselbaar zijn, zal betere crawl-efficiëntie Google niet dwingen ze te indexeren.

Hoe los je het op

• Blokkeer nutteloze parameterpatronen in robots.txt wanneer ze nooit gecrawld zouden moeten worden
• Gebruik noindex voor pagina’s die gebruikers nodig hebben, maar waar zoeken geen waarde aan toevoegt
• Versterk canonicals en laat interne links vervolgens naar het canonieke doel wijzen
• Verwijder rommel uit XML-sitemaps. Wees streng.
• Consolideer duplicate templates met 301’s wanneer de intentie hetzelfde is

Een waarschuwing. Gebruik robots.txt niet als een luie vervanging voor opschonen. Als geblokkeerde URL’s nog steeds links aantrekken of intern zwaar worden verwezen, kan Google ze blijven “meespelen” als ontdekte URL’s zonder je canonical- of noindex-instructies te zien. Daar breekt het conventionele advies.

De beste KPI-set is saai maar bruikbaar: crawl waste %, de verhouding geïndexeerd-naar-ingediend, mediane dagen tot index voor nieuwe URL’s en Googlebot-hits per waardevolle template. Als die cijfers in de juiste richting bewegen, gaat dilutie omlaag. Zo niet, behandel je waarschijnlijk symptomen.