Indexierungsbudget-Dilution

Index-Budget-Dilution bedeutet, dass zu viele minderwertige URLs um die Aufmerksamkeit von Googlebot konkurrieren. Auf Websites mit 100.000+ URLs führt das in der Regel zu langsamerer Indexierung, veralteten Neu-Crawlings auf wichtigen Templates und schwächerer organischer Performance – genau dort, wo es wirklich zählt.

Das praktische Problem ist simpel: Googlebot verschwendet Anfragen für gefilterte Kategorieseiten, Tracking-Parameter, interne Suchseiten, doppelte Varianten und soft-leere Seiten, statt für die kommerziellen oder redaktionellen URLs, die du schnell indexiert haben möchtest. Screaming Frog zeigt dir die Größenordnung. Serverlogs belegen die Kosten.

Warum es wichtig ist

Das ist nicht nur ein Stichwort zum Crawl-Budget. Es wird zu einem Indexierungsproblem, wenn Google Junk schneller findet, als es deine sinnvollen Seiten verarbeiten kann. In der Google Search Console siehst du das typischerweise als aufgeblähtes Muster von Entdeckt – derzeit nicht indexiert oder Gekrabbelt – derzeit nicht indexiert, kombiniert mit einer Sitemap-Abdeckung, die schlechter aussieht, als sie sollte.

Im Enterprise-Ecommerce, bei Marktplätzen und Publisher-Archiven kann die Behebung der Dilution die Zeit bis zur Indexierung messbar verkürzen. Ahrefs und Semrush helfen dir dabei, Seiten zu identifizieren, die eigentlich ranken sollten, aber nicht im Google-Index fehlen. GSC und Logdateien zeigen dir, ob der Crawl-Bedarf upstream verschwendet wird.

Was es normalerweise verursacht

• Facettierte Navigation, die 10.000+ crawlbare Kombinationen erzeugt
• UTM-, Sortier-, Session- und Pagination-Parameter, die weiterhin crawlbar gelassen werden
• Nahezu doppelte Produkt- oder Standortseiten mit schwachen Canonical-Signalen
• Interne Suchergebnisseiten, die in großem Umfang verlinkt sind
• XML-Sitemaps, die nicht-kanonische, weitergeleitete oder noindex-URLs auflisten

Mit Moz und Surfer SEO lässt sich das nicht ausreichend sauber diagnostizieren. Zuerst ist das ein technisches SEO-Thema – nicht ein Problem der Content-Bewertung.

So bewertest du es richtig

Starte mit drei Datenquellen: GSC-Crawl-Statistiken, rohe Serverlogs und ein vollständiges Crawl mit Screaming Frog oder Sitebulb. Wenn 20%+ der Googlebot-Treffer auf parameterisierte, doppelte, weitergeleitete oder nicht-indexierbare URLs gehen, hast du sehr wahrscheinlich ein Dilution-Problem, das sich lohnt zu beheben. Auf sehr großen Websites sind 30%+ häufig.

Vergleiche dann:

1. In Sitemaps übermittelte URLs vs. tatsächlich indexierte URLs
2. Googlebot-Treffer auf wertvolle Templates vs. Low-Value-Templates
3. Interne Links, die auf kanonische URLs zeigen, vs. Links auf alternative Versionen

Googles John Mueller hat wiederholt gesagt, dass das Crawl-Budget vor allem bei größeren Websites eine Rolle spielt – und diese Einordnung ist nach wie vor richtig. Die Einschränkung: Teams machen oft das Crawl-Budget verantwortlich, obwohl das eigentliche Problem die Qualität ist. Wenn Seiten dünn, dupliziert oder kommerziell austauschbar sind, wird bessere Crawl-Effizienz Google nicht dazu zwingen, sie zu indexieren.

So behebst du es

• Unnötige Parameter-Muster in robots.txt blockieren, wenn sie niemals gecrawlt werden sollten
• noindex für Seiten verwenden, die Nutzer brauchen, die Suche aber nicht
• Canonical-Signale stärken und dann interne Links auf das kanonische Ziel ausrichten
• Unrat aus XML-Sitemaps entfernen. Streng sein.
• Doppelte Templates konsolidieren – mit 301-Weiterleitungen, wenn die Intention gleich ist

Ein Hinweis. Nutze robots.txt nicht als bequeme Alternative zum Bereinigen. Wenn blockierte URLs weiterhin Links anziehen oder intern stark referenziert werden, kann Google sie im Spiel behalten – als entdeckte URLs, ohne deine Canonical- oder noindex-Direktiven zu sehen. An dieser Stelle bricht das gängige Vorgehen.

Das beste KPI-Set ist langweilig, aber nützlich: Crawl-Waste-%, Verhältnis von Indexiert zu Übermittelt, mediane Tage bis zur Indexierung für neue URLs und Googlebot-Treffer pro wertvollem Template. Wenn sich diese Werte in die richtige Richtung bewegen, geht die Dilution zurück. Wenn nicht, behandelst du vermutlich nur Symptome.