Was ist Crawling in SEO? So lesen Suchbots Ihre Website

TL;DR: Ein SEO-Crawl ist der Entdeckungs- und Download-Schritt. Googlebot findet eine URL, holt deren Inhalt und kann dabei auch JavaScript ausführen bzw. die Seite rendern. Crawling garantiert jedoch weder Indexierung noch Ranking. Daher musst du erst herausfinden, ob der Fehler beim Crawling, beim Rendern, bei der Indexierung oder beim Ranking passiert ist, bevor du an deiner Website etwas änderst.

Die meisten Crawl-Probleme werden von der falschen Seite diagnostiziert. Eine Seite fehlt in den Suchergebnissen, jemand schlussfolgert, Google habe sie nicht gecrawlt, und robots.txt wird bearbeitet. Dabei hat Google die Seite möglicherweise längst abgerufen und sich dann gegen eine Indexierung entschieden, einen anderen Canonical ausgewählt oder keinen Grund gesehen, die Seite für die überprüfte Suchanfrage zu ranken.

Crawl, Rendern, Indexierung und Ranking sind getrennte „Tore“. Google ordnet offiziell das Rendern in die Crawling-Phase ein, aber das systematische Trennen dieser Schritte bei der Diagnose macht technische Fehler deutlich leichter lokalisierbar.

Was Crawling in SEO wirklich bedeutet

Google Search Central definiert Crawling ganz unkompliziert:

„Crawling: Google lädt Text, Bilder und Videos von Seiten aus dem Internet herunter, die es mit automatisierten Programmen namens Crawlers gefunden hat.“

Ganz praktisch bedeutet Crawling: Entdeckung plus Abruf. Google lernt, dass eine URL existiert, und fordert ihre Inhalte an, damit die Seite später verarbeitet werden kann.

Das Programm, das diese Arbeit übernimmt, ist Googlebot. Google beschreibt ihn als „auch bekannt als crawler, robot, bot oder spider“. Diese Bezeichnungen meinen denselben Software-Typ: ein automatisiertes Programm, das Seiten anfordert und Links verfolgt, um weitere URLs zu entdecken.

Googlebot inspiziert deine Website nicht, indem er visuell „herumklickt“ wie ein Mensch. Er fordert HTML und unterstützende Ressourcen an. Während der Crawl-Phase kann Google die Seite außerdem rendern – mit einer aktuellen Chrome-Version – und dabei auch JavaScript ausführen. Das ist entscheidend, wenn aussagekräftiger Text, Navigation oder interne Links erst nach dem Laden von Skripten vorhanden sind.

Ein weiteres Detail, das leicht übersehen wird: Googlebot ist überwiegend mobil. Google sagt: „Für die meisten Websites indiziert Google Search primär die mobile Version des Inhalts. Entsprechend werden die meisten Googlebot-Crawl-Anfragen mit dem mobilen Crawler gestellt und nur ein kleiner Teil mit dem Desktop-Crawler.“ Wenn wichtige Inhalte auf dem Desktop existieren, auf der mobilen Version aber fehlen, kann erfolgreiches Desktop-Testing ein trügerisches Sicherheitsgefühl erzeugen.

Ich habe schon mehrmals das falsche Gate zuerst repariert. Dass eine URL nicht in der Suche auftaucht, beweist nicht, dass die Entdeckung fehlgeschlagen ist. Und ein erneuter Crawl-Anstoß behebt auch keine doppelten oder unhilfreichen Inhalte (eine leider sehr häufige Fehlannahme).

Crawl, Rendern, Indexierung und Ranking sind unterschiedliche Jobs

1. Crawl: entdecken und herunterladen

Googlebot muss als Erstes wissen, dass eine URL existiert. Sobald sie entdeckt wurde, versucht er, das rohe HTML der Seite und die benötigten Ressourcen abzurufen. Eine robots.txt-Einschränkung, ein DNS- oder Netzwerkfehler, ein Timeout oder ein Serverfehler kann den Prozess an dieser Stelle stoppen.

Ein erfolgreicher Abruf bringt die URL durch das erste Tor. Mehr nicht.

2. Rendern: Seite ausführen

Google ordnet das Rendern offiziell dem Crawling zu, aber es lohnt sich, es separat zu testen (genauer gesagt: nicht als vierte offizielle Phase). Google sagt, dass Google während des Crawling Seiten rendert und JavaScript mit einer aktuellen Chrome-Version ausführt – ähnlich wie ein normaler Browser.

Für JavaScript-Anwendungen dokumentiert Google die funktionierende Reihenfolge als Crawling, Rendering und Indexierung. Seiten, die eine erfolgreiche Antwort zurückliefern, können in eine Rendering-Warteschlange gelangen, in der Headless Chromium ihr JavaScript ausführt. Google Search nutzt eine aktuelle („evergreen“) Chromium-Version statt eines dauerhaft eingefrorenen Browser-Builds.

Das erzeugt eine wichtige Trennlinie in der Diagnose. Googlebot kann eine HTTP-200-Seite abrufen, während er dennoch scheitert, den finalen Inhalt zu sehen. Blockierte Ressourcen, Skriptfehler, verzögertes clientseitiges Content-Laden oder Links, die erst nach Nutzerinteraktion auftauchen, können dazu führen, dass das gerenderte Ergebnis unvollständig bleibt.

3. Indexierung: analysieren und speichern

Google definiert Indexierung als das Analysieren des Textes, der Bilder und Videos einer Seite sowie das Speichern der Informationen in Googles Index. In diesem Prozess bewertet Google außerdem Duplikate und entscheidet, welche URL es als Canonical ansieht.

Eine gecrawlte Seite ist nicht automatisch indiziert. Eine noindex-Direktive kann sie ausschließen. Google kann außerdem dünnen oder deutlich duplizierten Content ablehnen oder die Seite unter einer anderen Canonical-URL konsolidieren. Unser Guide zu wie Google-Indexierung funktioniert geht auf diesen Übergabeprozess genauer ein.

4. Ranking und Ausspielen: eine Anfrage beantworten

Indiziert heißt: grundsätzlich geeignet, angezeigt zu werden. Es heißt nicht, dass die Seite bei jeder Suche sichtbar ist oder dass sie eine bestimmte Position garantiert einnimmt. Google muss immer noch entscheiden, ob die Seite zu einer Suchanfrage passt, und bestimmen, wo sie unter den anderen geeigneten Ergebnissen landet.

• Eine URL kann entdeckt werden, aber nicht erfolgreich abgerufen.
• Sie kann abgerufen werden, aber falsch gerendert.
• Sie kann gerendert werden, aber aus dem Index ausgeschlossen.
• Sie kann indiziert werden, aber für die überprüfte Suchanfrage nicht ranken.

Google gibt Site-Betreibern eine nützliche Realitätsprüfung: „Google garantiert nicht, dass es deine Seite crawlen, indexieren oder ausspielen wird – selbst wenn deine Seite den Google Search Essentials entspricht.“ Technische Zugänglichkeit ist nötig. Das ist keine Zusage für Aufnahme oder Sichtbarkeit.

Wie Google Seiten entdeckt

Google startet nicht mit einem vollständigen Verzeichnis jeder URL im Web. Die Dokumentation nennt drei zentrale Wege der Entdeckung:

1. Bekannte URLs erneut besuchen. Google kehrt zu Seiten zurück, die es zuvor abgerufen hat.
2. Links verfolgen. Google extrahiert einen Link aus einer bekannten Seite und entdeckt dessen Ziel.
3. Sitemaps lesen. Google verarbeitet Listen von URLs, die von Seitenbetreibern eingereicht wurden.

Darum ist internes Linking Infrastruktur – keine Deko. Eine Seite ohne interne Links, die auf sie zeigen, ist eine Waisen-URL (Orphan). Sie kann im CMS existieren und im XML-Sitemap auftauchen, ohne jedoch mit den Routen verbunden zu sein, denen Googlebot normalerweise folgt.

Die Studie von Cyrus Shepard zu rund 23 Millionen internen Links über etwa 1.800 Websites fand eine Richtungsbeziehung zwischen internen Links und Google-Klicks: „URLs mit 0–4 internen Links erhielten im Schnitt 2 Klicks aus der Google-Suche, während URLs mit 40–44 internen Links etwa viermal so viele Klicks bekamen.“ Das war korrelativ, kein Beweis dafür, dass das Hinzufügen von Links den Traffic rein mechanisch vervielfacht.

Die Studie zeigte außerdem, dass der Effekt nach ungefähr 45 bis 50 internen Links wieder umkippt. Mehr ist nicht immer besser. Die sinnvolle Schlussfolgerung: Wichtige Seiten brauchen mehrere relevante Crawl-Pfade – nicht, dass jede Seite dutzende beliebige Links bekommt.

Was wir über SEOJuice hinweg sehen: Waisen-Seiten und schwache interne Routen treten viel häufiger auf als echte Probleme mit Crawl-Kapazität. Der Fix ist in der Regel, die Seite aus relevantem, bereits indiziertem Content heraus zu verlinken und sie in der Sitemap zu behalten. Eine konsistente Struktur wie Content-Silos für SEO liefert Crawlern wiederholbare Routen zwischen verwandten Seiten.

Früher habe ich Sitemap-Aufnahme als stärkeres Indiz behandelt, als es ist. Sie beweist nur, dass eine URL Google bereitgestellt wurde – nicht, dass Google sie abgerufen oder indexiert hat (ich habe das Signal überinterpretiert). Eine Sitemap unterstützt die Entdeckung; sie ersetzt keine internen Links und sie „erzwingt“ auch kein Ergebnis.

Für eine einzelne neue oder aktualisierte URL bietet URL-Inspektion in der Google Search Console außerdem die Aktion Request Indexing. Dabei wird eine Anfrage in die Verarbeitungswarteschlange von Google aufgenommen. Das ist ein Impuls, kein Befehl.

robots.txt, noindex und nofollow tun unterschiedliche Dinge

robots.txt steuert das Abrufen

Eine robots.txt-Datei teilt konformen Crawlern mit, welche URL-Pfade sie aufrufen dürfen. Google sagt, sie werde hauptsächlich genutzt, um zu verhindern, dass Crawl-Anfragen eine Website überlasten.

Sie ist kein verlässliches „Entfernungs“-Tool. In der robots.txt-Dokumentation von Google steht: „Eine in robots.txt gesperrte Seite kann trotzdem indexiert werden, wenn sie von anderen Websites verlinkt ist“ – und die Datei wird explizit als „kein Mechanismus genannt, um eine Webseite aus Google herauszuhalten.“ Google kann wissen, dass eine blockierte URL existiert, ohne die Inhalte abrufen zu dürfen.

Prüfe jede generelle Regel, bevor du sie veröffentlichst. Ein produktionsseitiges Disallow: / besteht aus sehr wenig Text und kann den Zugriff von Googlebot auf die gesamte Website entfernen. Der robots.txt-Generator kann helfen, eine Datei zu entwerfen – aber die Ausgabe muss trotzdem gegen deine wichtigen Pfade getestet werden.

noindex steuert die Indexierungsberechtigung

Nutze noindex, wenn Google eine Seite zwar crawlen darf, sie aber nicht in den Suchergebnissen behalten soll. Sperre diese URL nicht gleichzeitig in robots.txt. Google muss die Seite abrufen, um die noindex-Direktive zu lesen.

Beides anzuwenden kann genau das Gegenteil der gewünschten Sicherheit erzeugen. Die Crawl-Einschränkung verhindert, dass Google die Indexierungsanweisung überhaupt sieht. Die blockierte URL kann dadurch weiterhin über externe oder interne Links bekannt bleiben.

nofollow ist ein Hinweis auf Link-Ebene

Das nofollow-Attribut ist kein Crawl-Verbot auf Seitenebene. Google behandelt es als Hinweis, nicht als garantierte Blockade. Es sollte nicht genutzt werden, um eine URL zu „verstecken“, private Inhalte zu schützen oder eine Ausschlussgarantie aus dem Index zu erreichen.

Facettierte Navigation ist der Bereich, in dem sich diese sauberen Definitionen nicht mehr so angenehm anwenden lassen. Es gibt kein universell sicheres robots.txt-Muster für jedes Katalog-Setup. Manche gefilterten URLs erfüllen unterschiedliche Suchanfragen; andere erzeugen effektiv unendliche Kombinationsmöglichkeiten. Erst blockieren und den Mehrwert später abbilden ist riskant (und ja: Das ist eine der Stellen, bei denen ich Einzeiler-Fixes ziemlich skeptisch sehe).

Du hast wahrscheinlich kein Crawl-Budget-Problem

Crawl-Budget ist die Menge an URLs, die Google crawlen kann und will. Google beschreibt zwei Bestandteile: ein Crawl-Kapazitätslimit, das parallele Verbindungen, Antwortzeiten und die Servergesundheit berücksichtigt; sowie Crawl-Nachfrage, die Faktoren wie die Größe der Website, Aktualisierungsfrequenz, Qualität, Popularität und Veralterung abbildet.

Der Begriff klingt groß genug, um jeden Website-Betreiber sofort sorgen zu lassen. Googles Schwellenwerte sagen aber etwas anderes.

„Wenn deine Website nicht eine große Anzahl an Seiten hat, die sich schnell ändern, oder wenn deine Seiten so wirken, als würden sie am selben Tag gecrawlt, an dem sie veröffentlicht werden, musst du diesen Guide nicht lesen.“

Google richtet seine Hinweise zum Crawl-Budget vor allem an Websites mit mehr als einer Million eindeutigen Seiten, die sich etwa wöchentlich ändern, oder an Websites mit mehr als 10.000 eindeutigen Seiten, die sich täglich ändern. Für die meisten kleineren Websites reicht es aus, die Sitemap aktuell zu halten und die Indexierungsabdeckung zu prüfen.

Wenn du eine überschaubare Anzahl an URLs veröffentlichst und Google neue Seiten zeitnah abruft, hör auf, das Crawl-Budget optimieren zu wollen. Kümmere dich stattdessen um kaputte Entdeckungspfade, versehentliche Direktiven, Render-Fehler, Serverfehler oder Probleme mit der Content-Qualität. Für wirklich große oder stark dynamische Websites deckt unser Guide zur Crawl-Budget-Optimierung die schwierigeren Fälle ab.

Wie du sehen kannst, was Google crawlt

Starte mit URL-Inspektion

Für eine fehlende Seite ist URL-Inspektion in der Google Search Console der schnellste Einstieg. Du bekommst dort das Datum des letzten Crawls, ob Crawling erlaubt war, den Indexierungsstatus und das von Google ausgewählte Canonical.

Lies diese Felder als Abfolge. Wenn Crawling blockiert war, repariere den Zugriff. Wenn Google die URL gecrawlt, sie aber aus dem Index ausgeschlossen hat, wird eine weitere Crawl-Anfrage das zugrunde liegende Problem sehr wahrscheinlich nicht lösen.

Crawl-Statistiken für Muster über die ganze Site nutzen

Der Bericht Crawl-Statistiken zeigt Googles Crawl-Historie – inklusive Anzahl der Anfragen, Gesamt-Downloadgröße, durchschnittlicher Antwortzeit, Serverantworten, Verfügbarkeitsprobleme, Dateitypen, Zweck des Crawls und Googlebot-Typ.

Google nennt das einen „Advanced Report“ und sagt, dass Websites mit weniger als 1.000 Seiten ihn in der Regel nicht brauchen. Das ist plausibel. Ich schaue ihn trotzdem nach Migrationen oder abrupten Site-weiten Veränderungen an, aber als nützliches tägliches Scoreboard taugt er nicht (mehr Crawling ist nicht automatisch besser).

Server-Logs für exakte Anfragen verwenden

Server-Zugriffslogs protokollieren Requests, die tatsächlich deine Infrastruktur erreicht haben. Sie können aufdecken, welche URLs Googlebot abruft, wie häufig er jeden Bereich besucht, und ob Parameter oder „Junk URLs“ Aufmerksamkeit bekommen, während wertvolle Seiten selten besucht werden.

Die User-Agent-Strings von Googlebot enthalten Googlebot/2.1, aber der User-Agent-Text kann nachgeahmt werden. Für eine verlässliche Identifikation solltest du verdächtige Googlebot-Anfragen über Reverse- und Forward-DNS prüfen, statt dich nur auf den String zu verlassen.

Für die meisten Websites ist echtes Googlebot-Verhalten ziemlich unaufgeregt. Google sagt: „Für die meisten Websites sollte Googlebot deine Website nicht häufiger als im Durchschnitt alle paar Sekunden einmal aufrufen.“

Fünf SEO-Crawl-Fehler, die sich wirklich lohnen zu fixen

1. Waisen- und nahezu-Waisen-Seiten

Eine Waisen-URL hat keine interne Link-Route von den restlichen Seiten der Website aus. Eine nahezu-Waisen-URL hat möglicherweise genau einen eher versteckten Link aus einem Archiv- oder Paginierungsbereich, den Google selten erneut besucht. Ergänze stattdessen kontextbezogene Links von relevanten, bereits indizierten Seiten statt dich ausschließlich auf die Sitemap zu verlassen.

Das ist in der Regel das erste strukturelle Problem, das ich prüfe. Die URL existiert also, und das Team geht davon aus, dass die Seite sie korrekt „exponiert“. Das ist aber nicht dasselbe.

2. Blockiertes JavaScript oder CSS

Google rendert Seiten mit Chromium. Wenn robots.txt Ressourcen blockiert, die nötig sind, um Content oder Navigation sichtbar zu machen, kann der HTML-Abruf erfolgreich sein, während die gerenderte Seite trotzdem unvollständig bleibt.

Vergleiche die gerenderte Ausgabe von Google mit dem, was Nutzer sehen – besonders bei clientseitig gerenderten Anwendungen, deren initiales HTML kaum substanzvollen Content enthält.

3. Unendliche Crawl-Fallen

Filter, Sortierparameter, Kalender, Suchseiten und Session-IDs können eine riesige Anzahl an URL-Kombinationen mit wenig Mehrwert erzeugen. Das wird bei großen Websites zu einem echten Crawl-Problem.

Typische Gegenmaßnahmen sind: Duplikate mit Canonicals konsolidieren, die möglichen Parameterkombinationen begrenzen und passende Muster blockieren. Lege zuerst fest, welche Kombinationen eine Indexierung verdienen, bevor du sie einschränkst; eine pauschale Regel kann wertvolle Kategorieseiten gleichzeitig mit dem Junk entfernen.

4. Langsame oder unzuverlässige Server

Google passt die Crawl-Kapazität an den Serverzustand an. Anhaltende Timeouts, langsame Antworten und 5xx-Fehler können dazu führen, dass Google das Crawling reduziert. Crawl-Statistiken können aggregierte Änderungen der Antwortzeiten sichtbar machen, während Logs die Templates und URLs identifizieren, die die Probleme verursachen.

5. Versehentliche Produktions-Blockaden

Prüfe, ob robots.txt-Regeln aus dem Staging versehentlich in die Produktion übernommen wurden, ob es siteweite noindex-Direktiven gibt, ob Assets blockiert sind, und ob CMS-Einstellungen gesetzt wurden, die Suchmaschinen eigentlich abschrecken sollen. Das sind unspektakuläre Fehler – mit siteweiten Auswirkungen.

Während unserer Migration von seojuice.io zu seojuice.com im Januar 2026 haben wir Entdeckung, Abruf, Canonical-Auswahl und Indexierung als separate Checks behandelt. Eine alte-Host-URL, die erneut gecrawlt wurde, war kein Beweis dafür, dass ihr neues-Host-Ersatz auch indexiert wurde – und eine korrekte Weiterleitung war kein Beweis dafür, dass Google das Canonical noch umgestellt hat. Diese Trennung hat uns verhindert, die Migration auf eine irreführende „Google sieht es“-Checkbox zu reduzieren.

Wir sind ein Zwei-Personen-Team, Lida und ich, daher ist die Reihenfolge bei der Diagnose wichtig. Wir können nicht tagelang Crawl-Budget-Theorien polieren, während eine Waisen-Seite oder ein production noindex den eigentlichen Schaden verursacht.

Wenn diese wiederkehrenden Probleme schwer manuell zu überwachen sind, hat SEOJuice einen kostenlosen Plan ohne Kreditkarte. Die Automatisierung kann relevante interne Links hinzufügen und sein Site-Audit meldet robots.txt-Blockaden, noindex-Tags und blockierte Ressourcen. Sie kann konkrete On-Page-Probleme beheben oder sichtbar machen; sie kann Google aber nicht dazu zwingen, schneller zu crawlen, eine Seite zu indexieren oder Rankings zu vergeben.

Häufig gestellte Fragen

Was ist Crawling in SEO?

Crawling in SEO ist der Prozess, bei dem Suchmaschinen-Bots Seiten entdecken und herunterladen. Googlebot findet URLs, indem er bekannte Seiten erneut besucht, Links verfolgt und Sitemaps ausliest. Erfolgreiches Crawling garantiert nicht, dass eine Seite auch indexiert oder gerankt wird.

Was ist der Unterschied zwischen Crawling und Indexierung?

Crawling bedeutet: Google ruft eine Seite ab. Indexierung bedeutet: Google analysiert die Seite, bewertet ihr Canonical und speichert möglicherweise Informationen dazu im Google-Index. Eine Seite kann gecrawlt, aber nicht indexiert werden – z. B. wegen noindex, Duplikaten, Content-Qualität oder Canonical-Auswahl.

Was ist ein Web Crawler, eine Spider oder ein Bot?

Ein Web Crawler ist ein automatisiertes Programm, das URLs besucht, Content herunterlädt und Links verfolgt, um weitere Seiten zu finden. Der Googleseiten-Crawler ist Googlebot. Crawler, Spider, Robot und Bot sind verschiedene Namen für denselben Software-Typ im Grundsatz.

Wie findet und crawlt Google meine Website?

Google besucht URLs erneut, die es bereits kennt, folgt Links aus bekannten Seiten zu neuen Zielen und liest eingereichte XML-Sitemaps. Interne Links liefern direkte Wege zur Entdeckung, während die Sitemap eine nützliche Liste an URLs bereitstellt, die Google als Crawl-Ziel berücksichtigen kann.

Stoppt robots.txt Google vom Crawling oder von der Indexierung?

robots.txt beschränkt das Crawling, nicht die Indexierung. Eine blockierte URL kann dennoch in Google erscheinen, wenn sie über Links entdeckt wird. Um eine crawlb... äh: crawlbare Seite aus dem Index fernzuhalten, verwende noindex und verhindere nicht gleichzeitig, dass Google die Direktive abrufen kann.

Wie kann ich sehen, was Google crawlt?

Nutze URL-Inspektion für den Status einer einzelnen URL, Crawl-Statistiken für siteweite Request- und Servermuster und Server-Zugriffslogs für die exakten URLs, die Googlebot angefordert hat. Zusammen unterscheiden diese Quellen ein echtes Crawl-Versagen von einem späteren Rendering- oder Indexierungsproblem.