User-Agent

User-Agent ist der HTTP-Request-Header, der den anfragenden Client identifiziert. Für SEO ist das relevant, weil du damit Googlebot von Chrome trennen kannst, AhrefsBot von zufälligen Scrapers und legitime Crawl-Aktivität von lästigem Traffic, der Serverressourcen verschwendet.

Das Entscheidende: Die Zeichenfolge ist hilfreich, aber leicht zu fälschen. Betrachte sie zunächst als Hinweis und nicht als Beweis.

Warum SEOs sich für User-Agents interessieren

User-Agent-Daten sind das Rückgrat einer ernsthaften Analyse von Logdateien. In Screaming Frog Log File Analyser, Splunk, BigQuery oder sogar in einem bereinigten Export in Looker Studio nutzt du sie, um Crawl-Aktivität nach Bot-Typ und Verzeichnis zu segmentieren. So erkennst du, ob Googlebot 60% seiner Treffer auf URLs mit Facetten ausgibt, ob Bingbot in Redirect-Ketten feststeckt oder ob GPTBot Seiten mit hoher Intensität anfragt, die du für Trainingszwecke nicht verwenden lassen willst.

Außerdem beeinflusst das die Umsetzung. Robots.txt-Direktiven sind user-agent-spezifisch. Das gilt auch für viele CDN- und WAF-Regeln in Cloudflare oder Akamai. Wenn du AhrefsBot in Spitzenzeiten ausbremsen willst, um die Kapazität beim Origin-Server zu schonen, oder einen KI-Crawler von einer privaten Wissensdatenbank blockieren möchtest, beginnt das beim User-Agent-Matching.

Was es nicht ist

User-Agent ist kein Ranking-Faktor. Google bewertet Seiten nicht besser, nur weil sie für einen User-Agent eines Crawl-Clients etwas „Besonderes“ zurückgeben. Und Cloaking-Regeln gelten weiterhin. Wenn du Googlebot mit materiell anderen Inhalten belieferst als die Nutzer sehen, ist das kein cleverer technischer SEO-Schachzug. Es ist ein Risiko hinsichtlich der Richtlinien.

Googles Dokumentation ist hier seit Jahren konsistent, und Googles John Mueller hat wiederholt bestätigt, dass die Bot-Identifikation nicht als Ausrede dienen darf, Suchmaschinen andere primäre Inhalte zu zeigen.

So nutzt du es richtig

• Prüfen, bevor du vertraust: Prüfe die User-Agent-Zeichenfolge und verifiziere die IP über Reverse DNS oder über Googles dokumentierte Methoden zur Crawlers-Verifizierung. Eine gefälschte Googlebot-Zeichenfolge ist häufig.
• Logdaten segmentieren: Trenne Googlebot, Googlebot-Image, Bingbot, AhrefsBot, SemrushBot und KI-Crawler jeweils separat. Das Zusammenwerfen ruiniert die Analyse.
• Robots-Regeln prüfen: Stelle sicher, dass deine robots.txt gezielte Direktiven für die wichtigsten Crawler enthält. Teste in der Google Search Console und validiere das tatsächliche Fetch-Verhalten anhand der Logs.
• Serverregeln mit Bedacht einsetzen: NGINX, Apache, Cloudflare und Fastly können alle anhand von User-Agent-Daten reagieren. Gut für Rate Limiting. Riskant für Inhaltsvariationen.

Wo die Daten auseinanderlaufen

Das ist der Hinweis, den die meisten Teams überspringen: Das Reporting mit User-Agents ist unübersichtlich. Bots fälschen sich gegenseitig. Einige Tools rotieren die Zeichenfolgen. Ein Teil des Traffics läuft über gemeinsam genutzte Infrastruktur, was die Zuordnung verwaschen kann. Selbst die Googlebot-Verifizierung kann schiefgehen, wenn sich dein Team auf alte IP-Listen statt auf Live-Verifizierung verlässt.

Außerdem ist eine User-Agent-Analyse ohne Logdateien nur eingeschränkt belastbar. Google Search Console zeigt Crawl-Statistiken, aber nicht in derselben Detailtiefe Anfrage für Anfrage, wie man sie aus Roh-Logs erhält. Ahrefs, Semrush und Moz können dir Informationen über ihre eigenen Crawler geben, aber nicht darüber, was tatsächlich deinen Server erreicht hat.

Nutze User-Agent-Daten für Diagnose und Steuerung. Behandle sie nicht als belastbare Wahrheit, ohne sie zu verifizieren.