Agent użytkownika

User-agent to nagłówek żądania HTTP, który identyfikuje klienta wysyłającego żądanie. W SEO ma to znaczenie, ponieważ pozwala odróżnić Googlebota od Chrome, AhrefsBota od losowych skraperów oraz uzasadnione działania indeksujące od śmieciowego ruchu, który marnuje zasoby serwera.

Najważniejsze: ten ciąg jest pomocny, ale łatwo go podrobić. Traktuj go najpierw jako wskazówkę, a nie dowód.

Dlaczego specjaliści SEO dbają o user-agenty

Dane user-agent są podstawą rzetelnej analizy plików logów. W Screaming Frog Log File Analyser, Splunk, BigQuery lub nawet w oczyszczonym eksporcie do Looker Studio używasz ich do segmentowania aktywności crawlowania według typu bota i katalogu. Dzięki temu wiesz, czy Googlebot przeznacza 60% swoich wejść na adresy URL z filtrowaniem (faceted URLs), czy Bingbot utknął w łańcuchach przekierowań, albo czy GPTBot nieustannie obciąża strony, których nie chcesz wykorzystywać do treningu.

Wpływa to także na wdrożenie. Dyrektywy w robots.txt są specyficzne dla user-agenta. To samo dotyczy wielu reguł w CDN i WAF w Cloudflare lub Akamai. Jeśli chcesz spowolnić AhrefsBota, aby w godzinach szczytu zachować przepustowość origin, albo zablokować bota AI przed crawllem prywatnej bazy wiedzy, dopasowanie user-agenta jest miejscem, w którym zaczynasz.

Czym nie jest

User-agent nie jest czynnikiem rankingowym. Google nie przyznaje wyższych pozycji, bo strona zwraca coś „specjalnego” dla crawlera identyfikującego się danym user-agentem. Obowiązują też zasady maskowania (cloaking). Jeśli podajesz Googlebotowi istotnie inne treści niż te, które widzą użytkownicy, nie jest to sprytna technika technicznego SEO. To ryzyko naruszenia polityk.

Dokumentacja Google jest tu spójna od lat, a John Mueller z Google wielokrotnie potwierdzał, że identyfikacji botów nie należy wykorzystywać jako pretekstu do pokazywania wyszukiwarkom innej, podstawowej treści.

Jak używać tego poprawnie

• Zweryfikuj zanim zaufasz: Sprawdź ciąg user-agent i zweryfikuj adres IP przez reverse DNS albo zgodnie z udokumentowanymi przez Google metodami weryfikacji crawlerów. Podrobiony ciąg „Googlebot” jest powszechny.
• Segmentuj logi: Rozdziel Googlebota, Googlebot-Image, Bingbota, AhrefsBota, SemrushBota oraz crawlers AI osobno. Łączenie ich w jedną pulę psuje analizę.
• Audytuj reguły robots: Potwierdź, że robots.txt zawiera zamierzone dyrektywy dla kluczowych crawlerów. Przetestuj w Google Search Console i zweryfikuj w logach rzeczywiste zachowanie podczas pobierania (live fetch).
• Uważnie stosuj reguły po stronie serwera: NGINX, Apache, Cloudflare i Fastly mogą działać na podstawie danych user-agenta. To dobre do limitowania ruchu (rate limiting), ale ryzykowne przy różnicowaniu treści.

Gdzie dane się załamują

To najczęstsze zastrzeżenie, które pomija większość zespołów: raportowanie user-agentów jest chaotyczne. Boti fałszują nawzajem swoje identyfikacje. Niektóre narzędzia rotują ciągi. Część ruchu trafia przez współdzieloną infrastrukturę, co pogarsza jednoznaczność atrybucji. Nawet weryfikacja Googlebota może zostać źle obsłużona, jeśli polegasz na starych listach IP zamiast na bieżącej weryfikacji.

Dodatkowo analiza user-agentów bez plików logów jest słaba. Google Search Console pokazuje statystyki crawlowania, ale nie na takim poziomie szczegółowości request-po-request, jaki uzyskasz z surowych logów. Ahrefs, Semrush i Moz mogą powiedzieć Ci coś o swoich własnych crawlerach, ale nie o tym, co faktycznie trafiło na Twój serwer.

Używaj danych user-agenta do diagnozy i kontroli. Nie traktuj ich jako pewnika bez weryfikacji.