Agente de usuario

User-agent es el encabezado de solicitud HTTP que identifica al cliente que realiza la petición. En SEO, es importante porque te ayuda a distinguir Googlebot de Chrome, AhrefsBot de scrapers aleatorios y la actividad legítima de rastreo del tráfico basura que desperdicia recursos del servidor.

Lo importante: la cadena es útil, pero es fácil de falsificar. Trátala primero como una pista, no como una prueba.

Por qué a los SEOs les importa el user-agent

Los datos de user-agent son la base del análisis serio de archivos de registro (log files). En Screaming Frog Log File Analyser, Splunk, BigQuery o incluso en una exportación depurada hacia Looker Studio, los usas para segmentar la actividad de rastreo por tipo de bot y por directorio. Esto te indica si Googlebot dedica el 60% de sus visitas a URLs con facetas, si Bingbot se queda atascado en cadenas de redirecciones, o si GPTBot está golpeando páginas que no quieres que se usen para el entrenamiento.

También afecta a la implementación. Las directivas de robots.txt son específicas por user-agent. También lo son muchas reglas de CDN y WAF en Cloudflare o Akamai. Si quieres frenar a AhrefsBot para preservar la capacidad del origen durante las horas punta, o bloquear a un rastreador de IA de una base de conocimiento privada, el emparejamiento de user-agents es donde empieza.

Lo que no es

El user-agent no es un factor de posicionamiento. Google no posiciona mejor las páginas porque devuelvan algo “especial” a un user-agent de rastreador. Y las reglas de cloaking siguen aplicando. Si sirves contenido materialmente distinto a Googlebot que el que ven los usuarios, no es un movimiento inteligente de SEO técnico. Es un riesgo de cumplimiento (policy).

La documentación de Google ha sido coherente en este punto durante años, y John Mueller de Google ha confirmado repetidamente que la identificación de bots no debe usarse como excusa para mostrar a los motores de búsqueda un contenido primario diferente.

Cómo usarlo correctamente

• Verifica antes de confiar: Revisa la cadena de user-agent y verifica la IP mediante DNS inverso o los métodos de verificación de rastreadores documentados por Google. Una cadena falsa de Googlebot es común.
• Segmenta los logs: Separa Googlebot, Googlebot-Image, Bingbot, AhrefsBot, SemrushBot y los rastreadores de IA por separado. Agruparlos arruina el análisis.
• Audita las reglas de robots: Confirma que tu robots.txt tiene directivas intencionales para los principales rastreadores. Prueba en Google Search Console y valida el comportamiento de “consulta” en tiempo real en los logs.
• Usa reglas del servidor con cuidado: NGINX, Apache, Cloudflare y Fastly pueden actuar sobre datos de user-agent. Es útil para el rate limiting. Es arriesgado para la variación de contenido.

Dónde se rompe el dato

Este es el matiz que la mayoría de equipos se salta: el reporting de user-agent es caótico. Los bots se suplantan entre sí. Algunas herramientas rotan cadenas. Parte del tráfico pasa por infraestructura compartida que hace la atribución ruidosa. Incluso la verificación de Googlebot puede salir mal si tu equipo se apoya en listas antiguas de IP en lugar de en una verificación en tiempo real.

Además, el análisis de user-agent sin archivos de registro (log files) es débil. Google Search Console muestra estadísticas de rastreo, pero no el mismo nivel de detalle petición-a-petición que obtienes con logs en bruto. Ahrefs, Semrush y Moz pueden contarte sobre sus propios rastreadores, no sobre lo que realmente golpeó tu servidor.

Usa los datos de user-agent para diagnóstico y control. No los trates como una verdad absoluta sin verificación.