Puntuación de Coherencia Térmica

Puntuación de Coherencia Térmica (TCS) es una métrica de calidad del prompt que comprueba si un LLM conserva el significado central cuando se sube o baja la temperatura de muestreo. En la práctica, ayuda a los equipos de GEO a diferenciar los prompts que son robustos de aquellos que solo “quedan bien” cuando la temperatura es 0.1.

La idea es útil. El término no es estándar. No encontrarás TCS en Google Search Console, Ahrefs, Semrush, Moz, Screaming Frog ni Surfer SEO, y Google no lo ha publicado como métrica de ranking o de calidad. Trátalo como una puntuación interna de QA, no como un referente del sector.

Cómo los equipos la calculan

La configuración habitual es simple: ejecuta el mismo prompt con varias temperaturas, normalmente 0.1, 0.5 y 0.9, y luego compara las salidas para ver la consistencia semántica. La mayoría de los equipos usa embeddings más similitud coseno, y luego añade ponderaciones adicionales para los datos que importan: nombres de producto, precios, fechas, afirmaciones legales, ubicaciones y terminología de marca.

• Generar variantes: Mismo prompt del sistema, mismo prompt del usuario, diferentes temperaturas.
• Comparar salidas: Usa embeddings de OpenAI o Cohere, o un modelo interno, para puntuar la similitud.
• Ponderar datos críticos: Las entidades nombradas y las afirmaciones de coincidencia exacta deberían contar más que el estilo.
• Aplicar penalizaciones: Las entidades inventadas, los números intercambiados y el incumplimiento de restricciones deberían reducir la puntuación con fuerza.

Un umbral práctico: por debajo de 0.75, el prompt suele necesitar mejoras. Por encima de 0.85, a menudo ya es lo bastante estable para una producción a escala. Dicho esto, los umbrales varían según el nivel de riesgo. Un blog de viajes puede tolerar más desviación que un explicador de salud o una página de comparación de APR.

Por qué importa para GEO

La Generative Engine Optimization no consiste solo en lograr que los sistemas de IA te citen. También se trata de producir contenido fuente y marcos de prompts que se mantengan consistentes a través de los ajustes del modelo y las actualizaciones del modelo. TCS ofrece a los equipos una forma de comprobarlo antes de que salidas deficientes lleguen a producción.

Es especialmente útil para:

• Contenido basado en plantillas: FAQs, resúmenes de productos, páginas de comparación y landing pages locales.
• Verticales reguladas: Finanzas, salud, legal, seguros.
• Flujos de localización: Donde una pequeña deriva factual se convierte en un problema de cumplimiento o de confianza.
• Pruebas A/B de prompts: Comparar versiones de prompts con números en lugar de con una revisión subjetiva.

Una advertencia honesta: una alta coherencia no significa alta precisión. Un modelo puede repetir la misma afirmación incorrecta a todas las temperaturas y aun así obtener una buena puntuación. TCS mide estabilidad, no veracidad. Aun así, necesitas validar los hechos frente a documentos fuente, feeds de productos o una base de conocimiento.

Cómo usarla en la práctica

Mantén fijo el mensaje del sistema. Cambia una variable del prompt a la vez. Registra las salidas por versión del modelo, porque un prompt que obtiene 0.88 en un lanzamiento puede caer a 0.71 después de una actualización de la API. Las pruebas de regresión nocturnas ayudan.

Además, no confundas la similitud semántica con la utilidad. Dos salidas pueden ser muy parecidas y aun así igualmente mediocres. Combina TCS con revisión editorial, comprobaciones de extracción de entidades y datos de rendimiento downstream provenientes de GSC. Si las páginas construidas a partir de prompts “estables” siguen perdiendo clics o generan afirmaciones no respaldadas, la puntuación no está resolviendo tu problema real.

Conclusión: TCS es una métrica interna sólida para medir la robustez del prompt. Solo no la trates como un KPI universal de GEO. Es una capa de QA, no un factor de ranking.