Score de cohérence thermique

Le Thermal Coherence Score (TCS) est une métrique de qualité des prompts qui vérifie si un LLM conserve le sens central lorsque vous augmentez ou diminuez la température de sampling. Concrètement, il aide les équipes GEO à distinguer les prompts réellement robustes de ceux qui ne “font bien” qu’à une température de 0,1.

L’idée est utile. Le terme n’est pas standard. Vous ne trouverez pas le TCS dans Google Search Console, Ahrefs, Semrush, Moz, Screaming Frog ou Surfer SEO, et Google ne l’a pas publié comme une métrique de classement ou de qualité. Traitez-le comme un score interne d’assurance qualité, et non comme une référence du secteur.

Comment les équipes le calculent

Le paramétrage le plus courant est simple : exécutez le même prompt à plusieurs températures, généralement 0,1, 0,5 et 0,9, puis comparez les sorties pour en évaluer la cohérence sémantique. La plupart des équipes utilisent des embeddings, puis la similarité par cosinus, et ajoutent ensuite une pondération supplémentaire pour les faits qui comptent : noms de produits, prix, dates, allégations juridiques, localisations et terminologie de marque.

• Générer des variantes : même system prompt, même prompt utilisateur, températures différentes.
• Comparer les sorties : utilisez des embeddings OpenAI ou Cohere, ou un modèle interne, pour obtenir une note de similarité.
• Pondérer les faits critiques : les entités nommées et les affirmations en correspondance exacte doivent compter davantage que la formulation stylistique.
• Appliquer des pénalités : les entités hallucinées, les nombres échangés et l’absence de contraintes doivent fortement réduire le score.

Un seuil pratique : en dessous de 0,75, le prompt a généralement besoin d’améliorations. Au-dessus de 0,85, il est souvent suffisamment stable pour une production à grande échelle. Cela dit, les seuils varient selon le niveau de risque. Un blog voyage peut tolérer davantage de dérive qu’une page d’explication santé ou une page de comparaison de type APR.

Pourquoi c’est important pour le GEO

L’Optimisation pour Moteurs d’Engins Génératifs (Generative Engine Optimization) ne consiste pas seulement à obtenir des citations par des systèmes d’IA. Il s’agit aussi de produire du contenu source et des cadres de prompts qui restent cohérents malgré les réglages des modèles et leurs mises à jour. Le TCS donne aux équipes un moyen de tester cela avant que des sorties erronées n’atteignent la production.

C’est particulièrement utile pour :

• Le contenu piloté par modèles : FAQ, résumés de produits, pages de comparaison et pages d’atterrissage locales.
• Les secteurs régulés : finance, santé, juridique, assurance.
• Les workflows de localisation : lorsque de petites dérives factuelles deviennent un problème de conformité ou de confiance.
• Les tests A/B de prompts : comparer des versions de prompts avec des chiffres plutôt que par revue subjective.

Une réserve honnête : une cohérence élevée ne signifie pas une exactitude élevée. Un modèle peut répéter la même affirmation fausse à chaque température et obtenir tout de même un bon score. Le TCS mesure la stabilité, pas la vérité. Vous devez toujours valider les faits à partir de documents sources, de flux produits ou d’une base de connaissances.

Comment l’utiliser en pratique

Laissez le message système inchangé. Ne modifiez qu’une seule variable de prompt à la fois. Journalisez les sorties par version de modèle : un prompt qui obtient 0,88 sur une version peut tomber à 0,71 après une mise à jour d’API. Des tests de non-régression nocturnes sont utiles.

Par ailleurs, ne confondez pas similarité sémantique et utilité. Deux sorties peuvent être très similaires et tout aussi médiocres. Associez le TCS à une revue éditoriale, à des contrôles d’extraction d’entités et à des données de performance en aval issues de la GSC. Si des pages construites à partir de prompts “stables” perdent encore des clics ou produisent des affirmations non étayées, le score ne résout pas votre problème réel.

En résumé : le TCS est une bonne métrique interne pour évaluer la robustesse des prompts. Mais ne prétendez pas que c’est un KPI universel du GEO. C’est une couche d’assurance qualité, et non un facteur de classement.