Thermische coherentiescore

Thermal Coherence Score (TCS) is een maat voor promptkwaliteit die controleert of een LLM de kernbetekenis behoudt wanneer je de samplingtemperatuur verhoogt of verlaagt. In de praktijk helpt dit GEO-teams om prompts te onderscheiden die robuust zijn van prompts die er alleen goed uitzien bij temperatuur 0.1.

Het idee is nuttig. De term is niet standaard. Je vindt TCS niet in Google Search Console, Ahrefs, Semrush, Moz, Screaming Frog of Surfer SEO, en Google heeft het niet gepubliceerd als ranking- of kwaliteitsmeting. Behandel het als een interne QA-score, niet als een industriestandaard.

Hoe teams het berekenen

De meest voorkomende opzet is eenvoudig: voer dezelfde prompt uit bij meerdere temperaturen, meestal 0.1, 0.5 en 0.9, en vergelijk vervolgens de outputs op semantische consistentie. De meeste teams gebruiken embeddings plus cosinusovereenkomst en voegen daar daarna extra weging aan toe voor feiten die ertoe doen: productnamen, prijzen, datums, juridische claims, locaties en merkspecifieke terminologie.

• Genereer varianten: Zelfde system prompt, zelfde user prompt, verschillende temperaturen.
• Vergelijk outputs: Gebruik OpenAI- of Cohere-embeddings, of een eigen model, om de gelijkenis te scoren.
• Weg kritieke feiten: Genoemde entiteiten en claims die exact overeenkomen moeten zwaarder wegen dan formuleringen in stijl.
• Pas straffen toe: Hallucinaties van entiteiten, verwisselde getallen en ontbrekende voorwaarden moeten de score sterk verlagen.

Een praktische drempel: onder 0.75 moet de prompt meestal worden verbeterd. Boven 0.85 is het vaak stabiel genoeg voor opschaalde productie. Dat gezegd hebbende, drempels verschillen per risicoprofiel. Een reisblog kan meer afwijking tolereren dan een gezondheidsuitleg of een APR-vergelijkingspagina.

Waarom het ertoe doet voor GEO

Generative Engine Optimization gaat niet alleen over geciteerd worden door AI-systemen. Het gaat ook om het produceren van broncontent en promptframeworks die consistent blijven over modelinstellingen en modelupdates. TCS geeft teams een manier om dat te testen voordat slechte outputs in productie terechtkomen.

Het is vooral nuttig voor:

• Content op basis van templates: FAQ’s, productsamenvattingen, vergelijkingspagina’s en lokale landingspagina’s.
• Gereguleerde sectoren: Financiën, gezondheid, juridische dienstverlening, verzekeringen.
• Lokalisatieworkflows: Waar kleine feitelijke afwijkingen een probleem worden voor compliance of vertrouwen.
• Prompt A/B-testing: Promptversies vergelijken met cijfers in plaats van met subjectieve review.

Een eerlijke kanttekening: hoge coherentie betekent niet hoge nauwkeurigheid. Een model kan dezelfde onjuiste claim bij elke temperatuur herhalen en toch hoog scoren. TCS meet stabiliteit, niet waarheid. Je hebt nog steeds feitvalidatie nodig op basis van brondocumenten, productfeeds of een kennisbank.

Hoe je het in de praktijk gebruikt

Houd de system message vast. Verander telkens één promptvariabele. Log outputs per modelversie, omdat een prompt die 0.88 scoort in één release kan dalen naar 0.71 na een API-update. Nachtelijke regressietests helpen.

Verwar daarnaast semantische gelijkenis niet met bruikbaarheid. Twee outputs kunnen sterk op elkaar lijken en even matig zijn. Combineer TCS met redactionele review, checks op entiteitsextractie en downstream-prestatiegegevens uit GSC. Als pagina’s die zijn gebouwd met ‘stabiele’ prompts toch klikken verliezen of niet-onderbouwde claims produceren, dan lost de score je echte probleem niet op.

Kort gezegd: TCS is een solide interne maat voor promptrobuustheid. Maar doe niet alsof het een universele GEO-KPI is. Het is een QA-laag, geen rankingfactor.