Thermische Kohärenzbewertung

Thermal Coherence Score (TCS) ist eine Kennzahl zur Prompt-Qualität, die prüft, ob ein LLM die Kernaussage beibehält, wenn man die Sampling-Temperatur erhöht oder senkt. In der Praxis hilft es GEO-Teams, Prompts zu unterscheiden, die robust sind, von Prompts, die nur bei Temperatur 0,1 gut aussehen.

Die Idee ist sinnvoll. Der Begriff ist jedoch nicht etabliert. Sie werden TCS nicht in der Google Search Console, in Ahrefs, Semrush, Moz, Screaming Frog oder Surfer SEO finden, und Google hat es nicht als Ranking- oder Qualitätskennzahl veröffentlicht. Behandeln Sie es als internes QA-Rating, nicht als Branchenbenchmark.

So berechnen Teams ihn

Die übliche Konfiguration ist einfach: führen Sie denselben Prompt mit mehreren Temperaturen aus, meist 0,1, 0,5 und 0,9, und vergleichen Sie anschließend die Ausgaben auf semantische Konsistenz. Die meisten Teams nutzen Embeddings plus Cosine Similarity und ergänzen dann zusätzliche Gewichtungen für Fakten, die wirklich zählen: Produktnamen, Preise, Daten, rechtliche Aussagen, Standorte und markenbezogene Fachterminologie.

• Varianten generieren: Gleiches System-Prompt, gleicher User-Prompt, unterschiedliche Temperaturen.
• Ausgaben vergleichen: Verwenden Sie OpenAI- oder Cohere-Embeddings oder ein eigenes Modell, um die Ähnlichkeit zu bewerten.
• Kritische Fakten höher gewichten: Genannte Entitäten und Behauptungen im exakten Wortlaut sollten stärker zählen als rein stilistische Formulierungen.
• Sanktionen anwenden: Halluzinierte Entitäten, vertauschte Zahlen und fehlende Einschränkungen sollten den Score deutlich reduzieren.

Ein pragmatischer Schwellenwert: unter 0,75 muss der Prompt in der Regel überarbeitet werden. Über 0,85 ist er oft stabil genug für skalierten Produktionsbetrieb. Die Schwellenwerte variieren jedoch je nach Risiko. Ein Reiseblog kann mehr Drift tolerieren als ein Healthcare-Erklärtext oder eine Seite zum APR-Vergleich.

Warum TCS für GEO wichtig ist

Generative Engine Optimization geht nicht nur darum, von KI-Systemen zitiert zu werden. Es geht auch darum, Quellinhalte und Prompt-Frameworks zu erstellen, die über Modell-Settings und Modell-Updates hinweg konsistent bleiben. TCS gibt Teams eine Möglichkeit, das zu testen, bevor schlechte Ausgaben in die Produktion gelangen.

Besonders nützlich ist TCS für:

• Template-gesteuerte Inhalte: FAQs, Produktzusammenfassungen, Vergleichsseiten und lokale Landingpages.
• Regulierte Branchen: Finanzen, Gesundheit, Recht, Versicherungen.
• Lokalisierungs-Workflows: Wenn schon kleine faktische Abweichungen zu einem Compliance- oder Vertrauensproblem werden.
• Prompt-A/B-Tests: Vergleich von Prompt-Versionen mit Zahlen statt mit subjektiver manueller Bewertung.

Eine ehrliche Einschränkung: Hohe Kohärenz bedeutet nicht hohe Genauigkeit. Ein Modell kann eine falsche Behauptung bei jeder Temperatur wiederholen und trotzdem gut abschneiden. TCS misst Stabilität, nicht Wahrheit. Sie brauchen weiterhin eine Faktenvalidierung anhand von Quellunterlagen, Produktfeeds oder einer Wissensdatenbank.

So nutzen Sie es in der Praxis

Halten Sie die Systemnachricht konstant. Ändern Sie immer nur eine Prompt-Variable auf einmal. Protokollieren Sie die Ausgaben nach Modellversion, denn ein Prompt, der in einem Release einen Score von 0,88 erzielt, kann nach einem API-Update auf 0,71 fallen. Nächtliche Regressionstests helfen.

Verwechseln Sie außerdem nicht semantische Ähnlichkeit mit Nutzwert. Zwei Ausgaben können sich stark ähneln und dennoch gleich unbefriedigend sein. Kombinieren Sie TCS mit redaktioneller Prüfung, Checks zur Entitätenextraktion und nachgelagerten Performance-Daten aus der GSC. Wenn Seiten, die aus „stabilen“ Prompts gebaut wurden, trotzdem Klicks verlieren oder nicht belegte Aussagen produzieren, löst der Score nicht Ihr eigentliches Problem.

Fazit: TCS ist eine solide interne Kennzahl für die Robustheit von Prompts. Sie sollten nur nicht so tun, als wäre es ein universelles GEO-KPI. Es ist eine QA-Schicht, kein Ranking-Faktor.