Modell-Erklärbarkeitsscore

Model Explainability Score ist ein internes Scoring-System, das bewertet, wie klar ein KI-Modell die Ausgabe begründen kann. In GEO und SEO ist das relevant, wenn das Modell empfiehlt, Entitäten, Zitate, die Seitenstruktur oder Prompt-Eingaben zu ändern – und wenn du mehr brauchst als nur „Das Modell sagt das“.

Die schonungslose Wahrheit: Es gibt keinen standardisierten „Model Explainability Score“, den Google, OpenAI, Ahrefs, Semrush, Moz oder Surfer SEO verwenden. Wenn euer Team den Begriff nutzt, dann definiert die Formel, die Skala und die Entscheidungsschwelle. Andernfalls ist das nur Dashboard-Theater.

Was der Score normalerweise misst

Die meisten Teams bauen den MES aus ein paar Komponenten: Sichtbarkeit der Feature-Wichtigkeit, Konsistenz der Erklärungen und Nachvollziehbarkeit der Empfehlungen. Die einfache Version: Kannst du sehen, welche Eingaben die Ausgabe beeinflusst haben, und bleiben diese Erklärungen über ähnliche Beispiele hinweg stabil?

Beispiel: Ein GEO-Modell könnte sagen, dass eine Seite unwahrscheinlich ist, von KI-Antwortmaschinen zitiert zu werden, weil ihr es an Entitätsklarheit, First-Party-Belegen und Quellenzuordnung mangelt. Ein nützlicher MES würde den Beitrag jedes Faktors zeigen – nicht nur eine Konfidenzbewertung.

• Feature-Sichtbarkeit: Kannst du die Treiber prüfen, etwa Entitätsabdeckung, Zitieranzahl, interne Links, Aktualität oder Passagenstruktur?
• Konsistenz: Erhalten ähnliche Seiten ähnliche Erklärungen – oder wechselt das Modell zwischen den Läufen die Logik?
• Handlungsfähigkeit: Kann ein SEO-Lead die Erklärung in weniger als 10 Minuten in ein Jira-Ticket umwandeln?
• Prüfbarkeit (Auditierbarkeit): Kannst du Erklärungen nach einem Modell-Update speichern und vergleichen?

Wie SEO-Teams es tatsächlich nutzen

MES ist am nützlichsten für interne Prognosen, Empfehlungssysteme und Content-Scoring-Systeme. Denk an Python-Notebooks, SHAP-Werte, LIME, Azure ML Interpretability oder Ausgaben von DataRobot, die in ein Looker-Dashboard einspeisen. Nicht an Google Search Console. Nicht an Screaming Frog. Diese Tools liefern Eingaben, aber keine Explainability-Scores.

Ein praxistaugliches Setup kombiniert Crawl-Daten aus Screaming Frog, Query- und Seitendaten aus GSC, Link-Metriken aus Ahrefs oder Semrush sowie Content-Features aus Surfer SEO oder deiner eigenen NLP-Pipeline. Anschließend bewertest du, wie gut das Modell erklärt, warum eine bestimmte URL eher ranken, ein Featured Snippet erhalten oder in KI-Zusammenfassungen zitiert werden wird.

Gute Teams setzen Schwellenwerte. Beispiel: Erklärungen für 95%+ der Empfehlungen, eine Varianz von unter 10% über wiederholte Läufe hinweg und eine Übereinstimmung der menschlichen Reviewer von über 80%. Wenn ihr solche Werte nicht erreicht, solltet ihr nicht so tun, als sei das Modell erklärbar.

Wo es bricht

Mit großen Sprachmodellen wird dieses Konzept schnell wackelig. Aufmerksamkeitsgewichte sind keine verlässlichen Erklärungen, und Post-hoc-Methoden wirken präzise, obwohl sie falsch sind. In 2025 bestätigte Googles John Mueller, dass SEO-Teams sich auf beobachtbare Qualitätsfaktoren der Website und den Nutzen für Nutzer konzentrieren sollten – nicht auf erfundene KI-Metriken ohne direkten Bedeutungskontext für das Suchranking.

Noch ein Hinweis: Ein hoher MES bedeutet nicht, dass das Modell korrekt ist. Du kannst ein wunderschön erklärtes schlechtes Modell haben. Das passiert sehr häufig. Saubere Erklärungen beheben keine verzerrten Trainingsdaten, schwachen Labels oder fehlenden Variablen wie die Marken-Nachfrage.

Nutze MES als internes Governance-Metrik. In Ordnung. Verkaufe es nur nicht als Branchen-KPI oder Ranking-Faktor. Das ist es nicht.