Prompt A/B-testen

Prompt A/B-testen is het vergelijken van twee promptvarianten op dezelfde taak om te bepalen welke variant betere resultaten oplevert voor een SEO-doel. In het echte werk betekent dat meestal dat je prompts test voor title tags, meta descriptions, productteksten, categorie-intro’s of schemateksten voordat je ze opschaalt naar 500, 5.000 of 50.000 URL’s.

De reden waarom dit ertoe doet is eenvoudig: promptwijzigingen lijken klein, maar ze kunnen aantoonbare verschillen veroorzaken in CTR, rewrite-rates, feitelijke juistheid en publicatiesnelheid. Eén regel instructie kan 20 editor-uren per maand besparen. Of juist een rommel creëren over een hele set templates.

Hoe SEO-teams het in de praktijk aanpakken

Houd de test zuiver. Eén variabele tegelijk. Als Variant A zegt: “schrijf beknopte meta descriptions met voordelen als leidraad onder 155 tekens” en Variant B verandert ook de toon, de plaatsing van keywords en de CTA-stijl, dan weet je niet waardoor de winst is ontstaan.

1. Kies één outputtype, zoals product meta descriptions.
2. Schrijf twee promptvarianten met één betekenisvol verschil.
3. Genereer outputs op schaal met hetzelfde model en dezelfde instellingen.
4. Beoordeel de kwaliteit handmatig op een steekproef voordat je publiceert.
5. Rolleer elk variant uit op een vergelijkbare set URL’s.
6. Meet het resultaat in Google Search Console, niet alleen in de AI-tool.

Voor uitrol en QA mengen teams meestal meerdere tools. Genereer met OpenAI, Claude of Gemini. Volg paginagroepen in GSC. Crawl de implementatie met Screaming Frog. Vergelijk paginaselecties en concurrenten in Ahrefs of Semrush. Als je de outputkwaliteit scoort vóór publicatie, kunnen Surfer SEO of interne beoordelingsrubrics helpen, maar ze vervangen geen live zoekdata.

Wat je moet meten

• CTR: de meest zuivere KPI voor tests met title- en meta-prompts.
• Rewrite-rate: hoe vaak editors de AI-output moeten corrigeren.
• Compliancy van output: tekenslimieten, verboden claims, merktoon.
• Indexatie- of rankingondersteunende metrics: bruikbaar, maar minder sterk als directe KPI’s voor prompttests.

Een praktische benchmark: test minimaal 100 tot 200 URL’s per variant voor getemplatiseerde paginetypen. Lager dan dat, en ruis wint meestal. Seizoensinvloeden, querymix en veranderingen in de SERP kunnen het resultaat overspoelen.

Waar mensen het mis laten gaan

De grootste fout is modelvoorkeur behandelen als bedrijfsimpact. Een prompt die “beter klinkt” in ChatGPT kan in de zoekresultaten niets veranderen. Een veelvoorkomende fout is ook dat je het model halverwege de test wijzigt. Als Variant A draait op GPT-4.1 en Variant B op Claude 3.7, dan is dat geen prompttesten. Dan is het systeemtesten.

Er is bovendien een harde beperking: prompt A/B-testen is veel makkelijker voor AI-gegenereerde assets die je publiceert dan voor zichtbaarheid binnen AI Overviews of antwoorden van chatbots. Google geeft je in GSC geen helder rapport op promptniveau voor AI Overviews. Vanaf 2025 is de meting daar nog steeds gedeeltelijk en rommelig. Google’s John Mueller heeft teams herhaaldelijk aangespoord om te focussen op waarde voor gebruikers, in plaats van te proberen elke AI-surface te reverse-engineeren.

Gebruik prompt A/B-testen dus waar je output, implementatie en meting kunt controleren. Daar bewijst het zijn waarde.