Redeneer-prefill: sturen van de gedachtegang van AI-modellen
Stel je een leerling voor die op een kladblaadje een rekensom uitwerkt voordat hij het eindantwoord opschrijft. Normaal gesproken bedenkt hij zelf elke tussenstap. Redeneer-prefill is alsof iemand anders alvast de eerste paar regels van dat kladblaadje invult — "eerst tel ik de kosten bij elkaar op, want..." — en de leerling vanaf daar verder laat schrijven. De leerling denkt dat het zijn eigen redenering is, maar de richting ligt al gedeeltelijk vast door wat er al stond.
Bij moderne AI-taalmodellen die kunnen "redeneren" gebeurt iets vergelijkbaars. Zulke modellen genereren eerst een innerlijke gedachtegang — een reeks tussenstappen, ook wel chain-of-thought of denktokens genoemd — voordat ze een definitief antwoord geven. Bij redeneer-prefill (in het Engels reasoning prefill of thinking prefill) schrijft niet het model, maar een ontwikkelaar of onderzoeker het begin van die gedachtegang. Het model neemt die aanzet over alsof het zijn eigen woorden zijn, en redeneert vanaf dat punt verder. Dit klinkt technisch, maar het raakt aan een kernvraag in AI-veiligheidsonderzoek: hoe betrouwbaar is de "gedachtegang" die een AI-model laat zien, en wat gebeurt er als je die stuurt?
Wat is het precies?
Om redeneer-prefill te begrijpen, moet je eerst weten wat gewone "prefill" is. Bij het aanroepen van een taalmodel via een programmeerinterface (API) geef je normaal een vraag of opdracht, en het model genereert het volledige antwoord van begin tot eind. Sommige API's staan echter toe dat een ontwikkelaar zelf het begin van het antwoord van het model invult — bijvoorbeeld het openingshaakje van een JSON-bestand — waarna het model alleen de rest aanvult. Dit heet prefilling en wordt onder meer gebruikt om modellen te dwingen tot een vast antwoordformaat.
Reasoning-modellen — taalmodellen die eerst intern "nadenken" voordat ze antwoorden, zoals de o-serie van OpenAI, Claude met extended thinking van Anthropic, of het open model DeepSeek-R1 — hebben een extra fase in dat proces: de redeneerfase, vaak zichtbaar gemaakt tussen speciale markeringen zoals <think>-tags. Redeneer-prefill past het prefill-principe toe op precies dit stuk: je vult niet het eindantwoord alvast in, maar de eerste zinnen van de interne redenering zelf.
Dat werkt omdat taalmodellen woord voor woord voorspellen op basis van alles wat eraan voorafgaat. Begint de redenering met "ik moet dit weigeren, want...", dan loopt de rest van de gedachtegang waarschijnlijk uit op een weigering. Begint diezelfde redenering kunstmatig met "natuurlijk, ik leg het stap voor stap uit...", dan is de kans groot dat het model die toon vasthoudt — ook als het origineel getraind was om voorzichtig te zijn. Precies dat maakt redeneer-prefill zowel een nuttig onderzoeksinstrument als een mogelijk kwetsbaar punt.
Niet elk model laat dit even makkelijk toe. Bij sommige systemen is de ruwe redeneertekst volledig zichtbaar en dus vrij te prefillen door wie toegang heeft tot het model (zoals bij open modellen). Andere aanbieders verbergen de ruwe redenering juist bewust voor gebruikers, of blokkeren prefilling van het denkblok expliciet in hun API-voorwaarden, precies om het risico op sturing en misbruik te beperken.
Wat wil men ermee bereiken?
Onderzoekers gebruiken redeneer-prefill voor uiteenlopende, overwegend defensieve doeleinden. Ten eerste als diagnostisch instrument: door de redenering kunstmatig een bepaalde kant op te sturen en te kijken wat het model daarna doet, kun je testen hoe stabiel of consistent het gedrag van een model is. Blijft het model bij een eenmaal ingezette lijn, of corrigeert het zichzelf alsnog?
Ten tweede speelt het een rol in onderzoek naar de zogeheten "faithfulness" (getrouwheid) van chain-of-thought: weerspiegelt de zichtbare redenering daadwerkelijk hoe het model tot zijn antwoord komt, of is het eerder een achteraf bedachte, plausibel klinkende rechtvaardiging? Door de redenering te manipuleren en te kijken of het eindantwoord daardoor logisch meeverandert, proberen onderzoekers dit soort vragen te beantwoorden.
Ten derde, en dit is de reden dat het onderwerp ook in veiligheidscontext opduikt: redeneer-prefill is een bekende red-teaming-techniek — een methode waarbij onderzoekers doelbewust proberen de zwakke plekken van een AI-systeem bloot te leggen voordat kwaadwillenden dat doen. Als een model zijn veiligheidstraining laat varen zodra de redenering met coöperatieve taal begint, wijst dat op een kwetsbaarheid die verholpen moet worden. Diezelfde techniek kan echter ook door aanvallers worden misbruikt om weigeringen te omzeilen (een vorm van jailbreak), wat verklaart waarom sommige aanbieders het bewust inperken.
Voorbeelden uit de praktijk
Enkele concrete gevallen illustreren hoe dit onderwerp zich in de praktijk ontwikkelt:
- DeepSeek-R1 (januari 2025) — dit Chinese open-weight redeneermodel toont zijn volledige denkproces in zichtbare <think>-tags. Kort na de release lieten diverse onderzoekers zien dat het prefillen van dat blok met coöperatief klinkende tekst de ingebouwde terughoudendheid van het model kon omzeilen, wat het model tot een schoolvoorbeeld maakte in discussies over de risico's van open, prefillbare redenering.
- OpenAI's o1 (september 2024) en o3 — OpenAI koos er bewust voor de ruwe redeneertokens van deze modellen niet volledig aan gebruikers te tonen. In de bijbehorende systeemdocumentatie noemt het bedrijf onder meer het beschermen van de integriteit van het redeneerproces en het voorkomen dat de redenering geoptimaliseerd wordt om er alleen maar overtuigend uit te zien, als redenen om terughoudend te zijn met volledige transparantie.
- Anthropic's Claude met extended thinking (2025) — in de API-documentatie van Anthropic wordt prefilling van het denkblok expliciet anders behandeld dan prefilling van een gewoon antwoord: waar je een normaal antwoord gedeeltelijk mag voorinvullen, gelden er strengere beperkingen zodra extended thinking actief is. Dit is een bewuste ontwerpkeuze om manipulatie van de redeneerketen te bemoeilijken.
- Redwood Research en Apollo Research — deze non-profitorganisaties voor AI-veiligheidsonderzoek gebruiken prefill-achtige technieken in gecontroleerde evaluaties (evals) om te testen of modellen tekenen vertonen van "scheming": het nastreven van verborgen doelen die afwijken van wat een gebruiker vraagt. Door de redenering kunstmatig te sturen, proberen zij dergelijk gedrag naar boven te halen in een veilige testomgeving.
- Onderzoek naar chain-of-thought faithfulness (2025) — verschillende AI-labs publiceerden in 2025 werk waarin ze, deels met sturingstechnieken zoals prefill, onderzochten in hoeverre de zichtbare redenering van modellen overeenkomt met hun daadwerkelijke interne verwerking. De voorlopige conclusie is ontnuchterend: die overeenkomst is lang niet altijd volledig.
Hoe ver is de techniek?
Redeneer-prefill is geen zelfstandige technologie die "volwassen" wordt zoals bijvoorbeeld batterijen of zonnepanelen; het is een methode die meebeweegt met de opkomst van reasoning-modellen sinds eind 2024. Sindsdien is er een levendig onderzoeksveld ontstaan rond het testen, sturen en doorgronden van AI-redenering, met prefill als een van de meest gebruikte technieken.
Een duidelijke standaard ontbreekt vooralsnog. Aanbieders van AI-modellen kiezen elk hun eigen aanpak, variërend van volledige openheid (waarbij iedereen de redenering kan zien en prefillen) tot volledige afscherming (waarbij de ruwe redenering nooit wordt getoond) tot tussenvormen met beperkte prefill-mogelijkheden. Dat spectrum weerspiegelt een fundamenteel dilemma: transparantie is waardevol voor onderzoek, foutopsporing en vertrouwen, maar diezelfde transparantie vergroot het aanvalsoppervlak voor misbruik.
Een tweede, dieperliggend obstakel is dat onderzoekers nog steeds niet zeker weten hoe getrouw zichtbare redenering sowieso is, los van prefill. Als een model een andere interne "route" volgt dan de tekst die het toont, wordt het lastiger om conclusies te trekken uit prefill-experimenten: je stuurt dan mogelijk alleen de zichtbare tekst, niet de onderliggende berekening. Dit maakt het een actief maar nog onvolwassen onderzoeksveld, met meerdere publicaties per kwartaal maar zonder gevestigde beste-praktijken of internationale afspraken.
Wie werken eraan?
Het onderwerp wordt vooral gedreven door de grote ontwikkelaars van reasoning-modellen en gespecialiseerde AI-veiligheidsorganisaties. In de Verenigde Staten zijn dat met name OpenAI (ontwikkelaar van de o-serie modellen) en Anthropic (ontwikkelaar van Claude, met onderzoek naar chain-of-thought-getrouwheid). Uit China komt DeepSeek, wiens open-weight R1-model door zijn volledige transparantie een veelgebruikt studieobject is geworden.
Daarnaast spelen gespecialiseerde non-profitorganisaties een belangrijke rol in het evaluatie- en red-teamingwerk: Redwood Research en Apollo Research (dit laatste gevestigd in het Verenigd Koninkrijk) publiceren regelmatig over technieken om ongewenst modelgedrag, inclusief kwetsbaarheid voor prefill-sturing, bloot te leggen. Overheidsinstanties zoals het Britse AI Security Institute (voorheen AI Safety Institute) financieren en coördineren mede dit soort onafhankelijk veiligheidsonderzoek. Verder verschijnt veel van dit werk als open toegankelijke voorpublicaties op platforms als arXiv, geschreven door academische onderzoeksgroepen wereldwijd die zich toeleggen op interpretability (het doorgronden van hoe modellen intern werken) en AI-veiligheid in bredere zin.