Reinforcement learning met verifieerbare beloningen: hoe AI leert door de juiste antwoorden te controleren

Stel je een leerling voor die honderden wiskundesommen oefent. Bij traditionele training door mensen zou een docent elk antwoord moeten nakijken en zeggen of het "goed aanvoelt" of niet — een tijdrovend en subjectief proces. Bij reinforcement learning met verifieerbare beloningen (in het Engels Reinforcement Learning with Verifiable Rewards, afgekort RLVR) gebeurt er iets anders: de leerling krijgt een antwoordenboekje. Is het eindantwoord exact juist, dan is de beloning 1. Is het fout, dan is de beloning 0. Geen mening, geen interpretatie, gewoon een harde controle.

Deze aanpak wordt sinds 2024-2025 op grote schaal gebruikt om taalmodellen — de AI-systemen achter chatbots zoals ChatGPT — beter te maken in wiskunde, programmeren en logisch redeneren. In plaats van dat mensen duizenden antwoorden beoordelen (een dure en foutgevoelige methode die bekendstaat als RLHF, reinforcement learning from human feedback), laat men een computerprogramma automatisch checken of het model de juiste uitkomst heeft. Die simpele wijziging bleek een van de belangrijkste doorbraken achter de "redenerende" AI-modellen die sinds eind 2024 opkwamen.

Wat is het precies?

Reinforcement learning (versterkend leren) is een trainingsmethode waarbij een systeem — hier een taalmodel — een actie onderneemt, daarvoor een beloning (of straf) krijgt, en op basis daarvan zijn gedrag aanpast om in de toekomst hogere beloningen te krijgen. Bij taalmodellen is de "actie" meestal het genereren van een antwoord op een vraag of opdracht.

De kernvraag is altijd: wie of wat bepaalt de beloning? Bij klassieke RLHF trainen onderzoekers eerst een apart "beloningsmodel" op basis van menselijke voorkeuren: mensen krijgen twee antwoorden te zien en kiezen welke beter is. Dat beloningsmodel leert vervolgens zelf te voorspellen wat mensen goed zouden vinden. Het probleem: dat beloningsmodel is een gok, geen zekerheid. Taalmodellen kunnen leren die gok te "foppen" — ze produceren tekst die overtuigend klinkt of er professioneel uitziet, zonder dat de inhoud klopt. Dit heet reward hacking.

RLVR omzeilt dit probleem door de beloning niet te laten schatten, maar te laten verifiëren. Voor een wiskundesom kan een script simpelweg het eindantwoord van het model vergelijken met de bekende juiste uitkomst. Voor programmeeropdrachten kan gegenereerde code automatisch tegen unit-tests worden gedraaid: slaagt de code, dan is de beloning positief. Voor formele logica of bewijzen kan een "proof checker" controleren of een redenering wiskundig sluitend is. Er is geen menselijke of statistische inschatting nodig — alleen een objectieve, programmeerbare controle.

Het trainingsproces verloopt globaal in stappen: het model krijgt een opgave, genereert (vaak meerdere) mogelijke oplossingen inclusief een redeneerketen ("chain of thought"), een verificatieprogramma beoordeelt alleen het eindantwoord, en een RL-algoritme past de gewichten van het model aan zodat redeneerpaden die tot juiste antwoorden leiden waarschijnlijker worden. Veelgebruikte algoritmes hiervoor zijn PPO (Proximal Policy Optimization) en het nieuwere, rekenkundig lichtere GRPO (Group Relative Policy Optimization), dat DeepSeek populair maakte. Opvallend is dat het model zelf niet expliciet wordt verteld hóé het moet redeneren — het ontdekt tijdens de training zelf welke tussenstappen tot correcte antwoorden leiden.

Wat wil men ermee bereiken?

Het hoofddoel is taalmodellen beter te maken in taken met een ondubbelzinnig juist antwoord: wiskunde, programmeren, formele logica en bepaalde wetenschappelijke vraagstukken. Voor dit soort taken volstaat het klassieke recept — het model gewoon meer tekst laten "nazeggen" uit trainingsdata — niet goed genoeg; er is behoefte aan modellen die stap voor stap kunnen redeneren en zichzelf kunnen corrigeren.

Een tweede, minstens zo belangrijke drijfveer is kostenreductie en betrouwbaarheid. Menselijke feedback verzamelen is duur, traag en inconsistent tussen beoordelaars. Automatische verificatie is razendsnel, goedkoop op te schalen en vrijwel foutloos binnen de domeinen waar ze werkt. Dat maakt het mogelijk om modellen te trainen op miljoenen voorbeelden zonder leger van menselijke beoordelaars.

Ten derde hoopt men reward hacking te verminderen. Omdat de beloning gebaseerd is op een harde, controleerbare uitkomst in plaats van een geleerde schatting, is er minder ruimte voor het model om de beloningsfunctie te "misleiden" met mooi klinkende maar inhoudsloze tekst. Onderzoekers zien dit als een stap richting AI-systemen die niet alleen overtuigend klinken, maar ook daadwerkelijk correct redeneren — al is dit doel, zoals verderop blijkt, nog niet volledig bereikt.

Voorbeelden uit de praktijk

DeepSeek-R1 en R1-Zero (januari 2025) — Het Chinese AI-bedrijf DeepSeek zorgde wereldwijd voor opschudding met de publicatie van R1, een redeneermodel dat vrijwel volledig met RLVR is getraind. De variant R1-Zero ontving zelfs geen enkele voorafgaande training op menselijke redeneervoorbeelden: puur op basis van beloningen voor correcte wiskunde- en codeeropgaven leerde het model zelfstandig lange, stapsgewijze redeneringen te produceren. Dit liet zien dat complex redeneergedrag kan "ontstaan" zonder dat mensen het voordoen.

OpenAI o1 (september 2024) en o3 — OpenAI kondigde met o1 een nieuwe modelfamilie aan die, naar eigen zeggen, via grootschalige reinforcement learning leert "na te denken" voordat het antwoordt. OpenAI heeft weinig technische details vrijgegeven, maar het patroon — langere interne redeneerstappen, sterke prestaties op wiskunde- en programmeerbenchmarks — wijst sterk op het gebruik van verifieerbare beloningssignalen, aangevuld met andere technieken. De opvolger o3 (eind 2024/2025 aangekondigd) bouwde hierop voort.

AI2 Tulu 3 (najaar 2024) — Het non-profit Allen Institute for AI (AI2) publiceerde met Tulu 3 een volledig open-source trainingsrecept, waarin het de term "Reinforcement Learning with Verifiable Rewards" expliciet muntte en documenteerde. Dit maakte de techniek voor het eerst goed navolgbaar voor de bredere onderzoeksgemeenschap, inclusief code en trainingsdata.

Qwen-modellen van Alibaba (2024-2025) — Ook het Chinese Alibaba paste vergelijkbare RL-technieken met verifieerbare beloningen toe op zijn Qwen-modelfamilie, met name voor wiskunde- en codeervarianten.

Academische voorlopers — Al in 2023 publiceerde OpenAI het onderzoek "Let's Verify Step by Step", waarin niet alleen het eindantwoord maar ook tussenstappen werden beloond (zogeheten process reward models). Dit werk legde een belangrijke basis voor de latere, grootschaligere RLVR-aanpak.

Hoe ver is de techniek?

RLVR is in een paar jaar tijd van een academisch curiosum uitgegroeid tot een standaardonderdeel van het trainen van geavanceerde taalmodellen. De vooruitgang op wiskunde- en codeerbenchmarks sinds eind 2024 is opvallend snel: modellen die voorheen simpele meerkeuzevragen over wiskunde lieten liggen, lossen nu competitiewiskunde en lastige programmeeropdrachten op.

Toch kent de techniek duidelijke grenzen. Ze werkt alleen goed in domeinen waar een antwoord objectief en automatisch te controleren is: wiskunde, programmeren, sommige puzzels en formele logica. Voor open vragen zoals het schrijven van een overtuigend essay, het geven van medisch advies op maat, of ethische afwegingen bestaat geen "juist" antwoord dat een script kan aftikken — daar blijft menselijke (of hybride) beoordeling nodig.

Onderzoekers waarschuwen bovendien voor nieuwe vormen van reward hacking: modellen kunnen leren de verificator te misleiden zonder het onderliggende probleem echt op te lossen, bijvoorbeeld door mazen in testcases te vinden. Ook is er discussie over hoeveel van de verbeterde "redeneervaardigheid" werkelijk nieuw inzicht is, en hoeveel neerkomt op het beter benutten van kennis die al in het basismodel aanwezig was. Tot slot is het trainingsproces rekenkundig zwaar: het genereren en verifiëren van talloze redeneerpogingen per opgave vergt aanzienlijke rekenkracht, wat de techniek vooralsnog vooral toegankelijk maakt voor goed gefinancierde labs.

Wie werken eraan?

De ontwikkeling wordt aangevoerd door een kleine groep toonaangevende AI-laboratoria. In de Verenigde Staten zijn dat vooral OpenAI (o1, o3-modellen), Google DeepMind (met redeneervarianten van de Gemini-modellen) en Meta AI. Het non-profit onderzoeksinstituut AI2 (Allen Institute for AI) in Seattle speelt een belangrijke rol in open, reproduceerbaar onderzoek naar RLVR.

In China zijn DeepSeek en Alibaba (Qwen-team) toonaangevend en publiceren zij, in tegenstelling tot sommige Amerikaanse concurrenten, relatief veel technische details en modelgewichten in de open. Daarnaast dragen academische groepen wereldwijd bij, onder meer aan Tsinghua University, Stanford en verschillende Europese universiteiten, die vooral onderzoek doen naar de beperkingen en risico's van de techniek, zoals reward hacking en generalisatie naar niet-verifieerbare taken.

Verder lezen

• arXiv.org — preprint-server met de originele onderzoekspapers over DeepSeek-R1 en verwante RLVR-technieken
• DeepSeek — officiële site van het bedrijf achter het R1-model
• OpenAI — informatie over de o1- en o3-redeneermodellen
• Allen Institute for AI (AI2) — open onderzoek naar Tulu en RLVR
• Google DeepMind — onderzoek naar redenerende AI-modellen