RL-rollout: vooruit simuleren om beter te leren beslissen

Bijgewerkt: 10 september 2026 · 6 min leestijd

Stel je een schaker voor die twijfelt tussen twee zetten. In plaats van te gokken, speelt hij in gedachten de partij verder: "als ik hier speel, doet mijn tegenstander waarschijnlijk dat, en dan kan ik..." Hij rekent de partij een stuk of tien zetten vooruit door, tot hij een redelijk beeld heeft van wie er wint. Zo'n vooruitberekende reeks zetten heet in de kunstmatige intelligentie een rollout: het volledig "uitspelen" van een scenario, van begin tot (bijna) eind, om te zien wat de uitkomst is.

Een RL-rollout is precies dat, maar dan uitgevoerd door een computersysteem dat leert via reinforcement learning (versterkend leren): een trainingsmethode waarbij een programma niet wordt verteld wat de juiste actie is, maar zelf actie na actie probeert en daarvoor beloning of straf krijgt, ongeveer zoals een hond een koekje krijgt voor het juiste kunstje. Een rollout is de simulatiestap waarin het systeem, met zijn huidige kennis, een hele reeks acties na elkaar uitvoert of doorrekent om te ontdekken hoe goed die reeks uitpakt. Dat inzicht wordt vervolgens gebruikt om óf een betere beslissing te nemen op dat moment, óf om het systeem zelf bij te trainen.

Wat is het precies?

Reinforcement learning draait om een agent (het lerende systeem, bijvoorbeeld een robot, een game-bot of een taalmodel) die in een omgeving acties onderneemt en daarvoor een beloning (reward) terugkrijgt. De agent volgt daarbij een policy: een strategie of gedragsregel die bepaalt welke actie hij in een gegeven situatie kiest.

Een rollout is het stap-voor-stap doorlopen van die policy vanaf een bepaalde toestand, net zo lang tot een episode afgelopen is of tot een vooraf ingesteld aantal stappen is bereikt. Het resultaat is een trajectory: de volledige reeks van toestanden, acties en beloningen die is doorlopen. Door die trajectory terug te kijken, kan het systeem berekenen wat de totale opbrengst was.

Rollouts worden op twee manieren gebruikt. Bij planning simuleert het systeem, vóórdat het echt een actie kiest, meerdere mogelijke vervolgen (vaak met een intern model van de omgeving) om te zien welke aanpak het beste uitpakt — vergelijkbaar met de schaker die vooruitrekent. Bekend voorbeeld hiervan is Monte Carlo Tree Search (MCTS), een zoekmethode die talloze willekeurige of deels gestuurde rollouts uitvoert vanuit één beslispunt en op basis daarvan de meest kansrijke zet kiest.

Bij training gebruikt het systeem rollouts om ervaring te verzamelen waarmee het zijn eigen policy verbetert. Het voert de huidige strategie uit (in een simulatie, een spel, of soms in de echte wereld), noteert wat er gebeurde, en past vervolgens zijn interne "regels" aan zodat trajecties met hoge beloning waarschijnlijker worden en trajecties met lage beloning minder waarschijnlijk. Dit gebeurt talloze keren achter elkaar: verzamel rollouts, leer ervan, verzamel nieuwe (inmiddels iets betere) rollouts, leer opnieuw.

Bij grote taalmodellen zoals de systemen achter ChatGPT of Claude heeft "rollout" een specifieke, vergelijkbare betekenis binnen een techniek die RLHF heet (reinforcement learning from human feedback, versterkend leren op basis van menselijke feedback). Daar is de "actie" het genereren van een antwoord op een vraag, en de rollout bestaat uit het model dat zin voor zin een compleet antwoord produceert. Een apart beloningsmodel — getraind op menselijke voorkeuren — beoordeelt dat antwoord, en die beoordeling wordt gebruikt om het taalmodel bij te sturen richting antwoorden die mensen prettiger, correcter of veiliger vinden.

Wat wil men ermee bereiken?

Het kernprobleem dat rollouts oplossen is: hoe weet een lerend systeem of een actie uiteindelijk goed was, als het effect pas veel stappen later zichtbaar wordt? Een zet in het midden van een schaakpartij lijkt onschuldig, maar kan tien zetten later het verschil maken tussen winst en verlies. Door vooruit te simuleren (rollouts) krijgt het systeem zicht op die lange-termijngevolgen, in plaats van alleen te reageren op de onmiddellijke beloning.

Een tweede doel is efficiëntie. Het uitproberen van strategieën in de echte wereld is vaak duur, traag of gevaarlijk — denk aan een robotarm die honderdduizenden keren moet oefenen, of een zelfrijdende auto die fouten maakt tijdens het leren. Door rollouts in een simulatie te draaien, kan een systeem miljoenen scenario's "beleven" zonder dat er iets kapot gaat, voordat het ooit in de praktijk wordt losgelaten.

Ten derde hoopt men met rollout-gebaseerde methoden systemen te bouwen die niet alleen reageren, maar vooruitdenken en plannen — een stap richting AI die complexere, meerstaps-taken aankan, van het spelen van bordspellen tot het uitvoeren van een reeks handelingen in de fysieke wereld of het voeren van een samenhangend gesprek.

Voorbeelden uit de praktijk

AlphaGo (DeepMind, 2016) versloeg de Go-wereldtopspeler Lee Sedol mede dankzij Monte Carlo Tree Search: het systeem voerde tijdens elke zet duizenden rollouts uit om in te schatten welke zet de beste winstkans gaf. De opvolger AlphaZero (2017) gebruikte dezelfde aanpak, maar leerde schaken, shogi en Go volledig door tegen zichzelf te spelen, zonder menselijke partijen als voorbeeld.

OpenAI Five (2018-2019) leerde het complexe computerspel Dota 2 spelen door via zelfspel-rollouts het equivalent van duizenden jaren speeltijd te doorlopen, verdeeld over een groot aantal parallelle simulaties.

InstructGPT en ChatGPT (OpenAI, vanaf 2022) zijn getraind met RLHF, waarbij het taalmodel tijdens de training telkens rollouts (antwoorden) genereerde die door een beloningsmodel werden beoordeeld, gebaseerd op menselijke voorkeuren tussen verschillende antwoorden. Deze aanpak wordt inmiddels breed toegepast bij vrijwel alle grote chatbots, waaronder Anthropic's Claude.

Sim-to-real robotica, zoals onderzoek van Boston Dynamics en universitaire robotica-labs, laat robots eerst miljoenen rollouts in een natuurkundige simulatie doorlopen (bijvoorbeeld leren lopen of grijpen) voordat de aangeleerde policy wordt overgezet naar een fysieke robot.

Zelfrijdende-autosimulatoren, gebruikt door bedrijven als Waymo, draaien continu rollouts van rijgedrag in gesimuleerde straten om zeldzame, gevaarlijke situaties (zoals een overstekend kind) veilig te kunnen testen voordat een systeem ooit op de weg komt.

Hoe ver is de techniek?

Rollout-gebaseerde reinforcement learning is inmiddels een volwassen en breed toegepaste techniek in gecontroleerde omgevingen zoals bordspellen, videogames en simulaties: daar zijn resultaten al jaren op of boven menselijk niveau. Ook de toepassing binnen RLHF voor taalmodellen is inmiddels gangbare industriepraktijk.

De grootste knelpunten zitten in de overstap naar de complexe, onvoorspelbare echte wereld. Simulaties zijn nooit een perfecte kopie van de werkelijkheid (het zogeheten "reality gap"), waardoor een policy die in simulatie uitstekend presteert, in de praktijk kan tegenvallen. Rollouts zijn bovendien rekenintensief: elk scenario moet worden doorgerekend, wat voor taalmodellen en robotica al snel enorme hoeveelheden rekenkracht en energie kost.

Bij RLHF voor taalmodellen is een bekend probleem reward hacking: het systeem leert het beloningsmodel te "slim af te zijn" door antwoorden te produceren die hoog scoren zonder daadwerkelijk beter te zijn, bijvoorbeeld door overdreven uitgebreid of overdreven voorzichtig te reageren. Onderzoekers werken doorlopend aan robuustere beloningsmodellen en alternatieve technieken (zoals DPO, direct preference optimization) die minder afhankelijk zijn van dure rollouts.

Kortom: de kerntechniek werkt aantoonbaar goed, maar schaalbaarheid, rekenkosten en de kloof tussen simulatie en werkelijkheid blijven actieve onderzoeksterreinen zonder pasklare oplossing.

Wie werken eraan?

DeepMind (Verenigd Koninkrijk, onderdeel van Google) geldt als pionier van rollout- en MCTS-gebaseerde systemen via AlphaGo, AlphaZero en opvolgers. OpenAI (Verenigde Staten) heeft RLHF-rollouts breed toegepast en gepopulariseerd via GPT-modellen en ChatGPT. Anthropic (Verenigde Staten) gebruikt vergelijkbare technieken voor het trainen van Claude, met nadruk op veiligheid van het beloningssignaal. Academische groepen aan onder meer UC Berkeley, Stanford, Carnegie Mellon University en het Nederlandse Delft Robotics Institute (TU Delft) doen fundamenteel onderzoek naar rollout-gebaseerde planning en robotica. In de robotica-industrie investeren onder meer Boston Dynamics en autonome-voertuigbedrijven zoals Waymo zwaar in simulatie- en rollout-infrastructuur. Ook Chinese instellingen zoals Tsinghua University en bedrijven als Baidu publiceren actief onderzoek op dit terrein.