Multi-token prediction: taalmodellen die meerdere woorden vooruitdenken

Bijgewerkt: 25 augustus 2026 · 6 min leestijd

Een groot taalmodel zoals dat achter ChatGPT of Claude genereert tekst in principe op dezelfde manier als de voorspellende tekst op je smartphone: het kijkt naar alles wat er al staat en raadt vervolgens welk volgende stukje tekst — een token, meestal een woorddeel — het meest waarschijnlijk is. Dat gebeurt razendsnel en telkens opnieuw, één token per stap. Multi-token prediction (letterlijk: meerdere-tokens-voorspelling, afgekort MTP) is een trainingstechniek waarbij een model leert om niet alleen het eerstvolgende token te raden, maar meteen ook een paar tokens verder vooruit te kijken.

Vergelijk het met een schaker. Een beginner denkt na over de beste eerstvolgende zet. Een sterke speler denkt tijdens het trainen juist na over hoe een zet drie stappen verderop uitpakt, en wordt daardoor een betere speler — ook als hij uiteindelijk toch stap voor stap speelt. Zo ongeveer werkt multi-token prediction: tijdens het trainen wordt het model gedwongen om ook verder vooruit te denken, wat het uiteindelijke, stap-voor-stap gegenereerde antwoord vaak beter en soms ook sneller maakt.

Wat is het precies?

Om dit te begrijpen moet je eerst weten hoe de meeste taalmodellen nu getraind worden. Een tekst wordt opgeknipt in tokens (denk aan lettergrepen of korte woordstukjes) en het model krijgt tijdens de training telkens de opdracht: gegeven alle voorgaande tokens, voorspel het eerstvolgende token. Dit heet next-token prediction (volgende-token-voorspelling) en het is al jaren de standaardmanier om taalmodellen te trainen.

Bij multi-token prediction krijgt het model er, bovenop die ene voorspelling, extra "koppen" (kleine extra rekenmodules) bij. De kern van het model — de zogeheten transformer, het rekenmechanisme dat de context begrijpt — blijft gedeeld, maar aan het eind zitten nu meerdere parallelle koppen: kop 1 voorspelt token n+1 zoals gebruikelijk, kop 2 voorspelt meteen ook token n+2, kop 3 voorspelt n+3, enzovoort. Al deze voorspellingen worden tijdens het trainen tegelijk beoordeeld en de fouten worden opgeteld tot één trainingssignaal.

Het resultaat is dat de gedeelde kern van het model wordt gedwongen om representaties te bouwen die niet alleen nuttig zijn voor de eerstvolgende stap, maar voor een klein stukje toekomst ineens. Na de training kunnen de extra koppen op twee manieren gebruikt worden: ze kunnen worden weggegooid (ze hebben dan alleen gediend om het hoofdmodel beter te maken), of ze kunnen worden bewaard en gebruikt om tijdens het genereren van tekst meteen een paar tokens tegelijk te "gokken", die vervolgens snel gecontroleerd worden door het hoofdmodel. Dat laatste heet self-speculative decoding (zelf-speculatief decoderen) en kan het genereren van tekst versnellen, omdat niet elk token meer een aparte, trage rekenstap door het hele model vereist.

Belangrijk om te onderscheiden: multi-token prediction is een trainingstechniek, terwijl speculative decoding in het algemeen een bredere familie van technieken is om tekst sneller te genereren (vaak met een apart, kleiner "conceptmodel" dat vast wat tokens voorstelt). MTP levert als het ware de bouwstenen om die versnelling zonder apart tweede model te doen, doordat de extra voorspel-koppen al in het model zelf zitten.

Wat wil men ermee bereiken?

Onderzoekers hebben twee, met elkaar samenhangende, redenen om met multi-token prediction te experimenteren.

Ten eerste: efficiënter leren. Bij gewone next-token prediction krijgt het model voor elk stukje tekst maar één, vrij "bekrompen" leersignaal: was dit ene volgende token goed geraden of niet? Dat is een beetje kortzichtig, want het model leert daardoor vooral lokale patronen en minder om vooruit te plannen. Door het model te dwingen ook een paar stappen vooruit te voorspellen, wordt de tekst die het tijdens de training ziet intensiever benut en ontstaan er interne representaties die meer "planning" in zich hebben. Dat blijkt vooral te helpen bij taken waarbij vooruitdenken belangrijk is, zoals het schrijven van programmeercode, waar een variabele die je nu declareert pas een paar regels verderop weer gebruikt wordt.

Ten tweede: sneller en goedkoper tekst genereren. Elke stap waarin een taalmodel een token produceert, kost rekenkracht en tijd. Als een model met behulp van de extra voorspel-koppen meteen een paar tokens tegelijk kan voorstellen — die vervolgens snel worden gecontroleerd in plaats van helemaal opnieuw berekend — dan kan de tekst sneller en met minder energie gegenereerd worden. Voor bedrijven die taalmodellen op grote schaal aanbieden, scheelt dat aanzienlijk in serverkosten en stroomverbruik.

Het achterliggende doel is dus niet zozeer een compleet ander soort AI, maar een efficiëntieslag: met dezelfde hoeveelheid trainingsdata en rekenkracht een beter model krijgen, en dat model vervolgens ook nog sneller laten antwoorden.

Voorbeelden uit de praktijk

Multi-token prediction is nog een vrij jonge techniek, maar heeft al een paar concrete toepassingen gekregen:

Meta AI / FAIR (2024). Onderzoekers van Meta's onderzoeksafdeling FAIR publiceerden in april 2024 het paper "Better & Faster Large Language Models via Multi-Token Prediction", waarin ze modellen van uiteenlopende grootte (van enkele honderden miljoenen tot enkele miljarden parameters) trainden met meerdere voorspel-koppen tegelijk. Ze rapporteerden duidelijke verbeteringen op programmeertaken, vooral bij de grotere modellen, en aanzienlijk snellere tekstgeneratie dankzij self-speculative decoding.
DeepSeek-V3 (december 2024). Het Chinese AI-lab DeepSeek gebruikte multi-token prediction als een van de trainingsdoelen voor zijn grote DeepSeek-V3-model. In hun technisch rapport beschrijven ze sequentiële MTP-modules die elk één extra toekomstig token voorspellen, met een gedeelde inbeddingslaag (de manier waarop tokens intern worden weergegeven) en uitvoerlaag. Dit hielp om het trainingssignaal per document te verdichten en werd ook benut om het genereren van tekst te versnellen.
Voortbouwend onderzoek. Omdat Meta de trainingscode rond het oorspronkelijke paper openbaar heeft gemaakt, experimenteren verschillende academische en industriële onderzoeksgroepen sindsdien met varianten: bijvoorbeeld met een ander aantal voorspel-koppen, andere manieren om de extra verliesfuncties te wegen, of combinaties met andere efficiëntietechnieken zoals "mixture of experts" (waarbij een model per token maar een deel van zijn parameters gebruikt).

Het is eerlijk om te vermelden dat het idee om tijdens generatie meerdere tokens tegelijk te behandelen niet helemaal nieuw is: al in 2018 stelden onderzoekers zogeheten "blockwise parallel decoding" voor als manier om tekstgeneratie te versnellen. Multi-token prediction onderscheidt zich doordat het dit idee expliciet naar de trainingsfase trekt, in plaats van het alleen als trucje bij het genereren toe te passen.

Hoe ver is de techniek?

Multi-token prediction is, met een sleutelpublicatie uit 2024, nog een relatief jonge onderzoekslijn. De belangrijkste bevindingen tot nu toe:

De voordelen lijken sterk afhankelijk van schaal en taaksoort. Bij kleinere modellen en algemene taalvaardigheden (zoals vloeiend schrijven of feitenkennis) zijn de verbeteringen in de gepubliceerde experimenten beperkt of soms zelfs afwezig. Bij grotere modellen (destijds vanaf ongeveer 7 miljard parameters) en bij taken die vooruitdenken vereisen, zoals programmeren, waren de verbeteringen wél duidelijk aantoonbaar. Dat maakt MTP eerder een gerichte optimalisatie dan een universele doorbraak.

Ook is er een prijs: de extra voorspel-koppen kosten tijdens de training extra geheugen en rekentijd, wat de techniek minder aantrekkelijk maakt voor wie met beperkte middelen traint. Bovendien is nog niet volledig uitgekristalliseerd wat het optimale aantal extra koppen is, of hoe MTP zich verhoudt tot andere efficiëntietechnieken zoals kwantisatie (het compacter opslaan van modelgewichten) of destillatie (een klein model leert van een groot model).

Grote, veelgebruikte commerciële modellen zoals de nieuwste GPT- of Gemini-generaties maken hun exacte trainingsarchitectuur doorgaans niet openbaar, dus het is niet met zekerheid te zeggen in hoeverre zij (varianten van) multi-token prediction gebruiken. DeepSeek-V3 is voor zover publiek bekend het meest prominente, volledig gedocumenteerde voorbeeld van de techniek in een model dat daadwerkelijk breed wordt ingezet. Kortom: het idee heeft zijn nut in onderzoek en bij minstens één grootschalig ingezet model bewezen, maar is nog geen vanzelfsprekend standaardonderdeel van elk taalmodel.

Wie werken eraan?

Het onderzoek naar multi-token prediction wordt vooral getrokken door twee spelers. Meta AI (FAIR), met een onderzoeksteam waaronder wetenschappers verbonden aan de Parijse vestiging, publiceerde het richtinggevende paper uit 2024 en maakte bijbehorende code openbaar, waardoor andere onderzoekers erop konden voortbouwen. DeepSeek, een Chinees AI-lab, paste de techniek als een van de eersten grootschalig toe in een productiemodel, DeepSeek-V3, en beschreef dit in een openbaar technisch rapport.

Daarnaast bouwt de bredere academische onderzoeksgemeenschap — verspreid over universiteiten en onderzoeksinstituten die zich met taalmodel-architectuur bezighouden — voort op het oorspronkelijke idee, vaak door varianten te testen of de techniek te combineren met andere efficiëntiemethoden. Omdat de kern van de VS (via Meta) en China (via DeepSeek) hier het voortouw nemen, past multi-token prediction in het bredere beeld van een AI-onderzoeksveld dat zich grotendeels afspeelt tussen Amerikaanse techbedrijven en Chinese AI-labs, met open publicaties die het voor de rest van de wereld mogelijk maken mee te kijken en mee te bouwen.