Gemaskeerde diffusie: tekst schrijven door gaten in te vullen
Stel je een invulpuzzel voor: een tekst waarin bijna elk woord is weggehaald en vervangen door een streepje. In plaats van het verhaal van links naar rechts te bedenken, kijk je steeds opnieuw naar de hele puzzel en vul je telkens de streepjes in waar je het zekerst van bent. Na een paar rondes staat er een compleet, leesbaar verhaal. Dat is in essentie hoe gemaskeerde diffusie werkt: een manier om AI-modellen tekst te laten genereren door stapsgewijs een grotendeels 'verborgen' tekst zichtbaar te maken, in plaats van woord voor woord vooruit te schrijven.
De meeste bekende chatbots, zoals GPT-modellen, schrijven autoregressief: ze kiezen het eerste woord, dan het tweede, dan het derde, altijd in vaste volgorde en zonder terug te kunnen krabbelen. Gemaskeerde diffusiemodellen doen dit anders. Ze beginnen met een tekst die (bijna) helemaal is afgedekt met een soort digitaal plakbandje, het 'masker', en onthullen vervolgens in meerdere rondes steeds meer woorden, niet per se van links naar rechts maar overal tegelijk waar het model al voldoende zeker is. Dat klinkt technisch, maar het idee komt oorspronkelijk uit de wereld van beeldgeneratie, waar vergelijkbare technieken al een tijdje de standaard zijn.
Wat is het precies?
Om gemaskeerde diffusie te begrijpen, helpt het om eerst te kijken naar 'gewone' diffusiemodellen, bekend van beeldgeneratoren zoals Stable Diffusion. Zo'n model wordt getraind door een foto steeds ruisiger te maken, tot er alleen nog witte ruis over is, en vervolgens te leren die ruis stap voor stap weer weg te halen. Bij het genereren van een nieuwe afbeelding begint het model met pure ruis en 'denoiset' het die in tientallen stappen terug tot een scherpe foto.
Tekst bestaat echter niet uit pixels die je een beetje wazig kunt maken, maar uit woorden of woorddelen (in AI-jargon: tokens) die je alleen helemaal aanwezig of helemaal afwezig kunt maken. Onderzoekers losten dit op door 'ruis' te vervangen door 'maskering': in plaats van een woord vager te maken, vervang je het gewoon door een speciaal maskersymbool, ongeveer zoals het beroemde taalmodel BERT (2018) al deed door willekeurige woorden in een zin te verbergen en het model te laten raden wat daar stond.
Het trainingsproces gaat als volgt. Je neemt een stuk bestaande tekst en verbergt een willekeurig deel van de woorden onder maskers, soms bijna alles, soms bijna niets. Het model krijgt de taak om te voorspellen welk woord er achter elk masker zit, op basis van de wél zichtbare woorden eromheen. Door dit miljoenen keren te herhalen, met wisselende hoeveelheden maskering, leert het model hoe je van 'bijna niets zichtbaar' naar 'volledig leesbare tekst' komt.
Bij het genereren van nieuwe tekst draait het model dit om. Het begint met een reeks die volledig uit maskers bestaat en vult in een reeks rondes telkens de woorden in waar het het meest zeker van is, soms meerdere tegelijk. Sommige varianten laten het model zelfs terugkomen op een eerder ingevuld woord en dat vervangen door iets beters, iets wat bij een klassiek taalmodel simpelweg niet kan omdat eenmaal geschreven tekst vaststaat.
Wat wil men ermee bereiken?
De belangrijkste motivatie is snelheid. Een autoregressief model moet voor een tekst van duizend woorden in principe duizend keer na elkaar een voorspelling doen, wat rekentijd kost. Een diffusiemodel kan in elke ronde meerdere woorden tegelijk invullen, waardoor het in theorie in veel minder stappen tot een complete tekst komt. Voor toepassingen die razendsnel moeten reageren, zoals codeassistenten die live meetypen, is dat aantrekkelijk.
Een tweede doel is kwaliteit door herziening. Bij een klassiek taalmodel stapelt een vroege fout zich op: als het eerste zinsdeel al een beetje mis is, bouwt de rest van de zin daarop voort. Omdat een diffusiemodel een woord later opnieuw kan overschrijven, is er in theorie ruimte om fouten te herstellen voordat de tekst definitief wordt.
Daarnaast is deze aanpak van nature geschikt voor invultaken: een stuk tekst of code in het midden aanvullen, in plaats van alleen aan het einde verder te typen. Denk aan het invullen van een ontbrekende functie in bestaande programmacode, of het aanvullen van een zin met context aan beide kanten. Ten slotte is er een bredere onderzoeksdrijfveer: de dominante architectuur voor taalmodellen (autoregressieve transformers) heeft inherente beperkingen, en het is wetenschappelijk waardevol om alternatieve manieren van tekstgeneratie te verkennen, ook als die niet meteen de bestaande aanpak vervangen.
Voorbeelden uit de praktijk
Het onderzoeksveld is nog jong, maar er zijn inmiddels concrete mijlpalen te noemen.
D3PM (2021), gepubliceerd door onderzoekers van Google Research, was een van de eerste werken die diffusie wiskundig vertaalde naar discrete data zoals tekst, en legde daarmee de theoretische basis voor alles wat volgde.
SEDD (Score Entropy Discrete Diffusion, 2024), ontwikkeld aan Stanford University, wist voor het eerst overtuigend te laten zien dat een diffusiemodel qua taalkwaliteit in de buurt kon komen van een vergelijkbaar groot GPT-2-model, iets wat eerdere pogingen niet lukte.
MDLM (Masked Diffusion Language Models, 2024), van onderzoekers verbonden aan Cornell University, vereenvoudigde de trainingsformule aanzienlijk en maakte gemaskeerde diffusiemodellen makkelijker trainbaar en beter presterend, wat de weg vrijmaakte voor grotere experimenten.
LLaDA (Large Language Diffusion with mAsking, 2025), een samenwerking rond de Renmin University of China en Ant Group, was een van de eerste diffusiemodellen op een schaal van acht miljard parameters die volledig vanaf nul werd getraind, en behaalde op verschillende benchmarks resultaten die in de buurt kwamen van vergelijkbaar grote autoregressieve modellen zoals LLaMA 3.
Mercury, van het Amerikaanse start-up Inception Labs (2025), is een van de eerste commercieel aangeboden diffusiemodellen, specifiek gepositioneerd voor snelle codegeneratie, met de claim dat het door parallelle invulling aanzienlijk sneller tekst kan produceren dan vergelijkbare autoregressieve modellen. Ook Google DeepMind toonde in 2025 met een onderzoeksversie genaamd Gemini Diffusion dat een diffusie-aanpak op grote schaal haalbaar is, met nadruk op hoge generatiesnelheid.
Hoe ver is de techniek?
Gemaskeerde diffusie voor tekst staat nog in een vroeg ontwikkelstadium vergeleken met autoregressieve taalmodellen, die al jarenlang het overgrote deel van het onderzoek en de investeringen krijgen. Tot en met 2023 waren diffusiemodellen voor tekst vooral een academische curiositeit met duidelijk zwakkere prestaties dan gangbare taalmodellen. Vanaf 2024 en vooral in 2025 volgden snel verbeteringen, met de eerste modellen op miljarden-parameterschaal en de eerste producten die daadwerkelijk buiten een onderzoekslab beschikbaar kwamen.
De belangrijkste troef die tot nu toe is aangetoond, is snelheid: leveranciers rapporteren generatiesnelheden die een veelvoud zijn van vergelijkbare autoregressieve modellen, vooral bij het genereren van code of gestructureerde tekst. Op het gebied van algemene taalvaardigheid, lang, samenhangend redeneren en brede kennis blijven de beste diffusiemodellen echter nog achter bij de sterkste autoregressieve modellen van dit moment, al wordt die kloof kleiner.
Een praktisch obstakel is dat vrijwel alle bestaande software, chipoptimalisaties en serverinfrastructuur voor taalmodellen zijn afgestemd op de autoregressieve manier van werken. Diffusiemodellen vereisen deels nieuwe technieken om echt efficiënt te draaien, en die infrastructuur is minder volwassen. Het is nog onduidelijk of gemaskeerde diffusie uiteindelijk een niche blijft voor snelheidsgevoelige toepassingen zoals codeassistenten, of uitgroeit tot een volwaardig alternatief voor de huidige generatie taalmodellen. Beide scenario's worden serieus genomen in het onderzoeksveld, en meer duidelijkheid wordt in de komende jaren verwacht naarmate meer grote modellen worden getraind en getest.
Wie werken eraan?
Het fundamentele onderzoek komt grotendeels uit universitaire laboratoria, met name in de Verenigde Staten en China. Stanford University en Cornell University hebben met SEDD en MDLM belangrijke technische doorbraken geleverd, terwijl in China onder meer de Renmin University of China, in samenwerking met technologiebedrijf Ant Group, met LLaDA een van de eerste grootschalige toepassingen realiseerde.
Aan de bedrijfskant heeft Google DeepMind met Gemini Diffusion laten zien dat de techniek ook binnen een grote, gevestigde AI-speler serieus wordt onderzocht. Daarnaast is het Amerikaanse start-up Inception Labs, mede opgericht door onderzoekers met een achtergrond in diffusiemodellen, volledig gespecialiseerd in deze aanpak en bracht met Mercury een van de eerste commerciële diffusie-taalmodellen op de markt. Veel van het onderliggende onderzoek wordt bovendien openbaar gepubliceerd via het preprint-platform arXiv en gedeeld via platforms als Hugging Face, waardoor ook kleinere onderzoeksgroepen en individuele ontwikkelaars aan de technologie kunnen bijdragen en voortbouwen op elkaars werk.