Iteratieve synthese: hoe machines stap voor stap iets nieuws bouwen
Stel je een beeldhouwer voor die geen kant-en-klaar beeld in gedachten heeft, maar begint met een blok marmer vol willekeurige oneffenheden. In plaats van in één beweging het eindresultaat te onthullen, werkt de beeldhouwer in honderden kleine stappen: eerst grove vormen, dan steeds fijnere details, telkens een beetje bijschaven totdat er een herkenbare figuur ontstaat. Iteratieve synthese werkt in de kern hetzelfde, maar dan met computerchips in plaats van beitels: een systeem bouwt een beeld, geluidsfragment, video of zelfs een molecuul op door in veel opeenvolgende stappen ('iteraties') steeds een klein beetje 'ruis' of willekeur weg te halen, tot er iets bruikbaars overblijft.
De term duikt de laatste jaren steeds vaker op omdat dit precies is hoe de bekendste AI-beeldgeneratoren werken, zoals de programma's waarmee je op basis van een tekstbeschrijving een foto-realistische afbeelding laat maken. Maar iteratieve synthese is breder dan alleen plaatjes: dezelfde aanpak wordt inmiddels ook gebruikt om nieuwe eiwitten te ontwerpen voor medicijnen, en onderzoekers experimenteren ermee voor muziek, video en zelfs materiaalontwerp. Het is dus geen los trucje, maar een fundamentele manier van 'iets laten ontstaan' die in meerdere takken van technologie tegelijk opduikt.
Wat is het precies?
De meest gebruikte vorm van iteratieve synthese heet een diffusiemodel. Het woord 'diffusie' verwijst naar het natuurkundige proces waarbij bijvoorbeeld inkt in water langzaam uitvloeit tot een egale, wazige vlek: geordende informatie verdwijnt en maakt plaats voor willekeur. Een diffusiemodel leert dit proces om te draaien.
Tijdens het trainen van zo'n model laat men een computer duizenden keren zien hoe een scherpe foto stap voor stap 'kapotgemaakt' wordt: bij elke stap wordt er een beetje digitale ruis (willekeurige, betekenisloze pixelwaarden, vergelijkbaar met de sneeuw op een ontregelde tv) toegevoegd, totdat er na honderden stappen alleen nog een wolk van willekeurige punten over is. Het model leert vervolgens de omgekeerde beweging: gegeven een ruizige afbeelding, voorspel wat de iets 'schonere' versie ervan zou zijn geweest. Dit proces heet denoising, letterlijk 'ontruizen'.
Wil je vervolgens iets nieuws laten genereren, dan begin je niet met een bestaande foto maar met puur toeval: een raster van willekeurige waarden, te vergelijken met dat marmeren blok. Het model past daar tientallen tot honderden keren achter elkaar zijn geleerde 'ontruizingsstap' op toe, en bij elke stap wordt het beeld een beetje herkenbaarder. Na de laatste iteratie rolt er een compleet nieuw beeld uit dat nergens letterlijk heeft bestaan, maar wel voldoet aan wat het model geleerd heeft over hoe 'echte' foto's eruitzien. Om dit proces sneller te maken, werken veel systemen niet direct met losse pixels maar met een compacte wiskundige samenvatting van het beeld, de zogeheten latente ruimte: een soort verkleinde, geabstraheerde versie van de data waarin dezelfde bewerkingen veel minder rekenwerk kosten.
Het cruciale verschil met oudere technieken is dus dat er niet in één rekenslag een eindresultaat wordt geproduceerd, maar in een lange reeks kleine, elkaar opvolgende verbeteringen. Vandaar de naam iteratieve synthese: synthese betekent hier 'het opbouwen of samenstellen van iets nieuws', en iteratief betekent 'in herhaalde stappen'.
Wat wil men ermee bereiken?
De belangrijkste belofte is kwaliteit. Doordat een model de tijd en ruimte krijgt om een resultaat geleidelijk te verfijnen, in plaats van het in één keer goed te moeten doen, ontstaan er doorgaans scherpere, coherentere en realistischere resultaten dan met eerdere generatietechnieken zoals GAN's (generative adversarial networks, een oudere aanpak waarbij twee neurale netwerken tegen elkaar 'wedijveren'). GAN's zijn vaak sneller, maar staan bekend om instabiliteit tijdens het trainen en minder diversiteit in de output.
Een tweede doel is controleerbaarheid. Omdat het proces uit losse stappen bestaat, kunnen ontwikkelaars op verschillende momenten sturen: bijvoorbeeld door tekstuele instructies mee te geven die bij elke iteratie het model in een bepaalde richting duwen, of door halverwege het proces in te grijpen om een compositie vast te houden terwijl details nog veranderen.
Ten derde hoopt men de aanpak breder inzetbaar te maken dan alleen beeldgeneratie. Als je 'ruis wegwerken in stappen' kunt toepassen op pixels, kun je het in theorie ook toepassen op de driedimensionale coördinaten van atomen in een eiwit, op geluidsgolven, of op de lay-out van een nieuw materiaal. Dat maakt iteratieve synthese voor onderzoekers aantrekkelijk als een soort algemeen gereedschap, niet als een trucje voor alleen plaatjes.
Voorbeelden uit de praktijk
De wetenschappelijke basis voor moderne diffusiemodellen werd gelegd door onderzoekers als Jonathan Ho, Ajay Jain en Pieter Abbeel, die in 2020 het invloedrijke DDPM-model (Denoising Diffusion Probabilistic Models) beschreven. Dit werk vormde de basis voor vrijwel alle latere toepassingen.
In 2022 volgden de eerste grote publieke systemen die op deze techniek draaien: OpenAI's DALL-E 2, Google's onderzoeksmodel Imagen, en Stable Diffusion, dat in augustus 2022 door Stability AI in samenwerking met onderzoeksgroepen als CompVis (verbonden aan de LMU München) publiek en met open broncode werd uitgebracht. Vooral die laatste stap zorgde ervoor dat iteratieve synthese buiten grote techbedrijven ook bij hobbyisten en kleinere bedrijven terechtkwam.
Buiten beeldgeneratie is een opvallend voorbeeld RFdiffusion, ontwikkeld door het laboratorium van David Baker aan de University of Washington en in 2023 gepubliceerd in het wetenschappelijke tijdschrift Nature. Dit systeem gebruikt hetzelfde iteratieve ontruizingsprincipe, maar dan toegepast op de driedimensionale vorm van eiwitten, om volledig nieuwe eiwitstructuren te ontwerpen die in de natuur niet voorkomen, met potentiële toepassingen in medicijnontwikkeling.
Een recenter voorbeeld is Sora, een tekst-naar-video-model dat OpenAI in februari 2024 aankondigde en dat dezelfde iteratieve aanpak uitbreidt naar bewegend beeld. Het exacte tijdspad van de bredere publieke beschikbaarheid van dergelijke videomodellen verandert snel, dus wie hier precieze actuele details over zoekt, doet er goed aan de officiële bronnen te raadplegen in plaats van op geheugen te vertrouwen.
Hoe ver is de techniek?
Voor beeld- en in mindere mate audiogeneratie is iteratieve synthese inmiddels volwassen technologie: de systemen zijn breed beschikbaar, worden dagelijks door miljoenen mensen gebruikt en de kwaliteit is de afgelopen drie tot vier jaar sterk verbeterd. Videogeneratie staat duidelijk minder ver: de resultaten zijn indrukwekkend maar nog wisselend van kwaliteit, met soms vreemde vervormingen bij snelle beweging of complexe fysica.
Bij wetenschappelijke toepassingen zoals eiwitontwerp ligt het tempo van vooruitgang hoog, maar de doorlooptijd naar praktijk is veel langer: een computerontworpen eiwit moet nog altijd in een laboratorium worden gemaakt en getest voordat duidelijk is of het echt werkt zoals voorspeld. Dat maakt dit toepassingsgebied fundamenteel trager dan beeldgeneratie, waar een fout resultaat gewoon opnieuw gegenereerd kan worden zonder praktische gevolgen.
De belangrijkste obstakels zijn niet alleen technisch. Het herhaaldelijk doorlopen van tientallen tot honderden stappen kost aanzienlijk meer rekenkracht en energie dan technieken die in één keer een resultaat produceren, wat onderzoekers aanzet tot het ontwikkelen van kortere, efficiëntere trajecten met minder iteraties. Daarnaast spelen serieuze discussies over auteursrecht en trainingsdata: veel diffusiemodellen zijn getraind op grote hoeveelheden bestaand beeldmateriaal van het internet, en de juridische en ethische status daarvan is in meerdere landen nog onderwerp van rechtszaken en wetgeving. Tot slot blijft controleerbaarheid een open probleem: modellen produceren soms artefacten of onjuiste details die overtuigend ogen maar feitelijk onjuist zijn, wat vooral bij wetenschappelijke toepassingen om zorgvuldige, onafhankelijke verificatie vraagt.
Wie werken eraan?
Op het gebied van beeld- en videogeneratie lopen Amerikaanse bedrijven voorop: OpenAI, Google DeepMind, Stability AI, Midjourney en Runway behoren tot de bekendste namen. Academische groepen, waaronder de eerder genoemde CompVis-onderzoeksgroep in München, hebben een belangrijke rol gespeeld bij het toegankelijk en open maken van de onderliggende techniek.
Voor wetenschappelijke toepassingen van iteratieve synthese, zoals eiwit- en moleculair ontwerp, is de University of Washington met het laboratorium van David Baker een van de meest toonaangevende centra, vaak in samenwerking met andere universiteiten en biotechbedrijven wereldwijd.
Geografisch gezien ligt het zwaartepunt van deze ontwikkelingen momenteel duidelijk in de Verenigde Staten, met Europa (onder meer via Duitse en Britse onderzoeksgroepen) en in toenemende mate ook Chinese onderzoeksinstellingen als belangrijke, snelgroeiende spelers. Nederland speelt vooralsnog vooral een rol via academisch onderzoek en toepassingen, niet via de bouw van de grootste basis-modellen zelf.