Diffusiedistillatie: AI-beeldgeneratie in één klap in plaats van vijftig stappen

Stel je een beeldhouwer voor die een standbeeld maakt uit een blok marmer. Hij begint met een ruwe, ongevormde klomp steen en tikt er, stap voor stap, met honderden kleine hamerslagen een figuur uit. Elke tik verwijdert een beetje steen en brengt het beeld dichter bij het eindresultaat. Dat is ongeveer hoe een diffusiemodel werkt: een AI-systeem dat afbeeldingen maakt door te starten met willekeurige ruis (denk aan sneeuw op een ouderwetse tv) en die ruis in tientallen kleine stapjes om te vormen tot een herkenbare foto of illustratie.

Diffusiedistillatie is een techniek waarmee onderzoekers zo'n beeldhouwer een sneltrucje leren: in plaats van vijftig of honderd hamerslagen, leert een 'leerling-model' om in slechts één, vier of acht klappen tot ongeveer hetzelfde eindresultaat te komen. Het woord 'distillatie' verwijst naar het scheikundige proces waarbij je een mengsel indikt tot de essentie ervan overblijft; hier wordt de kennis van een traag maar nauwkeurig model 'ingedikt' in een snel model. Het resultaat: een AI-beeldgenerator die niet seconden maar milliseconden nodig heeft, wat beeldgeneratie in real time mogelijk maakt op een gewone laptop of zelfs een telefoon.

Wat is het precies?

Om diffusiedistillatie te begrijpen, moet je eerst weten hoe een diffusiemodel zelf werkt. Tijdens het trainen laat men het model duizenden echte foto's zien die stap voor stap worden 'vervuild' met steeds meer digitale ruis, totdat er alleen nog willekeurige sneeuw overblijft. Het model leert vervolgens dit proces in gedachten om te draaien: gegeven een ruizige afbeelding, voorspel wat er een klein beetje minder ruizig uitziet. Herhaal die voorspelling tientallen keren, te beginnen bij pure ruis, en er ontstaat een gave afbeelding.

Dat 'tientallen keren herhalen' is het probleem. Elke stap betekent dat de volledige neurale netwerk-berekening opnieuw moet worden uitgevoerd, wat rekenkracht en tijd kost. Een bekend model als Stable Diffusion gebruikte in zijn eerste versies doorgaans 20 tot 50 van zulke stappen; het allereerste onderzoeksmodel op dit gebied (DDPM, voorgesteld door onderzoeker Jonathan Ho en collega's in 2020) had er zelfs tot duizend nodig.

Bij distillatie traint men een tweede, meestal kleiner model (de 'leerling' of student) om het gedrag van het oorspronkelijke, trage model (de 'leraar' of teacher) na te bootsen, maar dan in veel minder stappen. Dat gebeurt op een paar manieren, die elkaar in de tijd hebben opgevolgd en aangevuld:

Progressieve distillatie laat de leerling telkens twee opeenvolgende stappen van de leraar samenvoegen tot één stap van zichzelf. Herhaal dat proces een paar keer, en het aantal benodigde stappen halveert steeds opnieuw: van 1000 naar 500, naar 250, enzovoort.

Consistency-modellen (in het Engels 'consistency models') gaan een stap verder: ze leren direct te 'springen' van elk willekeurig ruispunt naar het eindresultaat, zonder tussenstappen. Het idee is dat er een denkbeeldig pad loopt van pure ruis naar de uiteindelijke afbeelding, en het model leert om vanaf elk punt op dat pad direct de bestemming te voorspellen.

Adversarial (tegenstrijdige) distillatie voegt daar een extra controlemechanisme aan toe: een tweede AI-systeem, een zogeheten discriminator, beoordeelt of het resultaat van de leerling er realistisch uitziet en 'straft' het model als dat niet zo is. Deze aanpak, bekend van het oudere GAN-model (Generative Adversarial Network, twee netwerken die tegen elkaar strijden), helpt de beeldkwaliteit hoog te houden, zelfs bij extreem weinig stappen.

Wat wil men ermee bereiken?

Het hoofddoel is snelheid, en snelheid brengt een reeks praktische voordelen met zich mee. Een gebruiker die in een app een prompt (tekstinstructie) typt, wil het liefst meteen een beeld zien verschijnen in plaats van een paar seconden te wachten. Met distillatie kan een afbeelding in een fractie van een seconde ontstaan, waardoor generatie 'live' aanvoelt, vergelijkbaar met het direct zien van resultaten terwijl je typt.

Daarnaast spelen kosten en energie een rol. Elke stap in een diffusiemodel kost rekenkracht op een grafische kaart (GPU), en bedrijven die miljoenen afbeeldingen per dag genereren betalen daarvoor in stroom en hardware. Minder stappen betekent minder energieverbruik per afbeelding, wat zowel financieel als vanuit duurzaamheidsoogpunt aantrekkelijk is.

Een derde drijfveer is toegankelijkheid: gedistilleerde modellen zijn vaak licht genoeg om te draaien op consumentenapparatuur, zoals een laptop zonder zware videokaart of zelfs een smartphone, in plaats van alleen op datacenters met dure serverchips. Tot slot opent snellere generatie de deur naar toepassingen die tot voor kort onhaalbaar leken, zoals het frame-voor-frame genereren van video of interactieve tools waarbij een ontwerper live kan schuiven en tekenen terwijl de AI meebeweegt.

Voorbeelden uit de praktijk

De basis werd gelegd door onderzoekers Tim Salimans en Jonathan Ho van Google, die in 2022 progressieve distillatie voorstelden als methode om het aantal samplingstappen van diffusiemodellen drastisch te verlagen, met behoud van een groot deel van de beeldkwaliteit.

In 2023 introduceerden onderzoekers rond Yang Song bij OpenAI de consistency models, die claimden voor het eerst bruikbare beelden in slechts één enkele stap te kunnen genereren, een grote sprong ten opzichte van de tientallen stappen die tot dan toe gangbaar waren.

Diezelfde consistency-aanpak werd al snel toegepast op populaire beeldgeneratoren via Latent Consistency Models (LCM) en de bijbehorende LCM-LoRA, een compacte 'adapter' die aan een bestaand Stable Diffusion-model kan worden toegevoegd om het in vier stappen in plaats van vijftig bruikbare beelden te laten produceren. Dit werd snel populair bij hobbyisten dankzij de open-source cultuur rond Stable Diffusion.

Stability AI, het bedrijf achter Stable Diffusion, bracht eind 2023 SDXL Turbo uit, gebouwd met hun eigen 'Adversarial Diffusion Distillation'-methode. Dit model kon afbeeldingen genereren in een enkele stap en werd gepresenteerd als in staat tot near-realtime generatie, geschikt voor interactieve toepassingen.

Meer recent bracht Black Forest Labs, opgericht door voormalige Stability AI-onderzoekers, in 2024 het model Flux uit, met daarnaast een gedistilleerde variant genaamd 'schnell' (Duits voor snel), specifiek geoptimaliseerd voor een laag aantal stappen terwijl de volwaardige versie meer stappen en dus meer detail biedt.

Hoe ver is de techniek?

Diffusiedistillatie is inmiddels geen experimentele curiositeit meer, maar een vast onderdeel van het gereedschap van vrijwel elke grote aanbieder van beeldgeneratie-AI. Veel diensten bieden tegenwoordig naast hun 'volledige' model ook een snelle, gedistilleerde variant aan voor voorbeelden of concepten.

Toch is de techniek niet zonder haken en ogen. Bij zeer lage stapaantallen (één tot vier stappen) gaat doorgaans een deel van de fijne details, tekstuele nauwkeurigheid of variatie tussen verschillende generaties verloren vergeleken met het originele model met vijftig stappen. Onderzoekers werken voortdurend aan het verkleinen van dat kwaliteitsverlies, maar een volledig gedistilleerd model evenaart een goed getraind veelstaps-model vooralsnog niet op elk vlak.

Het trainen van deze gedistilleerde modellen is bovendien zelf een lastig proces: consistency- en adversariële training kunnen instabiel zijn en vragen om zorgvuldig ingestelde experimenten. Voor video-diffusiemodellen, waarbij niet alleen een los beeld maar een hele reeks samenhangende frames moet worden gegenereerd, is distillatie nog lastiger en minder uitgekristalliseerd dan bij losse beelden, en dit blijft een actief onderzoeksgebied.

Wie werken eraan?

Het onderzoek is sterk verspreid over zowel grote techbedrijven als academische groepen. Google Research (en het opvolgende Google DeepMind) legde met progressieve distillatie een van de eerste bouwstenen. OpenAI bracht met consistency models een belangrijke volgende stap. Stability AI, de makers van Stable Diffusion, ontwikkelden de adversariële distillatiemethode achter SDXL Turbo, en Black Forest Labs (met oud-Stability-medewerkers) zet dat werk voort met modellen als Flux.

Daarnaast dragen academische onderzoeksgroepen bij, onder meer aan het MIT en bij Adobe Research, die methoden als 'Distribution Matching Distillation' publiceerden. De open-source gemeenschap rond het platform Hugging Face speelt een grote rol in het toegankelijk maken van deze technieken: hun 'diffusers'-softwarebibliotheek implementeert veel van de genoemde distillatiemethoden, waardoor ontwikkelaars en hobbyisten wereldwijd ermee kunnen experimenteren zonder zelf een onderzoeksteam te hoeven zijn.

Verder lezen

• Stability AI — makers van Stable Diffusion en SDXL Turbo, met nieuwsberichten over hun distillatietechnieken.
• OpenAI Research — onderzoekspagina met publicaties, waaronder het werk aan consistency models.
• arXiv.org — open archief waar vrijwel alle genoemde wetenschappelijke papers over diffusiedistillatie gratis te vinden zijn.
• Hugging Face Diffusers-documentatie — praktische, technische uitleg en implementaties van diverse distillatiemethoden.
• Black Forest Labs — ontwikkelaars van het Flux-model, met een gedistilleerde 'schnell'-variant.