Framegeneratie: hoe kunstmatige intelligentie extra beeldjes 'verzint' voor vloeiendere games
Stel je voor dat je een tekenfilm maakt, maar in plaats van elk beeldje met de hand te tekenen, laat je een assistent de tussenliggende plaatjes invullen op basis van het beeldje ervoor en het beeldje erna. De assistent kijkt naar de beweging tussen die twee beelden en schat wat er tussenin moet hebben gezeten. Dat is in de kern wat framegeneratie doet, maar dan in real time, tijdens het spelen van een videogame, en met kunstmatige intelligentie als 'assistent'.
Framegeneratie is een techniek waarbij een grafische kaart niet elk beeld van een game volledig zelf berekent, maar een deel van de beelden laat genereren door een AI-model. Die kunstmatige beelden worden tussen de echt gerenderde beelden geplaatst, waardoor het totale aantal beelden per seconde (frames per second, of fps) flink omhoog gaat zonder dat de kaart harder hoeft te rekenen voor elk los beeld. Het resultaat: een vloeiender ogend spel, vooral zichtbaar op schermen met een hoge verversingssnelheid.
Wat is het precies?
Om framegeneratie te begrijpen, helpt het eerst te weten hoe een game normaal een beeld op het scherm krijgt. Bij traditioneel renderen berekent de grafische kaart (GPU) voor elk los beeld opnieuw waar alle 3D-objecten, texturen, schaduwen en lichteffecten precies staan, en zet dat om in een plat 2D-plaatje. Dat gebeurt tientallen tot honderden keren per seconde. Hoe complexer de scène — denk aan realistische lichtreflecties via ray tracing — hoe meer rekenwerk, en hoe lager de framerate kan uitvallen.
Framegeneratie pakt dit anders aan. Het systeem neemt twee opeenvolgende, volledig gerenderde beelden en berekent daartussen de beweging van elk onderdeel in het beeld: welk pixelblok is naar links geschoven, welk object draait, waar komt nieuwe achtergrond in beeld. Deze bewegingsanalyse heet optical flow (optische stroming): het in kaart brengen van de verplaatsing van beeldpunten tussen twee frames. Op basis van die bewegingsdata voorspelt een neuraal netwerk — een AI-model dat getraind is op enorme hoeveelheden voorbeeldbeelden — hoe een tussenliggend beeld eruit zou moeten zien, en genereert dat beeld. Dat kunstmatige beeld wordt vervolgens tussen de twee echte beelden ingevoegd voordat het naar het scherm gaat.
Dit is iets anders dan upscaling, een verwante maar aparte techniek zoals NVIDIA's DLSS Super Resolution of AMD's FSR-upscaling. Upscaling rendert een beeld op lagere resolutie en laat AI dat vervolgens 'opblazen' naar een scherpere, hogere resolutie — het gaat dus om de kwaliteit en scherpte van één beeld. Framegeneratie voegt juist hele extra beelden toe om het aantal beelden per seconde te verhogen. Beide technieken worden vaak gecombineerd, maar zijn technisch gezien iets anders.
Een belangrijk nadeel is dat een gegenereerd beeld geen nieuwe input van de speler verwerkt: het is puur een visuele interpolatie tussen twee bestaande momenten, gebaseerd op wat al gebeurd is. Daardoor kan het gevoel van input lag (de vertraging tussen een muisbeweging of knopdruk en het zichtbare effect op het scherm) toenemen, ook al oogt het beeld vloeiender. Om dat op te vangen, gebruiken fabrikanten aanvullende technieken zoals NVIDIA Reflex en AMD Anti-Lag, die de wachttijd tussen invoer en rendering elders in de keten verkorten, zodat de extra vertraging van framegeneratie deels wordt gecompenseerd.
Wat wil men ermee bereiken?
Het hoofddoel van framegeneratie is simpel: een vloeiender spelervaring bieden zonder dat er zwaardere, duurdere hardware nodig is. Vooral bij grafisch veeleisende technieken zoals ray tracing — waarbij lichtstralen realistisch worden nagebootst — kan de framerate flink zakken. Framegeneratie belooft die framerate te verdubbelen of zelfs meer te vermenigvuldigen, zodat spelers ray tracing kunnen aanzetten zonder in een haperende diavoorstelling terecht te komen.
Daarnaast spelen steeds meer gamers op monitors met een hoge verversingssnelheid, zoals 144Hz of zelfs 240Hz beeldjes per seconde. Om zulke schermen optimaal te benutten is een hoge, stabiele framerate nodig. Niet elke GPU kan dat via traditioneel renderen alleen bijbenen; framegeneratie is een manier om dichter bij die hoge getallen te komen. Een bijkomend argument is energiezuinigheid: het genereren van een extra beeld kost minder rekenkracht (en dus minder stroom) dan het volledig renderen van een compleet nieuw beeld, wat in theorie een efficiëntere weg is naar hogere framerates.
Voorbeelden uit de praktijk
NVIDIA DLSS 3 Frame Generation was de eerste grote, breed beschikbare implementatie. NVIDIA introduceerde de techniek in het najaar van 2022 samen met de RTX 40-serie videokaarten. Cyberpunk 2077 was een van de eerste games die de functie ondersteunde, en liet zien hoe framerates bij ingeschakelde ray tracing fors konden stijgen.
AMD FSR 3 volgde in 2023 met een eigen versie van frame generation, beschikbaar voor een breder scala aan grafische kaarten dan alleen AMD's nieuwste modellen. Games als Forspoken en Immortals of Aveum behoorden tot de eerste titels die FSR 3 ondersteunden.
NVIDIA DLSS Multi Frame Generation werd aangekondigd tijdens de CES-beurs in januari 2025, gekoppeld aan de nieuwe RTX 50-serie. Waar de eerste versie één extra beeld tussen twee echte beelden plaatste, kan deze nieuwere variant meerdere kunstmatige beelden achter elkaar genereren voor een nog hoger opgegeven framerate.
Intel XeSS Frame Generation is Intels eigen implementatie, onderdeel van het bredere XeSS-pakket voor beeldverbetering, gericht op Intels Arc-videokaarten maar deels ook breder inzetbaar.
Lossless Scaling is een noemenswaardig alternatief: een onafhankelijke, betaalde applicatie op het Steam-platform van een klein ontwikkelteam (Lossless Scaling LLC). In tegenstelling tot de fabrikantgebonden oplossingen werkt deze software in principe op vrijwel elke GPU en elke game, ongeacht of de ontwikkelaar van die game framegeneratie heeft ingebouwd. Dat maakt het populair bij spelers met oudere of merkonafhankelijke hardware, al gaat dat gepaard met meer kans op visuele artefacten omdat de software geen directe toegang heeft tot de interne gamedata die fabrikantoplossingen wel gebruiken.
Hoe ver is de techniek?
Framegeneratie heeft zich in enkele jaren tijd ontwikkeld van een experimentele nieuwigheid tot een functie die in veel grote game-releases standaard wordt aangeboden. De belangrijkste mijlpalen liggen dicht bij elkaar: 2022 voor de eerste brede introductie, 2023 voor concurrerende implementaties, en 2025 voor de volgende stap richting meerdere gegenereerde beelden per echt beeld.
Toch zijn er duidelijke beperkingen. Omdat gegenereerde beelden geen nieuwe spelinvoer verwerken, kan het gevoel van directheid — vooral belangrijk in snelle, competitieve games — afnemen, ook al oogt het beeld op papier vloeiender. Bij snelle bewegingen, flitsende effecten of scherminterface-elementen (zoals een gezondheidsbalk of vizier) kunnen zichtbare fouten optreden, zogeheten artefacten: vervormingen, wazige randen of kortstondig foutieve beeldonderdelen. Ook werkt framegeneratie het best als de onderliggende, echt gerenderde framerate al redelijk hoog is; bij een zeer lage basisframerate wordt de kwaliteit van de gegenereerde tussenbeelden minder betrouwbaar en de extra input lag relatief groter.
In de gamesgemeenschap loopt een aanhoudende discussie over de waarde van deze techniek. Critici noemen de gegenereerde beelden weleens 'nep-frames', omdat ze geen extra rekenwerk van de game-engine zelf weerspiegelen en dus niet hetzelfde zijn als een 'echte' prestatieverbetering. Voorstanders wijzen erop dat het resultaat voor het menselijk oog wel degelijk vloeiender aanvoelt en dat de techniek voortdurend verbetert. Onafhankelijke, kwantitatieve metingen van hoeveel input lag er precies bijkomt en hoe consistent de beeldkwaliteit is, verschillen nog per game en per implementatie — een definitief, game-overstijgend oordeel is er dan ook niet.
Wie werken eraan?
NVIDIA is met DLSS de grootste aanjager van deze techniek en heeft de meeste middelen gestoken in onderzoek naar AI-gestuurde beeldgeneratie voor gaming. AMD ontwikkelt met FSR een concurrerend, opener toegankelijk alternatief dat op meer hardware werkt. Intel voegt met XeSS een derde grote speler toe aan het veld, gekoppeld aan de eigen Arc-videokaarten. Daarnaast is er Lossless Scaling LLC, een klein onafhankelijk team dat een merkonafhankelijke variant aanbiedt buiten de grote chipfabrikanten om.
Ook game-engine makers volgen de ontwikkeling op de voet: Epic Games, de maker van de veelgebruikte Unreal Engine, onderzoekt eigen vormen van frame-interpolatie die dieper geïntegreerd zijn in de engine zelf, zodat ontwikkelaars minder afhankelijk zijn van losse plug-ins per GPU-fabrikant. De techniek blijft daarmee een gebied waar hardwarefabrikanten en softwaremakers ieder vanuit hun eigen positie aan verdere verfijning werken.