Video-upscaling: hoe AI oude en lage-resolutiebeelden scherper maakt
Stel je hebt een oude thuisvideo uit de jaren negentig, opgenomen met een videocamera die beelden vastlegde in een lage resolutie: weinig beeldpunten, of pixels, per beeldscherm. Speel je die video af op een moderne 4K-televisie, dan wordt elk pixeltje enorm uitvergroot en zie je vooral blokkerige, vage vlekken. Video-upscaling is de verzameling technieken die zulke beelden omzetten naar een hogere resolutie, met als doel dat het resultaat er scherper en gedetailleerder uitziet dan het origineel.
Het simpelste voorbeeld is inzoomen op een foto in een tekstverwerker: de computer moet nieuwe pixels verzinnen tussen de bestaande pixels, en hoe hij dat doet bepaalt of het resultaat er wazig of juist verrassend scherp uitziet. Bij video komt daar een extra laag bij, want een video bestaat uit tientallen beelden per seconde die na elkaar worden getoond, en die beelden moeten ook nog eens soepel op elkaar aansluiten. Moderne video-upscaling maakt daarbij steeds vaker gebruik van kunstmatige intelligentie, die op basis van eerder geziene beelden probeert te 'raden' welke details er waarschijnlijk hebben gestaan.
Wat is het precies?
Een digitale video bestaat uit een reeks losse beelden, frames genoemd, die razendsnel na elkaar worden afgespeeld. Elk frame is opgebouwd uit een raster van pixels, kleine gekleurde vierkantjes. De resolutie geeft aan hoeveel pixels er in dat raster passen, bijvoorbeeld 1280 bij 720 (vaak 'HD' genoemd) of 3840 bij 2160 ('4K'). Upscaling betekent dat je het aantal pixels vergroot: van een klein raster naar een groter raster.
De klassieke manier om dat te doen heet interpolatie. Een computer kijkt naar de kleur van bestaande, naburige pixels en berekent met een wiskundige formule welke kleur een nieuwe, tussenliggende pixel waarschijnlijk moet krijgen. Dit werkt, maar voegt geen echte informatie toe: het resultaat is vooral een vloeiend gladgestreken, en dus vaak wazig, vergroot beeld.
Sinds ongeveer 2015 wordt hiervoor steeds vaker een neuraal netwerk ingezet, een computerprogramma dat losjes is geïnspireerd op de werking van hersencellen en dat patronen leert herkennen door te trainen op enorme hoeveelheden voorbeelden. Voor video-upscaling laat men zo'n netwerk duizenden paren beelden zien: een lage-resolutieversie en de bijbehorende scherpe, hoge-resolutieversie. Het netwerk leert daaruit welke details statistisch gezien waarschijnlijk zijn bij een bepaald wazig patroon, en past die kennis toe op nieuw, onbekend beeldmateriaal. Dit proces heet ook wel super-resolutie.
Een geavanceerdere variant gebruikt een generatief adversarieel netwerk, kortweg GAN: twee neurale netwerken die tegen elkaar 'strijden'. Het ene netwerk probeert overtuigende, scherpe details te verzinnen, terwijl het andere netwerk moet inschatten of dat resultaat wel realistisch aandoet. Door deze wedstrijd te herhalen, worden de gegenereerde details steeds geloofwaardiger. Recenter experimenteren onderzoekers ook met diffusiemodellen, dezelfde technologie achter veel AI-beeldgeneratoren, die stapsgewijs ruis omzetten in een gedetailleerd beeld.
Video stelt een extra eis die losse foto's niet hebben: temporele consistentie. Als de AI in elk frame apart nieuwe details verzint, kunnen die details van frame op frame net iets verschillen, wat op het scherm als een storend geflikker overkomt. Daarom gebruiken de beste systemen informatie uit meerdere opeenvolgende frames tegelijk: een klein beetje camerabeweging tussen frames onthult soms net iets meer echte beeldinformatie, die het algoritme kan combineren tot een consistenter en scherper resultaat.
Wat wil men ermee bereiken?
Een belangrijke drijfveer is het behoud en herstel van beeldmateriaal uit het verleden. Films, journaals en huisvideo's die decennia geleden in een lage resolutie zijn vastgelegd, kunnen dankzij upscaling geschikt worden gemaakt voor de scherpe, grote schermen van nu, zodat archieven en filmerfgoed toegankelijk blijven voor een publiek dat gewend is aan hoge kwaliteit.
Een tweede doel ligt in het gamen en streamen. Het renderen (berekenen) van beelden in een hoge resolutie kost veel rekenkracht van een videokaart. Door een spel intern in een lagere resolutie te berekenen en dat beeld vervolgens met AI naar een hogere resolutie op te schalen, kunnen spelcomputers en videokaarten hogere framerates (het aantal beelden per seconde) halen zonder dat de speler dat als kwaliteitsverlies ervaart. Bij streamingdiensten speelt iets vergelijkbaars: het versturen van video in een lagere resolutie bespaart internetbandbreedte, en het apparaat van de kijker kan het beeld vervolgens lokaal opschalen.
Daarnaast hopen fabrikanten van televisies hun apparaten aantrekkelijker te maken: een 4K- of 8K-scherm heeft alleen meerwaarde als de content die erop wordt getoond ook daadwerkelijk scherp aandoet, en veel bronmateriaal, van oude dvd's tot lagere-resolutie tv-uitzendingen, is dat van zichzelf niet. Ingebouwde upscaling-chips proberen dat gat te dichten.
Het is belangrijk om eerlijk te zijn over de grenzen van deze belofte: upscaling verzint plausibele details, maar herstelt geen informatie die nooit is vastgelegd. Het resultaat is een esthetisch overtuigende gok, geen exacte reconstructie van de werkelijkheid. Dat maakt de techniek geschikt voor entertainment en archivering, maar problematisch wanneer mensen upscaling verkeerd inzetten als een manier om bewijsmateriaal, zoals bewakingsbeelden, 'scherper' en dus betrouwbaarder te maken: de toegevoegde details kunnen net zo goed verzonnen zijn als correct.
Voorbeelden uit de praktijk
NVIDIA DLSS (Deep Learning Super Sampling), sinds 2018 beschikbaar op NVIDIA-videokaarten, is wellicht de bekendste toepassing. Games worden intern op een lagere resolutie berekend en vervolgens in real time, dus terwijl je speelt, door een AI-model opgeschaald, wat hogere framerates mogelijk maakt.
Real-ESRGAN, gepubliceerd in 2021 door onderzoekers van Tencent's ARC Lab, is een open source AI-model dat breed is overgenomen door de restauratie- en fancommunity om oude video's, animatiefilms en foto's op te schalen. Doordat de broncode vrij beschikbaar is, vormt het de basis van talloze gratis en betaalde upscaling-programma's.
Topaz Video AI, van de Amerikaanse softwaremaker Topaz Labs, is een commercieel pakket dat sinds enkele jaren populair is bij professionele en amateurfilmrestaurateurs om oude opnames te verscherpen en te ontruisen.
Een bekend en veelbesproken voorbeeld is het werk van de Russische ontwikkelaar Denis Shiryaev, die in 2020 met AI-upscaling en kunstmatige framerate-verhoging de allereerste filmopname ooit, de trein van Lumière uit 1896, omzette naar een vloeiende, relatief scherpe versie die wereldwijd viraal ging.
Ook televisiefabrikanten investeren in eigen hardware: Sony's Cognitive Processor XR-chip (geïntroduceerd in 2021) en vergelijkbare AI-verwerkingschips van Samsung en LG schalen inkomend beeld, van streamingdiensten tot tv-uitzendingen, in real time op naar de native resolutie van het scherm.
Hoe ver is de techniek?
Sinds ongeveer 2020 is de kwaliteit van AI-gebaseerde upscaling sterk verbeterd, mede dankzij gespecialiseerde rekeneenheden: Tensor-cores in moderne videokaarten en losse AI-chips (NPU's) in televisies en telefoons maken het mogelijk om dit soort zware berekeningen razendsnel, zelfs in real time, uit te voeren.
Toch blijven er duidelijke grenzen bestaan. Het bekendste probleem is hallucinatie: het netwerk verzint een detail dat er plausibel uitziet, maar niet overeenkomt met de werkelijkheid, bijvoorbeeld een tekst op een verkeersbord die het systeem er zelf 'bij bedenkt'. Verder blijft temporele consistentie lastig bij complexe, snel bewegende scènes: kleine flikkeringen of wisselende details tussen frames komen nog altijd voor. Voor de allerhoogste restauratiekwaliteit, zoals bij het herstellen van archieffilms, is bovendien geen sprake van real-time verwerking; dat kan uren per minuut beeldmateriaal kosten.
Een nieuwere onderzoekslijn (vanaf ongeveer 2023) verkent diffusiemodellen voor video-upscaling. Die leveren vaak nog scherpere, realistischer ogende details, maar zijn rekenkundig zwaarder en gevoeliger voor hallucinatie, omdat ze actiever 'nieuwe' beeldinhoud genereren in plaats van alleen bestaande informatie te verscherpen. Onderzoekers zoeken naar manieren om dat generatieve vermogen te combineren met betrouwbaarheid, maar een pasklare oplossing is er nog niet.
Wie werken eraan?
In de gamingindustrie zijn NVIDIA (DLSS), AMD (met FidelityFX Super Resolution, FSR) en Intel (met XeSS) de belangrijkste concurrenten, elk met een eigen aanpak voor real-time upscaling in videokaarten.
Op onderzoeksgebied spelen academische en bedrijfslaboratoria een grote rol, waaronder Tencent's ARC Lab (bekend van Real-ESRGAN), Google Research en diverse universitaire onderzoeksgroepen die hun bevindingen publiceren op conferenties als CVPR (Conference on Computer Vision and Pattern Recognition), een van de belangrijkste jaarlijkse bijeenkomsten op het gebied van computervisie.
Voor consumenten en restaurateurs is Topaz Labs een van de bekendste commerciële spelers, terwijl televisiefabrikanten als Sony, Samsung en LG eigen AI-upscaling-chips ontwikkelen voor hun schermen. Omroepen en archiefinstellingen, zoals de onderzoeksafdeling van de Britse omroep BBC (BBC Research & Development), experimenteren daarnaast met upscaling voor het toegankelijk houden van historisch beeldmateriaal.