Computationele fotografie: als software de foto maakt in plaats van de lens
Als je met je smartphone een foto maakt in een schemerig café, gebeurt er meer dan alleen "het licht vastleggen". Voordat het beeld op je scherm verschijnt, heeft de telefoon al tientallen berekeningen uitgevoerd: meerdere opnames vergeleken, ruis weggefilterd, gezichten herkend en kleuren bijgesteld. Dat hele proces heet computationele fotografie: fotografie waarbij software minstens zo belangrijk is als de lens en de sensor.
Vergelijk het met een keuken waarin niet één kok, maar een heel team tegelijk aan hetzelfde gerecht werkt. De lens en de sensor van een camera zijn de ingrediënten en het fornuis; ze bepalen wat er binnenkomt. Bij computationele fotografie voegt de telefoon daar een team koks aan toe dat binnen een fractie van een seconde meerdere versies van het gerecht proeft, mengt en bijstuurt voordat het bord op tafel komt. Het resultaat is een foto die er vaak beter uitziet dan wat de kale hardware ooit had kunnen vastleggen — maar het is ook, in zekere zin, een berekende interpretatie van de werkelijkheid, niet alleen een registratie ervan.
Wat is het precies?
Traditionele fotografie werkt in grote lijnen zo: licht valt door een lens op een sensor, die het omzet in één elektronisch signaal. Dat signaal wordt vervolgens één bestand: één druk op de knop, één belichting, één foto.
Computationele fotografie doorbreekt dat één-op-één-principe. In plaats van één belichting maakt de camera, vaak zonder dat je het merkt, een hele reeks opnames vlak na elkaar: soms tien tot vijftien beelden binnen een fractie van een seconde, elk met net iets andere belichtingstijd of instellingen. Een algoritme (een vaste reeks rekenstappen) legt die beelden over elkaar heen en combineert ze tot één uiteindelijke foto.
Dat samenvoegen heet multi-frame merging, of stapelen. Het levert twee voordelen op. Ten eerste kan ruis — de willekeurige korrel die ontstaat doordat een sensor bij weinig licht onnauwkeurig meet — worden weggemiddeld, omdat de ruis in elk los beeld net iets anders valt terwijl het eigenlijke beeld gelijk blijft. Ten tweede kan het dynamisch bereik vergroot worden: door de ene opname kort en de andere lang te belichten, vang je zowel details in de schaduw als in de felle lucht, iets wat met één belichting onmogelijk is.
Daarnaast gebruikt computationele fotografie machine learning (systemen die patronen leren herkennen uit grote hoeveelheden voorbeelddata) om bijvoorbeeld gezichten, huid, lucht en gebouwen apart te herkennen en elk net iets anders te bewerken. Met twee of meer lenzen tegelijk — een normale en een groothoeklens bijvoorbeeld — kan software ook een diepteschatting maken: welk deel van het beeld dichtbij is en welk deel ver weg, zodat de achtergrond kunstmatig wazig gemaakt kan worden, ook al is de lens daar fysiek niet toe in staat.
Wat wil men ermee bereiken?
De directe drijfveer is simpel: smartphonecamera's hebben, anders dan spiegelreflex- of systeemcamera's, een piepklein lensje en een piepklein sensoroppervlak, omdat een telefoon dun moet blijven. Kleinere sensoren vangen minder licht en presteren van nature slechter, vooral in het donker. Computationele fotografie is grotendeels ontstaan om dat natuurkundige nadeel te compenseren met rekenkracht in plaats van met grotere lenzen.
Een tweede doel is het overbruggen van de kloof tussen wat een sensor technisch registreert en wat een mens als "mooi" of "natuurlijk" ervaart. Het menselijk oog en brein passen zich voortdurend aan licht en contrast aan; een sensor doet dat niet vanzelf. Software probeert dat verschil te dichten, bijvoorbeeld door gezichten iets lichter te maken of een overbelichte hemel te temperen.
Daarnaast wil de industrie fotografie toegankelijker maken. Waar een professionele fotograaf handmatig sluitertijd, diafragma en lichtgevoeligheid afstemt, moet een computationeel systeem dat automatisch goed doen voor miljoenen gebruikers die nooit een handleiding lezen. Het is dus ook een vorm van democratisering: goede foto's mogelijk maken zonder fotografiekennis.
Ten slotte speelt er een minder zichtbaar, wetenschappelijk doel: onderzoekers willen de grenzen van beeldvorming verleggen door beelden te reconstrueren uit data die met het blote oog of een gewone camera niet zichtbaar zijn, zoals licht dat om een hoek buigt of straling afkomstig van een zwart gat op enorme afstand.
Voorbeelden uit de praktijk
Google HDR+ (vanaf 2014) was een van de eerste veelgebruikte toepassingen. Google-onderzoeker Marc Levoy, die eerder aan Stanford University aan lichtveldcamera's werkte, paste het idee van beeldstapeling toe op de Nexus-telefoons en later de Pixel-lijn. HDR+ maakt bij elke foto een korte serie onderbelichte beelden, telt die digitaal bij elkaar op en onderdrukt zo ruis zonder dat felle lichtbronnen witte vlekken worden.
Google Night Sight (2018), geïntroduceerd op de Pixel 3, bouwde daarop voort voor foto's in bijna volledig duister. Door tot enkele seconden lang tientallen frames te combineren en de kleine handbewegingen tussen die frames te corrigeren, ontstaan foto's van schemerige straten of sterrenhemels die met één belichting alleen maar zwart zouden zijn geweest.
Apple Deep Fusion (2019) en het latere Photonic Engine (2022), respectievelijk geïntroduceerd met de iPhone 11 en de iPhone 14, zijn Apples variant op hetzelfde principe. Deep Fusion analyseert negen opnamen op pixelniveau om textuur — huid, stof, haar — scherper te maken, terwijl Photonic Engine de samenvoeging eerder in het proces laat plaatsvinden zodat meer beeldinformatie behouden blijft.
Samsung Space Zoom (2020), gelanceerd op de Galaxy S20 Ultra, combineert een periscooplens met AI-upscaling: software vult ontbrekende beelddetails bij extreme digitale zoom aan op basis van patronen die het systeem uit miljoenen andere foto's heeft geleerd. Dat leverde ook kritiek op, omdat de grens tussen vastleggen en "verzinnen" van details daarmee vervaagt.
Een heel ander, wetenschappelijk voorbeeld is de eerste foto van een zwart gat, gepubliceerd in 2019 door het internationale Event Horizon Telescope-samenwerkingsverband. Acht radiotelescopen wereldwijd registreerden signalen van het zwarte gat in sterrenstelsel M87; een reconstructie-algoritme zette die verspreide, onvolledige data om in het beroemde oranje-zwarte beeld. Strikt genomen is dit geen fotografie met een lens, maar wel een schoolvoorbeeld van hetzelfde grondprincipe: een beeld berekenen uit data die op zichzelf geen foto vormen.
Hoe ver is de techniek?
Computationele fotografie is inmiddels volwassen technologie, geen laboratoriumcuriositeit meer: vrijwel elke smartphone die vandaag verkocht wordt, past in meer of mindere mate multi-frame-technieken toe. De ontwikkeling gaat snel, mede omdat ze gedreven wordt door de jaarlijkse productcycli van telefoonfabrikanten, die elk jaar een nieuwe camera-generatie willen tonen.
Toch zijn er duidelijke grenzen en discussiepunten. Hoe meer een systeem leunt op machine learning om ontbrekende details "in te vullen" — zoals bij extreme zoom of bij het scherper maken van de maan op een foto — hoe groter het risico dat een foto niet meer weergeeft wat er werkelijk voor de lens gebeurde, maar wat het algoritme verwacht dat daar had moeten staan. Dat werd pijnlijk zichtbaar toen gebruikers ontdekten dat sommige telefoons bij foto's van de maan details toevoegden die niet in de oorspronkelijke opname aanwezig waren. Dat roept fundamentele vragen op over wat een foto nog "echt" maakt, vragen die dringender worden nu diezelfde technieken raakvlakken krijgen met AI-beeldgeneratie.
Een ander obstakel is rekenkracht en energieverbruik: alle beeldverwerking gebeurt op gespecialiseerde chips in de telefoon zelf — ISP's (image signal processors) en NPU's (neural processing units) — en moet binnen een fractie van een seconde gebeuren zonder de accu leeg te trekken. Vooruitgang in computationele fotografie hangt daardoor sterk samen met vooruitgang in chipontwerp.
Op langere termijn onderzoeken wetenschappers fundamentelere toepassingen, zoals het reconstrueren van beelden van om een hoek verscholen objecten met gereflecteerd laserlicht, of het combineren van beeldvorming met radar en infrarood. Die technieken staan nog vooral in de onderzoeksfase en zijn niet op grote schaal in consumentenproducten te vinden.
Wie werken eraan?
In de commerciële sector lopen Google, Apple en Samsung voorop, elk met eigen onderzoeksteams die camera-software als kernonderdeel van hun telefoons behandelen. Chipmaker Qualcomm speelt een minder zichtbare maar cruciale rol: veel Android-telefoons van andere merken vertrouwen op de beeldverwerkingschips die Qualcomm levert.
In de academische wereld is het Stanford Computational Imaging Lab, onder leiding van hoogleraar Gordon Wetzstein, een van de bekendste onderzoeksgroepen, met werk dat uiteenloopt van cameraontwerp tot beeldvorming voor zelfrijdende auto's. Het MIT Media Lab deed via zijn "Camera Culture"-onderzoeksgroep baanbrekend werk aan extreem snelle beeldvorming, zoals het vastleggen van licht dat letterlijk door een fles beweegt. Ook technische universiteiten in onder meer Duitsland, Israël en Nederland dragen bij aan het bredere veld van computationele beeldvorming.
Het Event Horizon Telescope-project laat zien dat de technieken ook buiten de consumentenindustrie relevant zijn: dat is een samenwerking van tientallen universiteiten en observatoria wereldwijd, gecoördineerd vanuit onder meer de Verenigde Staten en Europa.