3D-reconstructie: hoe computers een driedimensionale wereld terugbouwen uit platte beelden
Stel je voor: je loopt met je telefoon om een oud standbeeld heen en maakt twintig foto's vanuit verschillende hoeken. Een paar minuten later toont je computer een compleet driedimensionaal model van dat beeld, dat je kunt draaien, inzoomen en vanuit elke hoek kunt bekijken alsof het echt voor je staat. Dat is 3D-reconstructie: het proces waarbij software uit platte, tweedimensionale beelden een ruimtelijk model opbouwt.
De techniek zit tegenwoordig overal, vaak zonder dat we het merken. De kaarten-app die gebouwen in 3D toont, de arts die een tumor bekijkt in een CT-scan, de zelfrijdende auto die inschat hoe ver een fietser weg staat: allemaal maken ze gebruik van vormen van 3D-reconstructie. Het is de brug tussen de platte wereld van camera's en sensoren, en de driedimensionale wereld waarin wij daadwerkelijk leven.
Wat is het precies?
De basis van de meeste 3D-reconstructie is een truc die ons eigen brein ook gebruikt: dieptezien via twee ogen. Als je met twee camera's, of met één camera vanuit twee posities, hetzelfde object fotografeert, verschuiven objecten dichtbij sterker tussen de twee beelden dan objecten ver weg. Uit dat verschil, de zogeheten parallax, kan een computer de afstand tot elk punt berekenen.
Bij een techniek die fotogrammetrie heet, gebeurt dit met tientallen of honderden gewone foto's. Software herkent duizenden gemeenschappelijke punten tussen de foto's (denk aan een scherpe rand van een raamkozijn of een vlek op een muur), berekent daaruit waar de camera telkens stond, en reconstrueert vervolgens een puntenwolk: een verzameling miljoenen punten in de ruimte die samen de vorm van het object beschrijven. Die puntenwolk wordt daarna omgezet in een net van driehoekjes (een mesh) waarover de kleuren van de foto's als een soort behang worden geplakt.
Een andere aanpak gebruikt geen foto's maar LiDAR (Light Detection and Ranging): een sensor stuurt laserpulsjes uit en meet hoe lang het duurt voordat het licht terugkaatst. Dat levert direct een afstand per punt op, zonder dat er twee beelden vergeleken hoeven te worden. Zelfrijdende auto's en de nieuwere iPhones gebruiken deze methode, vaak in combinatie met camerabeelden.
Sinds enkele jaren is er een derde familie van technieken die met kunstmatige intelligentie werkt. Bij Neural Radiance Fields (NeRF), geïntroduceerd in 2020, leert een neuraal netwerk niet een expliciete puntenwolk, maar een wiskundige functie die voor elk denkbaar punt in de ruimte voorspelt welke kleur en lichtsterkte je zou zien vanuit een bepaalde hoek. Recenter, sinds 2023, is Gaussian Splatting populair geworden: hierbij wordt de scène opgebouwd uit miljoenen kleine, doorschijnende ellipsvormige vlekjes waarvan positie, kleur en doorzichtigheid worden geoptimaliseerd totdat ze samen de originele foto's zo goed mogelijk nabootsen. Dat laatste is veel sneller te renderen dan NeRF en wordt daarom snel populair.
Wat wil men ermee bereiken?
De directe belofte is simpel: de fysieke wereld digitaal vastleggen zodat je die kunt bewaren, bestuderen, delen of bewerken zonder dat het origineel nodig is. Voor erfgoedbehoud betekent dit dat een tempel, standbeeld of gebouw ook na verwoesting, verval of natuurrampen nog in detail bestudeerd en zelfs gereconstrueerd kan worden.
In de industrie en wetenschap gaat het vaak om meten in plaats van bewonderen: een 3D-model van een bouwplaats laat precies zien hoeveel grond er is verzet, een medische scan laat een chirurg een operatie vooraf virtueel oefenen, en een reconstructie van een fabriekshal helpt bij het plannen van nieuwe machines zonder dat iemand ter plaatse hoeft te meten.
Er is ook een duidelijke drijfveer vanuit entertainment en virtual reality: hoe realistischer een digitale omgeving aanvoelt, hoe overtuigender een game, film of VR-ervaring wordt. 3D-reconstructie van echte locaties en objecten is vaak sneller en goedkoper dan alles met de hand digitaal na te bouwen. En voor robotica en zelfrijdende voertuigen is een betrouwbaar ruimtelijk beeld van de omgeving simpelweg een voorwaarde om veilig te kunnen navigeren.
Voorbeelden uit de praktijk
Een bekend voorbeeld is de restauratie van de Notre-Dame in Parijs na de brand van 2019. De Amerikaanse kunsthistoricus Andrew Tallon had de kathedraal in 2015 al met laserscanners tot op de millimeter in kaart gebracht voor onderzoek naar de bouwgeschiedenis. Die puntenwolken bleken na de brand onverwacht cruciaal voor de restauratieteams, die er de exacte oorspronkelijke vorm van gewelven en spanten uit konden afleiden.
Het Rijksmuseum in Amsterdam startte in 2019 Operatie Nachtwacht, waarbij Rembrandts schilderij met extreem hoge resolutie en meerdere beeldtechnieken werd vastgelegd, deels met 3D-scanning van het oppervlak, om de precieze staat van het doek te documenteren en restauratiebeslissingen te onderbouwen.
De organisatie CyArk, opgericht in 2003, legt wereldwijd bedreigd cultureel erfgoed vast met laserscans en fotogrammetrie, van tempels in Cambodja tot de restanten van de door de Taliban vernielde Boeddha's van Bamiyan in Afghanistan.
Op Mars gebruikt NASA's Perseverance-rover, die in 2021 landde, stereocamera's (Mastcam-Z) om 3D-terreinmodellen van het Marsoppervlak te maken. Daarmee bepalen ingenieurs veilige routes en kunnen wetenschappers de geologie van rotsformaties nauwkeurig bestuderen.
Ook alledaagser: bedrijven als Matterport (opgericht in 2011) maken 3D-rondleidingen van huizen en kantoren voor de vastgoedmarkt, terwijl apps als Polycam en Luma AI het sinds de komst van Gaussian Splatting mogelijk maken dat gewone gebruikers met een smartphone binnen enkele minuten een bruikbaar 3D-model van een object maken.
Hoe ver is de techniek?
Fotogrammetrie en LiDAR-gebaseerde reconstructie zijn inmiddels volwassen technieken die dagelijks professioneel worden ingezet, van archeologie tot bouwkunde. De kwaliteit hangt sterk af van de omstandigheden: goed belichte, textuurrijke, ondoorzichtige objecten reconstrueren goed, terwijl glimmende, doorzichtige of egaal gekleurde oppervlakken (denk aan glas, spiegels of een effen witte muur) nog steeds problemen opleveren omdat de software dan geen unieke punten kan vinden om te matchen.
De op AI gebaseerde methoden zoals NeRF en Gaussian Splatting ontwikkelen zich opvallend snel. Waar een NeRF-model in 2020 nog uren training en minuten per gerenderd beeld kostte, is Gaussian Splatting drie jaar later in staat om scènes in enkele minuten te reconstrueren en in real time (tientallen beelden per seconde) af te spelen op gewone consumentenhardware. Dat tempo van vooruitgang is uitzonderlijk, zelfs voor AI-onderzoek.
Toch blijven er duidelijke beperkingen. De meeste technieken werken het beste met statische scènes; bewegende mensen, wapperende bladeren of veranderend licht verstoren de reconstructie. Ook is er nog geen standaardmanier om zulke modellen direct bruikbaar te maken voor bijvoorbeeld 3D-printen of technische engineering, omdat de output vaak losse puntenwolken of doorschijnende vlekjes zijn in plaats van een nette, waterdichte 3D-vorm. Onderzoekers werken hard aan het combineren van de scherpte van neurale methoden met de bruikbaarheid van klassieke meshes, maar een definitieve, algemeen geaccepteerde oplossing is er nog niet.
Wie werken eraan?
Academisch is het onderzoeksveld sterk verspreid over de wereld, met opvallende rollen voor Europese instituten: het Computer Vision-lab van de ETH Zürich in Zwitserland, onder leiding van onder meer Marc Pollefeys, geldt als een van de meest invloedrijke groepen op het gebied van fotogrammetrie en 3D-reconstructie. Het Franse onderzoeksinstituut Inria bracht in 2023 de invloedrijke publicatie over Gaussian Splatting naar buiten. Ook het Max Planck Institute for Informatics in Duitsland en de TU Delft in Nederland publiceren regelmatig baanbrekend werk op dit terrein.
In de VS zijn UC Berkeley en Google Research nauw verbonden aan de ontwikkeling van NeRF, terwijl techbedrijven als NVIDIA fors investeren in snellere manieren om zulke modellen te trainen en weer te geven (zoals hun Instant NGP-onderzoek). Meta zet 3D-reconstructie in voor toekomstige VR- en AR-toepassingen, en Epic Games nam in 2021 het fotogrammetriebedrijf Capturing Reality over, wat nu verder leeft als RealityScan.
Daarnaast is er een groeiende laag van gespecialiseerde bedrijven gericht op specifieke toepassingen: Matterport voor vastgoed, Luma AI en Polycam voor consumenten-apps, en organisaties als CyArk voor erfgoedbehoud. China, met bedrijven als Baidu en academische centra zoals Tsinghua University, investeert eveneens fors in 3D-reconstructie, vooral met het oog op autonoom rijden en stedelijke digitalisering.