Bewegingstracking: hoe machines leren zien hoe wij bewegen
Bewegingstracking is de technologie waarmee de positie en beweging van een lichaam, lichaamsdeel of voorwerp nauwkeurig wordt gemeten en omgezet in digitale gegevens. Denk aan een marionettenspeler: elke beweging van zijn handen wordt via touwtjes direct doorgegeven aan de pop op het podium. Bewegingstracking doet iets vergelijkbaars, maar dan zonder touwtjes: camera's, sensoren of beide volgen je bewegingen en sturen die informatie razendsnel door naar een computer, die er een digitaal skelet, een animatie of een analyse van maakt.
De technologie zit tegenwoordig overal, vaak zonder dat we het doorhebben. De stappenteller in je telefoon, de handbewegingen die een virtual-realitybril herkent, de slow-motion herhaling waarin een scheidsrechter een buitenspelmoment beoordeelt, en de spectaculaire digitale personages in Hollywoodfilms leunen allemaal op vormen van bewegingstracking. Wat ooit dure labapparatuur was voor wetenschappers, zit nu in consumentenproducten van een paar honderd euro.
Wat is het precies?
In de kern komt bewegingstracking neer op het volgen van punten op een lichaam of object door de tijd heen, en die punten omzetten in bruikbare data. Er zijn grofweg drie technieken, die vaak ook gecombineerd worden.
De eerste is optische tracking: een of meerdere camera's filmen een persoon, soms met kleine reflecterende bolletjes (markers) op het lichaam bevestigd. Software herkent die markers op elk camerabeeld en berekent, door de beelden van meerdere camera's te combineren, waar elk punt zich in de driedimensionale ruimte bevindt. Steeds vaker gebeurt dit ook zonder markers: kunstmatige intelligentie herkent lichaamsdelen direct in gewone videobeelden. Dit heet markerless of pose estimation (houdingsherkenning).
De tweede techniek is inertiële tracking. Hierbij draagt iemand een pak met kleine sensoren, zogeheten IMU's (inertial measurement units). Zo'n sensor combineert een versnellingsmeter en een gyroscoop en meet daarmee hoe een lichaamsdeel versnelt en draait. Door die metingen van tientallen sensoren op het lichaam bij elkaar op te tellen, reconstrueert software de volledige beweging, zonder dat er camera's nodig zijn.
De derde, minder gangbare, methode is magnetische tracking, waarbij een zender een magnetisch veld opwekt en sensoren op het lichaam bepalen waar ze zich daarin bevinden. Dit werkt goed zonder dat camera's vrij zicht nodig hebben, maar is gevoelig voor metalen voorwerpen in de buurt.
Wat de methode ook is, het resultaat is meestal een digitaal skelet: een set gewrichten (schouder, elleboog, heup, knie) die met elkaar verbonden zijn, net als bij een echt lichaam. Dat skelet kan een virtuele acteur aansturen, maar ook worden geanalyseerd om te zien hoe iemand loopt, springt of tilt.
Wat wil men ermee bereiken?
De doelen achter bewegingstracking lopen sterk uiteen. In de entertainmentindustrie gaat het om realisme: animators willen dat digitale personages bewegen zoals echte acteurs, met alle subtiliteit van spierspanning en gewicht die daarbij hoort, zonder dat elke beweging met de hand hoeft te worden getekend.
In sport en revalidatie draait het om meten en verbeteren. Trainers willen weten hoe een sprinter zijn voeten neerzet of hoe een werper zijn arm beweegt, om blessures te voorkomen en prestaties te optimaliseren. Fysiotherapeuten gebruiken dezelfde technieken om te volgen of een patiënt na een beroerte of operatie weer normaal leert lopen.
In virtual en augmented reality is het doel vooral overtuiging: hoe beter een headset je handen, hoofd en blik volgt, hoe geloofwaardiger de virtuele wereld aanvoelt. In de robotica bestudeert men menselijke beweging juist om robots menselijker te laten bewegen, of om ze te trainen op basis van hoe mensen taken uitvoeren.
Daarnaast speelt bewegingstracking een rol in veiligheid en toezicht, bijvoorbeeld om vallen bij ouderen te detecteren, en in sportarbitrage, waar het menselijk oog simpelweg te traag is om te zien of een bal net wel of net niet over de lijn ging.
Voorbeelden uit de praktijk
Een van de bekendste vroege mijlpalen is de rol van Gollum in The Lord of the Rings: The Two Towers (2002). Acteur Andy Serkis droeg een pak met markers waarmee zijn bewegingen en gezichtsexpressies werden vastgelegd; animatiestudio Weta Digital gebruikte die data om het personage tot leven te brengen. Regisseur James Cameron ging in Avatar (2009) nog een stap verder met uitgebreide gezichts- en lichaamscaptatie voor een hele cast tegelijk.
Het Nederlandse bedrijf Xsens, opgericht in Enschede, ontwikkelde pakken met IMU-sensoren (het MVN-systeem) waarmee bewegingen zonder camera's kunnen worden vastgelegd, wat handig is buiten een studio, bijvoorbeeld op een filmset in de buitenlucht of in een fabriekshal. Het bedrijf werd in 2018 overgenomen door het Amerikaanse FLIR Systems en valt sindsdien, na verdere bedrijfsovernames in de sector, onder het beursgenoteerde moederbedrijf Movella.
In de sport is Hawk-Eye een bekend voorbeeld: een systeem van meerdere hogesnelheidscamera's dat sinds ongeveer 2006 wordt gebruikt om te bepalen of een tennisbal binnen de lijnen landde, en dat ook in cricket wordt ingezet. Sony nam het Britse bedrijf achter Hawk-Eye in 2011 over. In het voetbal maakt de VAR (Video Assistant Referee), sinds het WK 2018 in gebruik op het hoogste niveau, gebruik van vergelijkbare trackingtechnieken, aangevuld met semi-automatische buitenspeltechnologie die sinds het WK 2022 in Qatar wordt toegepast en met sensoren in de bal en tracking van spelerslimbs een buitenspelpositie binnen enkele seconden kan vaststellen.
In ziekenhuizen en revalidatiecentra gebruiken bewegingswetenschappers optische systemen, bijvoorbeeld van het Britse bedrijf Vicon, om de manier waarop patiënten met Parkinson of na een beroerte lopen in detail te analyseren en behandelplannen bij te stellen.
Hoe ver is de techniek?
Professionele, markergebaseerde optische systemen zoals die van Vicon en het Amerikaanse OptiTrack bestaan al sinds de jaren tachtig en negentig en zijn inmiddels zeer nauwkeurig, tot op de millimeter. Ze worden veel gebruikt in onderzoekslabs, filmstudio's en topsportcentra, maar vereisen een vaste opstelling met meerdere camera's, zorgvuldige kalibratie en een aanzienlijke investering, al snel tienduizenden euro's.
De grootste ontwikkeling van de afgelopen jaren zit in markerless tracking op basis van kunstmatige intelligentie. Sinds de doorbraak van deep learning halverwege de jaren 2010 kunnen algoritmes, zoals OpenPose (ontwikkeld aan Carnegie Mellon University, gepubliceerd rond 2017) en Google's MediaPipe, lichaamshoudingen herkennen in gewone videobeelden, zelfs die van een smartphonecamera. Dit maakt bewegingstracking veel toegankelijker, al is de nauwkeurigheid doorgaans nog niet gelijk aan die van professionele markersystemen.
Belangrijke obstakels blijven bestaan. Optische systemen hebben last van occlusie: als een lichaamsdeel tijdelijk buiten beeld raakt doordat iets ervoor staat, gaat er informatie verloren. Inertiële sensorpakken hebben dat probleem niet, maar kampen met drift, een geleidelijke opeenstapeling van kleine meetfouten die na verloop van tijd tot afwijkingen leidt en periodieke herkalibratie vereist. Ook rekenkracht en verlichting spelen een rol: real-time tracking in wisselende lichtomstandigheden blijft lastiger dan in een gecontroleerde studio.
In consumentenelektronica is de vooruitgang goed zichtbaar. Waar de Microsoft Kinect uit 2010 nog externe camera's nodig had om spelers in de woonkamer te volgen, herkennen moderne VR-brillen zoals de Meta Quest-serie handen en vingers direct met de camera's die al in de bril zitten, zogeheten inside-out tracking, zonder extra apparatuur. Sommige headsets, zoals de Meta Quest Pro en de Sony PlayStation VR2, voegen daar ook eye-tracking aan toe: het volgen van oogbewegingen, onder meer om het beeld scherper te renderen precies waar iemand naar kijkt.
Wie werken eraan?
In Nederland is Xsens, onderdeel van Movella, een van de bekendste namen op het gebied van inertiële bewegingstracking. Op onderzoeksgebied houden bewegingswetenschappers aan onder meer de TU Delft en de Radboud Universiteit zich bezig met biomechanica en het meten van menselijke beweging.
Internationaal zijn Vicon (Oxford, Verenigd Koninkrijk) en OptiTrack, van het Amerikaanse NaturalPoint, toonaangevend in optische motion capture voor film, game-ontwikkeling en wetenschappelijk onderzoek. Het Zweedse Qualisys is actief in vergelijkbare, vooral wetenschappelijke en medische toepassingen.
Op het gebied van consumententechnologie investeren grote techbedrijven als Meta, Apple, Microsoft en Sony fors in bewegings- en oogtracking voor hun VR- en AR-producten. In de sportwereld is Hawk-Eye Innovations, sinds 2011 in handen van Sony, de belangrijkste speler achter lijn- en baltracking bij tennis, cricket en voetbal. Onderzoeksgroepen aan universiteiten als Carnegie Mellon en Stanford in de Verenigde Staten hebben met open-source software zoals OpenPose een grote rol gespeeld in de opmars van markerless, AI-gedreven bewegingstracking.