Biotech & leven › Brain-computer interfaces
Brein-implantaat vertaalt spraak én gebaren tegelijk in real time
Amerikaanse onderzoekers hebben een hersenimplantaat ontwikkeld dat voor het eerst tegelijk spraak en lichaamstaal kan vertalen. Het systeem zet hersensignalen binnen enkele seconden om in tekst op een scherm en in bewegingen van een digitale avatar, bedoeld voor mensen met ernstige verlamming.
Mensen communiceren niet alleen met woorden. Een knik, een schouderophalen of een wijzende vinger zeggen vaak net zo veel. Voor mensen met een ernstige verlamming valt die non-verbale laag van communicatie vaak helemaal weg, ook als een brain-computer interface hen al helpt om weer te 'spreken'. Onderzoekers van de University of California, San Francisco (UCSF) hebben nu een implantaat ontwikkeld dat spraak en gebaren voor het eerst gelijktijdig decodeert. De studie is gepubliceerd in Nature Neuroscience.
Eén chip, twee talen
Eerdere hersenimplantaten richtten zich telkens op één functie: ofwel getypte of gesproken tekst, ofwel het besturen van een cursor of robotarm. Volgens onderzoeker Samantha Brosler, promovenda bioengineering aan UCSF, is dat een gemiste kans. "De meeste eerdere studies richtten zich op het herstellen van één van deze functies tegelijk", zegt ze. Het nieuwe systeem moet daarom een stap zijn naar brain-computer interfaces die meer van de expressiviteit van menselijke communicatie kunnen vangen.
De sleutel zit in de plaatsing van het implantaat: een array van 253 elektroden op het oppervlak van de sensorimotorische hersenschors. Dat gebied bestrijkt zowel de hersengebieden die spraak aansturen als die welke lichaamsbewegingen regelen, waardoor één en hetzelfde implantaat beide soorten signalen kan opvangen. Een lastig punt daarbij: de hersenactiviteit tijdens gelijktijdig praten én gebaren maken wijkt net iets af van de activiteit bij spraak of gebaren afzonderlijk. Kunstmatige intelligentie moest daarom leren om die overlappende en subtiel verschillende patronen uit elkaar te houden.
Testen met twee deelnemers
Het team testte de technologie bij twee proefpersonen. De eerste had spraak- en bewegingsproblemen na een beroerte in de hersenstam en werd gevraagd stil vijf zinnen te 'zeggen' en tegelijk te zwaaien, knikken, schudden of klappen. De tweede deelnemer had amyotrofische laterale sclerose (ALS), een spierziekte die geleidelijk spraak en beweging aantast. Hij sprak tien zinnen uit en stelde zich tien gebaren voor, zoals een schouderophalen of een duim omhoog, zonder zijn lichaam te bewegen. Het implantaat registreerde de hersensignalen tijdens spraak, gebaren en combinaties daarvan, zoals het woord 'hallo' gecombineerd met een zwaai. Een neurale decodering-algoritme zette dat vervolgens razendsnel om in tekst op een scherm en in bewegingen van een op maat gemaakte avatar.
Christian Herff, computationeel neurowetenschapper aan de Universiteit Maastricht, noemt de resultaten hoopgevend voor neuroprothesen die ooit in het dagelijks leven bruikbaar worden. Het systeem is nog een proof of concept, getest bij slechts twee mensen, maar toont wel aan dat een enkel implantaat verschillende communicatievormen tegelijk kan ontsluiten in plaats van na elkaar.
Achtergrond & begrippen
Wat betekent dit voor de toekomst? Dit onderzoek laat zien dat één hersenimplantaat straks niet alleen woorden, maar ook lichaamstaal kan teruggeven aan mensen die door verlamming hun stem én bewegingen zijn kwijtgeraakt. Dat maakt communicatie via een motorische BCI rijker en natuurlijker dan de huidige systemen die zich op één functie tegelijk richten.
- Brain-computer interface (BCI)
- Een systeem dat hersensignalen rechtstreeks omzet in besturingscommando's voor een computer, avatar of robotarm.
- Sensorimotorische hersenschors
- Het deel van de hersenen dat zowel bewegingen aanstuurt als lichaamsgevoel verwerkt; hier lagen de 253 elektroden van het implantaat.
- Elektrodearray
- Een rooster van meerdere elektroden dat op of in de hersenen wordt geplaatst om elektrische signalen van zenuwcellen op te vangen.
- Neurale decodering
- Het proces waarbij een computeralgoritme, vaak met kunstmatige intelligentie, hersensignalen 'vertaalt' naar tekst, spraak of beweging.
- Amyotrofische laterale sclerose (ALS)
- Een progressieve spierziekte waarbij zenuwcellen die spieren aansturen afsterven, wat leidt tot verlamming en spraakverlies.
Bronnen
Dit artikel is met behulp van AI geschreven op basis van bovenstaande bronnen en is geen letterlijke vertaling. Zo werkt onze redactie.
