Spraak-naar-spraakmodel: hoe AI leert praten zonder eerst te 'typen'

Stel je een tolk voor die niet eerst opschrijft wat je zegt om het daarna voor te lezen in een andere taal, maar die je stem direct beluistert en er ononderbroken, met dezelfde toon en emotie, in spraak op reageert. Dat is in essentie wat een spraak-naar-spraakmodel doet: een kunstmatige-intelligentiesysteem dat gesproken taal als invoer neemt en er rechtstreeks gesproken taal mee beantwoordt, zonder dat er ergens tussenin een geschreven tekst wordt gemaakt.

Dat klinkt misschien als een detail, maar het is een fundamentele verschuiving. De meeste spraakassistenten die we nu kennen — van Siri tot slimme speakers — werken in drie aparte stappen: eerst wordt je stem omgezet naar tekst, dan bedenkt een taalmodel een tekstueel antwoord, en tot slot wordt die tekst weer omgezet naar spraak. Bij elke overstap gaat informatie verloren: een zucht, een lachje, een trillende stem van verdriet of een nadruk op één woord verdwijnt zodra alles tot platte tekst wordt herleid. Een spraak-naar-spraakmodel probeert die omweg te vermijden en rechtstreeks van geluid naar geluid te werken.

Wat is het precies?

Om te begrijpen waarom dit lastig is, moet je eerst de klassieke aanpak kennen. Die bestaat uit drie losse onderdelen die na elkaar worden doorlopen. Eerst is er automatische spraakherkenning, vaak afgekort als ASR (Automatic Speech Recognition): software die audio omzet in geschreven tekst. Vervolgens verwerkt een taalmodel — zoals de modellen achter ChatGPT — die tekst en formuleert een antwoord, eveneens als tekst. Ten slotte zet een tekst-naar-spraaksysteem (TTS, Text-to-Speech) dat antwoord weer om in een gesproken stem. Dit heet een 'cascade' of keten, omdat de drie modellen na elkaar worden aangeroepen.

Het probleem met zo'n keten is tweeledig. Ten eerste kost elke stap tijd, waardoor er vaak een merkbare stilte valt voordat een spraakassistent antwoordt — iets wat een gesprek tussen mensen nooit heeft. Ten tweede is tekst een schraal tussenstation: het bevat geen informatie over toonhoogte, spreeksnelheid, aarzeling of emotie. Als je huilend zegt 'het gaat wel', ziet de tekstlaag alleen die drie woorden, niet het verdriet erachter.

Een spraak-naar-spraakmodel slaat de tekststap grotendeels of helemaal over. Dat wordt technisch mogelijk gemaakt door geluid om te zetten in een reeks discrete 'tokens', vergelijkbaar met hoe een taalmodel tekst opdeelt in woorddelen. Dit gebeurt met een zogeheten neurale audiocodec: een AI-systeem dat een geluidsgolf comprimeert tot een korte rij getallen (tokens) en die later weer kan terugvertalen naar geluid. Voorbeelden van zulke codecs zijn SoundStream en EnCodec, ontwikkeld door respectievelijk Google en Meta. Zodra spraak op deze manier in tokens is gevat, kan een taalmodel — hetzelfde type systeem dat ook tekst voorspelt — leren om op een reeks 'geluidstokens' te reageren met een nieuwe reeks geluidstokens, zonder ooit door tekst heen te gaan.

In de praktijk combineren de nieuwste systemen vaak beide werelden: ze trainen op enorme hoeveelheden tekst én audio tegelijk, zodat het model taalkennis behoudt maar ook direct met klank kan werken. Sommige modellen luisteren en spreken bovendien tegelijkertijd, in plaats van om beurten — dit heet 'full duplex', naar analogie met een telefoonlijn waarop beide partijen tegelijk kunnen praten. Dat maakt het mogelijk dat een AI je onderbreekt of zelf onderbroken kan worden, net als in een echt gesprek.

Wat wil men ermee bereiken?

De belangrijkste drijfveer is snelheid: onderzoek naar menselijke gesprekken laat zien dat mensen elkaar doorgaans binnen een paar honderd milliseconden antwoorden. Een cascade-systeem heeft door zijn drie opeenvolgende stappen al snel een paar seconden nodig, wat een gesprek stroef en onnatuurlijk laat aanvoelen. Door de omweg via tekst te schrappen, hopen ontwikkelaars dichter bij die menselijke reactietijd te komen.

Een tweede doel is het behouden van de rijkdom van gesproken taal. Emotie, nadruk, sarcasme, een korte lach of een zucht van opluchting: dit zijn zogeheten paralinguïstische signalen, informatie die niet in de woorden zelf zit maar in de manier waarop ze worden uitgesproken. Een spraak-naar-spraakmodel kan die signalen in principe meenemen, zowel bij het 'begrijpen' van de gebruiker als bij het genereren van een antwoord dat zelf ook emotie kan uitdrukken.

Daarnaast hoopt men fouten te verminderen die ontstaan doordat spraakherkenning soms woorden verkeerd verstaat, waardoor de fout zich door de hele keten voortplant. Een end-to-end-systeem (van begin tot eind in één model) kan in theorie zulke tussenliggende fouten vermijden. Toepassingen die men voor ogen heeft zijn onder meer natuurlijkere spraakassistenten, realtime tolken tussen talen, toegankelijkheidshulpmiddelen voor mensen met een spraak- of gehoorbeperking, en klantenservice-bots die minder mechanisch aanvoelen.

Voorbeelden uit de praktijk

De 'Advanced Voice Mode' van GPT-4o, het model dat OpenAI in mei 2024 aankondigde, is het bekendste voorbeeld. OpenAI presenteerde het als een model dat audio, tekst en beeld in één netwerk verwerkt, waardoor spraakgesprekken merkbaar vlotter en met meer intonatie verlopen dan bij eerdere spraakassistenten. OpenAI heeft niet volledig in detail openbaar gemaakt hoe intern tekst wordt gebruikt, dus of het proces voor honderd procent 'tekstvrij' verloopt, is niet met zekerheid te zeggen.

Een opvallend open voorbeeld is Moshi, gepresenteerd in 2024 door het Franse onderzoekslab Kyutai. Moshi is bewust als full-duplex-systeem gebouwd: het luistert en genereert tegelijk spraak, met een eigen neurale audiocodec (Mimi) om geluid in tokens om te zetten. Kyutai maakte delen van het onderzoek en de modelgewichten publiek, wat zeldzaam is in dit veld en onafhankelijke evaluatie mogelijk maakt.

Google publiceerde in 2022 AudioLM, een vroeg onderzoeksmodel dat liet zien dat je met discrete audiotokens geloofwaardige spraak- en zelfs muziekvervolgen kunt genereren. Een jaar later volgde AudioPaLM (2023), dat tekst- en spraaktokens combineerde in één model en onder meer werd ingezet voor spraak-naar-spraakvertaling: iemand spreekt in de ene taal, het model antwoordt of vertaalt direct in gesproken vorm in een andere taal.

Ook Google's Project Astra, gedemonstreerd in 2024 als onderdeel van de Gemini-modellen, wijst in deze richting: een assistent die live meekijkt en -luistert en vloeiend, met weinig vertraging, terugpraat. Meta heeft met onderzoeksprojecten zoals SpiritLM eveneens gepubliceerd over taalmodellen die tekst en spraak door elkaar verwerken. Microsoft's VALL-E (2023) verdient een kanttekening: dat model blinkt vooral uit in tekst-naar-spraak met stemkloon op basis van een korte audiosample, en is dus niet hetzelfde als een spraak-naar-spraak-dialoogmodel, ook al gebruikt het verwante technieken (audiotokens).

Hoe ver is de techniek?

Het veld is jong en beweegt snel: de meeste genoemde doorbraken dateren van 2022 tot 2024. Toch is spraak-naar-spraaktechnologie nog geen uitontwikkelde, foutloze technologie. Systemen kunnen nog altijd 'hallucineren', dat wil zeggen dingen zeggen die nergens op gebaseerd zijn, en de kwaliteit van meertalige ondersteuning loopt sterk uiteen: grote talen als Engels werken doorgaans veel beter dan kleinere talen zoals Nederlands.

Een praktisch obstakel is het gebrek aan trainingsdata. Voor tekst bestaat er enorm veel materiaal op het internet, maar opnamen van natuurlijke, ongescripte gesprekken in audiovorm, liefst nog met transcripties en meerdere sprekers, zijn veel schaarser. Onderzoekers proberen dit te ondervangen met synthetische data en slimme hertraining van bestaande taalmodellen, maar de datahonger van deze systemen blijft een reëel knelpunt.

Ook is er een spanningsveld tussen snelheid en kwaliteit: modellen die zeer snel reageren, leveren soms iets mindere spraakkwaliteit dan langzamere cascade-systemen die stap voor stap worden geoptimaliseerd. En omdat deze modellen stemmen realistisch kunnen nabootsen, brengt de technologie ook een reëel misbruikrisico met zich mee, zoals het namaken van iemands stem voor oplichting of desinformatie (zogeheten voice cloning of audio-deepfakes). Bedrijven proberen dit tegen te gaan met watermerken en gebruiksbeperkingen, maar een sluitende oplossing bestaat nog niet.

Wie werken eraan?

Koplopers in de Verenigde Staten zijn OpenAI (GPT-4o), Google DeepMind (AudioLM, AudioPaLM, Gemini/Project Astra) en Meta AI (onder meer EnCodec en onderzoek zoals SpiritLM), aangevuld met Microsoft, dat vooral op de tekst-naar-spraakkant actief is met VALL-E. In Europa is het Franse Kyutai, een non-profit onderzoekslab opgericht door voormalige onderzoekers van Google DeepMind en Meta, een opvallende speler dankzij zijn relatief open aanpak met Moshi. Daarnaast dragen universiteiten en academische onderzoeksgroepen wereldwijd bij aan de onderliggende technieken, vaak gepubliceerd via het open preprint-platform arXiv, en investeren ook Chinese techbedrijven zoals Alibaba en ByteDance in vergelijkbare spraaktechnologie, al is daarover in het Westen minder gedetailleerde informatie beschikbaar.

Verder lezen

• Kyutai — onderzoekslab achter Moshi, met publicaties en modelgewichten
• OpenAI — ontwikkelaar van GPT-4o en de Advanced Voice Mode
• Google DeepMind — onderzoek naar AudioLM, AudioPaLM en Gemini
• Meta AI — publicaties over neurale audiocodecs en spraaktaalmodellen
• arXiv — open archief waar de meeste onderliggende onderzoekspapers gratis te lezen zijn