Full-duplex audio: tegelijk spreken en luisteren
Bel je iemand op, dan kunnen jullie allebei tegelijk praten. Je kunt de ander onderbreken, een instemmend "mm-hmm" laten horen terwijl hij nog aan het woord is, of gewoon doorpraten als jullie stemmen elkaar even overlappen. Dat lijkt vanzelfsprekend, maar technisch gezien is het dat niet: het vereist dat geluid in twee richtingen tegelijk kan reizen. Dat heet full-duplex audio, tegenover half-duplex, zoals bij een walkietalkie: daar moet je "over" zeggen en je knop loslaten voordat de ander kan antwoorden, want er kan maar één stem tegelijk door de verbinding.
Jarenlang was full-duplex vooral een stukje techniek onder de motorkap van telefoons, modems en geluidskaarten. De laatste tijd duikt de term echter steeds vaker op in een heel andere context: kunstmatige intelligentie. Spraakassistenten zoals Siri of de klassieke Google Assistent werken namelijk nog grotendeels half-duplex: ze luisteren, wachten tot je uitgesproken bent, denken na en antwoorden dan pas. Onderbreek je ze, dan raken ze in de war. Onderzoekers en techbedrijven proberen dat nu te veranderen, zodat een gesprek met een AI meer aanvoelt als een gesprek met een mens: vloeiend, onderbreekbaar en met natuurlijke overlap.
Wat is het precies?
In de telecommunicatie kent men drie basisvormen. Bij simplex gaat geluid maar één kant op, zoals bij een radio-uitzending. Bij half-duplex kunnen beide partijen zenden en ontvangen, maar niet tegelijk: de walkietalkie is het schoolvoorbeeld. Bij full-duplex ten slotte lopen beide geluidsstromen gelijktijdig en onafhankelijk van elkaar, zoals bij een gewoon telefoongesprek of een moderne video-call. Dat vraagt om twee aparte kanalen, of om slimme techniek die één kanaal zo verdeelt dat het niet opvalt.
Bij kunstmatige intelligentie ligt de uitdaging ergens anders. Een klassieke spraakassistent is eigenlijk een keten van drie losse systemen: eerst zet spraakherkenning (speech-to-text) jouw stem om in tekst, dan verwerkt een taalmodel die tekst en bedenkt een antwoord, en ten slotte zet een spraaksynthesizer (text-to-speech) dat antwoord weer om in geluid. Die stappen gebeuren na elkaar, pas nadat jij klaar bent met praten. Dat werkt, maar voelt star aan: geen ruimte om te onderbreken, geen reactie op een korte "ja" van jouw kant terwijl de assistent nog spreekt.
Een echt full-duplex AI-systeem probeert die keten te doorbreken. In plaats van drie aparte stappen na elkaar, verwerkt één model voortdurend twee audiostromen tegelijk: wat jij zegt (of stil bent) en wat het systeem zelf produceert. Het model "luistert" en "spreekt" als het ware in dezelfde ademtocht, en kan op elk moment beslissen om te stoppen, door te gaan, of net te beginnen — precies zoals mensen intuïtief aanvoelen wanneer ze het woord kunnen nemen. Dat vergt extreem lage vertraging (latency): reageert een systeem pas na een seconde of meer, dan voelt een gesprek meteen onnatuurlijk traag aan. Onderzoekers mikken op reactietijden van pakweg 200 milliseconden, vergelijkbaar met de pauzes die mensen onderling laten vallen.
Wat wil men ermee bereiken?
Het uiteindelijke doel is simpel te omschrijven, ook al is het technisch lastig: een gesprek met een computer moet aanvoelen als een gesprek met een mens, niet als het indienen van een verzoek en wachten op een reactie. Geen ongemakkelijke stiltes, geen "ik ben uitgesproken, nu is het jouw beurt"-gevoel, maar een vloeiende uitwisseling waarin je elkaar kunt onderbreken, aanvullen of bijsturen.
Dat heeft praktische voordelen. Voor klantenservice-bots betekent het dat een gebruiker niet hoeft te wachten tot een bot een hele zin heeft afgerond voordat hij kan zeggen "nee, dat bedoelde ik niet". Voor mensen die moeite hebben met typen — door een beperking, drukte, of simpelweg omdat praten sneller gaat — is een AI die net zo natuurlijk reageert als een mens een grote stap richting toegankelijkere technologie. Ook in toepassingen als taalonderwijs, gezelschap voor ouderen, of hulpmiddelen voor slechtzienden wordt gehoopt dat vloeiendere spraakinteractie drempels wegneemt. Los van AI blijft full-duplex-techniek trouwens ook gewoon de ruggengraat van telefonie en internetbellen (VoIP): zonder gelijktijdige tweerichtingsverbindingen zou elk telefoontje aanvoelen als een portofoongesprek.
Voorbeelden uit de praktijk
Het meest expliciete voorbeeld is Moshi, een spraakmodel van het Franse onderzoekslab Kyutai, gepresenteerd in de zomer van 2024. Kyutai, opgericht in Parijs met steun van ondernemers als Xavier Niel en gefinancierd om onafhankelijk, open AI-onderzoek te doen, noemde Moshi expliciet een "full-duplex spoken dialogue model": het systeem verwerkt inkomende en uitgaande spraak als twee parallelle audiostromen binnen hetzelfde neurale netwerk, gebouwd op een taalmodel (Helium) gecombineerd met een audio-codec (Mimi) die spraak comprimeert tot compacte tokens. Kyutai maakte de reactietijd en de broncode grotendeels openbaar, wat onderzoekers elders in staat stelde het systeem te bestuderen en na te bouwen.
Ook OpenAI bewoog in dezelfde richting met de Advanced Voice Mode van GPT-4o, aangekondigd in mei 2024 en later dat jaar geleidelijk uitgerold naar gebruikers van ChatGPT. Het systeem kan tijdens het spreken onderbroken worden en reageert merkbaar sneller dan eerdere spraakassistenten, al heeft OpenAI weinig technische details vrijgegeven over hoe "full-duplex" de onderliggende architectuur precies is.
Google DeepMind toonde in mei 2024 op zijn ontwikkelaarsconferentie I/O een prototype genaamd Project Astra: een experimentele, universele assistent die doorlopend beeld en geluid verwerkt en daarop reageert, met als expliciet doel natuurlijkere, minder onderbroken interactie.
Daarnaast bestaat er al decennia praktijkervaring met full-duplex audio in een minder spectaculaire, maar minstens zo invloedrijke vorm: gewone telefonie en, sinds de jaren negentig, full-duplex geluidskaarten in computers. Die laatste maakten het voor het eerst mogelijk om tegelijk op te nemen en af te spelen, een randvoorwaarde voor internetbellen via diensten als Skype.
Hoe ver is de techniek?
Full-duplex telefonie is uitontwikkelde, decennia oude techniek zonder noemenswaardige beperkingen. Full-duplex audio in AI-gesprekssystemen is daarentegen nog een jong en snel bewegend onderzoeksveld, met de eerste werkende demonstraties pas sinds 2024.
De huidige systemen zijn indrukwekkend als demo, maar nog beperkt. Moshi van Kyutai draait op een relatief compact taalmodel, kleiner dan de grootste commerciële taalmodellen, wat de gesprekskwaliteit en kennis van het systeem begrenst; het model onderbreekt bovendien soms op momenten die niet logisch aanvoelen, en ondersteunt in de eerste versie niet alle talen even goed. GPT-4o's spraakmodus is krachtiger in inhoud, maar is een gesloten, commercieel product waarvan buitenstaanders niet precies kunnen nagaan hoe "echt" full-duplex de verwerking onder de motorkap is.
De belangrijkste obstakels zijn technisch én evaluatief. Continu twee audiostromen tegelijk verwerken kost veel rekenkracht, en er is een lastige afweging tussen snelheid en kwaliteit: hoe sneller een systeem moet reageren, hoe minder tijd het heeft om een goed doordacht antwoord te vormen. Daarnaast is er nog geen gangbare, algemeen aanvaarde manier om te meten hoe "natuurlijk" het beurtgedrag van zo'n systeem aanvoelt — iets waar taalkundig onderzoek naar beurtwisseling (turn-taking) in menselijke gesprekken al langer mee worstelt. Ten slotte moeten deze systemen nog bewijzen dat ze robuust werken in rumoerige omgevingen, met meerdere sprekers, of in talen buiten het Engels en Frans waarin de eerste modellen vooral getraind zijn.
Wie werken eraan?
Naast Kyutai (Parijs, Frankrijk), dat zich profileert als onafhankelijk, non-profit onderzoekslab met Moshi als open-source vlaggenschip, investeren de grote Amerikaanse AI-bedrijven fors in dit terrein. OpenAI ontwikkelt de spraakmogelijkheden van GPT-4o verder, Google DeepMind werkt aan Project Astra als onderdeel van zijn bredere Gemini-modellenfamilie, en ook Meta doet onderzoek naar spraak-naar-spraakmodellen die tekst als tussenstap overslaan.
Op academisch vlak dragen universitaire onderzoeksgroepen bij aan de fundamentele kennis over beurtwisseling in gesprekken, bijvoorbeeld via zogeheten "voice activity projection"-modellen die proberen te voorspellen wanneer een spreker bijna klaar is. Onderzoekers aan onder meer het Zweedse KTH Royal Institute of Technology hebben op dit gebied gepubliceerd. Verder blijft telefonie- en netwerkstandaardisatie, van oudsher het domein van instanties als de Internationale Telecommunicatie Unie (ITU), de basis leggen waarop deze nieuwere AI-toepassingen voortbouwen.