Universele tokenruimte: één taal voor tekst, beeld en geluid in kunstmatige intelligentie
Stel je een vertaalmachine voor die niet alleen tussen Nederlands en Engels vertaalt, maar tussen alle mogelijke soorten informatie: woorden, foto's, muziek, video en zelfs bewegingen van een robotarm. Een universele tokenruimte is precies dat: een gedeelde, wiskundige 'taal' waarin heel verschillende soorten data worden omgezet in dezelfde soort bouwstenen, zogeheten tokens. Zodra alles in die ene vorm gegoten is, kan één en hetzelfde AI-model ermee rekenen, ongeacht of de oorspronkelijke data een zin, een schilderij of een geluidsfragment was.
Een token is te vergelijken met een Lego-blokje: een klein, genummerd stukje waarmee een groter geheel wordt opgebouwd. Bij tekst kennen we dit al langer — een zin wordt opgeknipt in stukjes woorden die het model als getallen verwerkt. Het nieuwe idee achter een universele tokenruimte is dat ook beeld, geluid en video in vergelijkbare blokjes worden geknipt, uit dezelfde of een sterk verwante 'doos' blokjes. Daardoor hoeft een AI-systeem niet langer per medium een apart brein te hebben, maar kan één model leren lezen, kijken en luisteren tegelijk.
Wat is het precies?
Bij klassieke taalmodellen, zoals de eerste versies van ChatGPT, wordt tekst opgedeeld met een techniek die tokenisatie heet. Een zin als 'de kat slaapt' wordt bijvoorbeeld opgesplitst in stukjes als 'de', 'kat' en 'slaapt', en elk stukje krijgt een uniek nummer uit een vaste woordenlijst (het 'vocabulaire'). Het model rekent vervolgens alleen nog met die nummers, niet met de letters zelf.
Beelden en geluid zijn van nature continu: een foto bestaat uit miljoenen kleurwaarden die geleidelijk in elkaar overlopen, zonder natuurlijke 'woordgrenzen'. Om zulke data toch in tokens te knippen, gebruiken onderzoekers technieken zoals VQ-VAE en VQGAN (afkortingen voor Vector Quantized Variational Autoencoder en het daarop voortbouwende VQGAN). Simpel gezegd: een neuraal netwerk leert een beperkt 'codeboek' van een paar duizend typische beeldpatronen — vergelijkbaar met een verfdoos met een vast aantal kleuren. Elk stukje van een afbeelding wordt vervangen door het dichtstbijzijnde patroon uit dat codeboek, en dat patroon krijgt een tokennummer. Zo ontstaat een rijtje getallen dat een foto beschrijft, net zoals een rijtje getallen een zin beschrijft.
Het 'universele' zit hem erin dat onderzoekers deze tekst-tokens en beeld- of geluidstokens in dezelfde nummerreeks en hetzelfde model combineren, of in elk geval in nummerreeksen die door dezelfde onderliggende architectuur worden verwerkt. Een model kan dan bijvoorbeeld een zin lezen, gevolgd door beeldtokens, en daaruit weer nieuwe tekst- of beeldtokens voorspellen — alsof het één doorlopend verhaal is, ongeacht of de 'woorden' in dat verhaal letters, pixels of geluidsgolven vertegenwoordigen.
Wat wil men ermee bereiken?
De belangrijkste drijfveer is eenvoud en overdraagbaarheid van kennis. Zonder universele tokenruimte moet je voor tekst, beeld, geluid en video losse modellen bouwen die vervolgens aan elkaar geknoopt worden — met alle haperingen en informatieverlies van dien. Met een gedeelde tokenruimte kan in principe één model, met één trainingsproces, leren om al die vormen te begrijpen en te combineren.
Dat maakt nieuwe toepassingen mogelijk die voor losse modellen lastig zijn: een vraag stellen over een foto en een antwoord in gesproken taal terugkrijgen, of een tekstbeschrijving direct omzetten in een korte video. Ook hoopt men dat kennis die het model opdoet bij tekst — bijvoorbeeld logisch redeneren — deels 'overslaat' naar beeld en geluid, omdat alles via dezelfde interne representatie loopt.
Een derde motivatie is efficiëntie: één groot, gedeeld model trainen kan op termijn goedkoper zijn dan tientallen gespecialiseerde modellen onderhouden. Het is overigens geen doel op zich om alles universeel te maken; gespecialiseerde modellen presteren op specifieke taken nog vaak beter. Een universele tokenruimte is vooral een technisch hulpmiddel, geen garantie voor betere resultaten.
Voorbeelden uit de praktijk
Verschillende onderzoeksgroepen hebben de afgelopen jaren systemen gebouwd die op dit principe steunen:
- Gato (DeepMind, 2022) was een vroeg voorbeeld: één transformer-model dat tekst, afbeeldingen én besturingsopdrachten voor een robotarm allemaal als tokenreeksen leerde, met wisselend succes per taak.
- Unified-IO en de opvolger Unified-IO 2 (Allen Institute for AI, respectievelijk 2022 en 2023) probeerden taal, beeld, geluid én actie-tokens in één vocabulaire onder te brengen, met als doel een echt 'generalistisch' model.
- Chameleon (Meta, 2024) mengt tekst- en beeldtokens al vanaf de basis van het model (zogeheten 'early fusion'), in plaats van tekst en beeld pas laat in het proces samen te voegen zoals eerdere systemen deden.
- VideoPoet (Google, 2023-2024) gebruikt een gedeelde tokenaanpak om uit tekst, beeld of geluid nieuwe videofragmenten te genereren, inclusief bijpassend geluid.
- Grote assistenten zoals GPT-4o van OpenAI (2024) en Gemini van Google DeepMind worden door hun makers omschreven als 'nativief multimodaal': getraind op tekst, beeld en audio door elkaar, in plaats van als los aan elkaar geplakte tekst-, beeld- en spraakmodellen. De precieze interne architectuur van deze commerciële systemen is niet volledig openbaar gemaakt, dus in hoeverre zij een strikt 'universele' tokenruimte gebruiken, is van buitenaf niet met zekerheid te zeggen.
Hoe ver is de techniek?
Universele tokenruimtes zijn geen afgerond product maar een actief onderzoeksveld, nog volop in ontwikkeling. De onderliggende bouwstenen — tokenisatie van tekst en de VQ-VAE/VQGAN-technieken voor beeld — zijn intussen aardig volwassen en breed gebruikt. Het combineren van al die tokensoorten in één samenhangend, goed presterend model blijkt echter lastiger dan het idee doet vermoeden.
Een bekend obstakel is dat tekst, beeld en geluid heel verschillende hoeveelheden informatie per token bevatten: één woordtoken draagt meestal meer betekenis dan één beeldtoken, wat trainingsprocessen uit balans kan brengen. Ook is de hoeveelheid beschikbare gekoppelde data (bijvoorbeeld video mét bijpassend transcript en geluid) veel kleiner dan de enorme hoeveelheden tekst op internet, waardoor multimodale modellen relatief 'data-arm' blijven vergeleken met taalmodellen.
Verder verliezen technieken als VQ-VAE onvermijdelijk detail: een foto persen in een paar honderd discrete tokens gaat ten koste van fijne nuances, wat zich kan uiten in wazige of licht foutieve details bij gegenereerde beelden. Onderzoekers experimenteren daarom ook met hybride benaderingen, waarbij niet alles strikt discreet wordt getokeniseerd. Kortom: het principe werkt aantoonbaar, maar we zitten in de fase van steeds betere prototypes, niet van een uitgekristalliseerde standaardtechniek.
Wie werken eraan?
Het onderzoek wordt vooral gedreven door grote techbedrijven met eigen AI-labs: Google DeepMind, Meta AI (met werk als Chameleon en eerdere multimodale modellen) en OpenAI in de Verenigde Staten lopen voorop met commerciële systemen. Daarnaast speelt het Allen Institute for AI (AI2) in Seattle, een non-profitinstituut, een belangrijke rol met open-onderzoeksmodellen zoals Unified-IO, die inzicht geven in de onderliggende techniek zonder de geheimhouding van commerciële labs.
Ook universiteiten dragen bij aan de theoretische basis, onder meer op het gebied van vector-kwantisatie en representatieleren. Het merendeel van de grootschalige experimenten vindt plaats in de Verenigde Staten, met aanvullend onderzoek in Europa (onder meer bij Meta's Europese AI-vestigingen) en groeiende activiteit bij Chinese techbedrijven en universiteiten, al zijn daarover in het Westen minder gedetailleerde technische publicaties beschikbaar.