Tokenefficiëntie: waarom elk woordje van een AI-model geld en energie kost
Als je met een AI-chatbot praat, verwerkt het systeem je vraag niet woord voor woord, maar in kleine brokjes die tokens heten. Een token kan een heel woord zijn, maar ook een stukje van een woord of een leesteken. Stel je een tolk voor die per gesproken lettergreep betaald wordt: hoe korter en efficiënter iemand zich uitdrukt, hoe minder de tolk hoeft te verwerken en hoe sneller en goedkoper het gesprek verloopt. Zo werkt het ook bij taalmodellen zoals ChatGPT, Claude of Gemini: elk token dat wordt gelezen of geschreven, kost rekenkracht, tijd, geld en elektriciteit.
Tokenefficiëntie is het streven om met zo min mogelijk van die rekenkracht per token, of met zo min mogelijk tokens in totaal, hetzelfde resultaat te bereiken. Vergelijk het met een zuinige auto: die legt dezelfde afstand af, maar verbruikt minder brandstof. Bij AI-modellen gaat het net zo goed om minder rekenkracht per antwoord, wat de kosten voor bedrijven drukt, chatbots sneller laat reageren en het energieverbruik van datacenters beperkt.
Wat is het precies?
Voordat een taalmodel een tekst kan lezen, wordt die eerst opgeknipt in tokens door een tokenizer. Het woord "vriendschap" kan bijvoorbeeld uiteenvallen in de tokens "vriend" en "schap". Hoe efficiënter die opdeling, hoe minder tokens er nodig zijn om dezelfde informatie over te brengen, en dus hoe minder rekenwerk het model hoeft te doen.
Eenmaal binnen, verwerkt het model elk token met een technisch mechanisme dat attention heet: voor elk nieuw token vergelijkt het model dat met alle voorgaande tokens om te bepalen welke daarvan relevant zijn. Dat wordt duurder naarmate een gesprek langer wordt, want elk nieuw token moet met steeds meer eerdere tokens vergeleken worden. Om dat te versnellen, houden modellen een soort geheugen bij van eerder berekende informatie, de KV-cache (key-value cache); die cache kan echter zelf ook weer veel geheugen innemen.
Onderzoekers pakken dit probleem op verschillende manieren aan. Quantisatie slaat de interne getallen van een model op met minder precisie, bijvoorbeeld met 4 bits in plaats van 16 bits per getal, wat geheugen en rekentijd bespaart tegen een klein kwaliteitsverlies. Kennisdistillatie traint een klein, snel model om het gedrag van een groot model na te bootsen. Pruning snijdt overbodige verbindingen uit een getraind model weg, vergelijkbaar met het snoeien van een boom. Bij mixture-of-experts (MoE) bestaat een model uit veel gespecialiseerde deelnetwerken, waarvan er per token maar een paar worden geactiveerd, zodat het model als geheel groot en kundig kan zijn zonder dat elk token het volledige netwerk hoeft te doorlopen. En bij speculative decoding raadt een klein, snel hulpmodel alvast een paar tokens, die het grote model in één keer controleert in plaats van ze stuk voor stuk zelf te genereren.
Wat wil men ermee bereiken?
Het belangrijkste doel is simpel: minder kosten per antwoord. Elke rekenstap op de gespecialiseerde chips die AI-modellen draaien, kost geld, en dat wordt doorberekend aan bedrijven en gebruikers. Wie tokens efficiënter verwerkt, kan dezelfde dienst goedkoper aanbieden of, bij gelijke kosten, een krachtiger model inzetten.
Daarnaast speelt snelheid mee. Een chatbot die met vertraging antwoordt, voelt traag en onprettig aan. Efficiëntere verwerking per token betekent dat woorden sneller op het scherm verschijnen, wat vooral belangrijk is bij toepassingen als spraakassistenten of live-vertaling, waar wachten simpelweg niet acceptabel is.
Een derde drijfveer is energieverbruik. De datacenters die AI-modellen draaien, vragen aanzienlijke hoeveelheden elektriciteit en koelwater. Tokenefficiëntere modellen verminderen die belasting per gestelde vraag, al blijft het totale energieverbruik van de sector groeien doordat het gebruik van AI wereldwijd sneller toeneemt dan de efficiëntiewinst.
Tot slot maakt efficiëntie krachtige AI toegankelijker. Een model dat minder geheugen en rekenkracht nodig heeft, kan draaien op een laptop, telefoon of goedkopere server in plaats van alleen in een groot datacenter. Dat opent deuren voor onderzoekers, kleine bedrijven en landen met beperktere budgetten, en het maakt lokale verwerking mogelijk waarbij gevoelige gegevens niet naar externe servers hoeven.
Voorbeelden uit de praktijk
Het Franse bedrijf Mistral AI bracht in december 2023 Mixtral 8x7B uit, een model met acht gespecialiseerde deelnetwerken waarvan er per token slechts twee worden geactiveerd. Zo combineert het model de kennis van een groot netwerk met de rekenlast van een veel kleiner model.
Onderzoeker Tri Dao en collega's van Stanford University publiceerden in 2022 FlashAttention, een algoritme dat de attention-berekening herschrijft zodat die veel minder geheugenverkeer nodig heeft, zonder dat de uitkomst verandert. Het algoritme is inmiddels in vrijwel alle grote taalmodellen verwerkt en wordt gezien als een van de belangrijkste efficiëntiedoorbraken van de afgelopen jaren.
Het Chinese bedrijf DeepSeek introduceerde in 2024 met de modellen DeepSeek-V2 en DeepSeek-V3 een techniek genaamd Multi-head Latent Attention, die de KV-cache sterk comprimeert door informatie in een compactere wiskundige ruimte op te slaan. Daardoor kon DeepSeek grote modellen trainen en draaien tegen relatief lage kosten, wat destijds internationaal veel aandacht trok.
Onderzoekers van UC Berkeley brachten in 2023 vLLM uit, een opensourceprogramma voor het draaien van taalmodellen dat KV-cache-geheugen beheert volgens een principe dat lijkt op geheugenpaginering in besturingssystemen. Het project wordt inmiddels breed gebruikt door bedrijven en onderzoeksinstellingen die zelf modellen hosten.
OpenAI presenteerde in mei 2024 GPT-4o als een sneller en goedkoper model dan zijn voorganger GPT-4 Turbo, mede dankzij een efficiëntere architectuur en verwerking van tekst, beeld en geluid binnen één model in plaats van losse gekoppelde systemen.
Hoe ver is de techniek?
De vooruitgang gaat hard. Onafhankelijke analyses lieten de afgelopen jaren zien dat de kosten om een bepaald taalbegrip-niveau te bereiken, met een factor van tientallen per jaar daalden, deels dankzij tokenefficiëntere modellen en deels dankzij snellere, gespecialiseerde chips. Tegelijk groeit de vraag naar AI zo snel dat het totale energie- en rekenverbruik van de sector desondanks blijft stijgen.
Er bestaan ook duidelijke afruilen. Sommige efficiëntietechnieken, zoals agressieve quantisatie of pruning, kunnen de nauwkeurigheid van een model meetbaar verslechteren, vooral bij complexe redeneertaken. Onderzoekers zoeken voortdurend naar de balans tussen snelheid, kosten en kwaliteit, en die balans verschuift per toepassing: een simpele klantenservicebot kan met een sterk gecomprimeerd model prima uit de voeten, terwijl een model dat wiskundige bewijzen moet controleren minder ruimte heeft om in te leveren.
Een ander obstakel is dat efficiëntiewinst vaak hardware-specifiek is: een truc die perfect werkt op de chips van één fabrikant, levert elders soms weinig op. Bovendien is het veld zo snel in beweging dat vergelijkingen tussen modellen en technieken lastig actueel te houden zijn; wat vandaag de stand van zaken is, kan over enkele maanden alweer achterhaald zijn door een nieuwe methode of een nieuwe generatie chips.
Wie werken eraan?
Vrijwel alle grote AI-bedrijven investeren in tokenefficiëntie, omdat het direct hun kosten en concurrentiepositie raakt. In de Verenigde Staten werken OpenAI, Google DeepMind, Meta AI en Anthropic eraan, elk met eigen architecturen en optimalisaties. Chipmaker NVIDIA levert niet alleen de hardware waarop de meeste modellen draaien, maar ontwikkelt ook software om die hardware efficiënter te benutten. Gespecialiseerde chipbedrijven als Groq en Cerebras bouwen processoren die specifiek zijn ontworpen om taalmodellen sneller en zuiniger te laten reageren dan algemene grafische chips dat doen.
Buiten de VS is Frankrijk met Mistral AI een belangrijke speler op het gebied van compacte, efficiënte modelarchitecturen zoals mixture-of-experts. China heeft met bedrijven als DeepSeek en Alibaba de afgelopen jaren nadrukkelijk ingezet op efficiëntie, mede omdat de toegang tot de nieuwste Amerikaanse chips door exportbeperkingen niet vanzelfsprekend is. Academische instellingen zoals Stanford University en UC Berkeley leveren fundamenteel onderzoek dat later in commerciële producten terechtkomt, zoals FlashAttention en vLLM. Ook de Europese Unie investeert, via onder meer publieke rekencentra, in onderzoek naar zuinigere en soevereine AI-infrastructuur.