Tokens per watt: de brandstofmeter van kunstmatige intelligentie

Bijgewerkt: 29 augustus 2026 · 6 min leestijd

Elke keer dat je een vraag stelt aan een chatbot zoals ChatGPT, Gemini of Claude, gebeurt er ergens in een datacenter iets fysieks: duizenden computerchips gaan aan het rekenen en verbruiken daarbij elektriciteit. "Tokens per watt" is een maat die uitdrukt hoeveel nuttige tekst een AI-systeem produceert per eenheid stroom die het daarvoor verbruikt. Hoe hoger dit getal, hoe zuiniger het systeem met energie omspringt.

Vergelijk het met de kilometers-per-liter van een auto. Een zuinige auto rijdt verder op dezelfde hoeveelheid brandstof dan een dorstige suv. Zo produceert een efficiënt AI-systeem meer woorden, antwoorden of vertalingen per watt aan stroom dan een minder efficiënt systeem, ook al doen beide uiteindelijk "hetzelfde werk". Naarmate AI-diensten wereldwijd miljarden keren per dag gebruikt worden, telt elke verbetering in die verhouding zwaar door in het totale stroomverbruik.

Wat is het precies?

Om de term te begrijpen, moet je eerst weten wat een token is. Een taalmodel leest en schrijft geen hele woorden, maar knipt tekst op in kleine brokjes: soms een heel woord, soms een stukje van een woord of een leesteken. Zo'n brokje heet een token. Als vuistregel geldt dat één token ongeveer driekwart van een Engels woord beslaat; voor Nederlandse tekst ligt die verhouding vergelijkbaar. Elk antwoord dat een chatbot geeft, bestaat dus uit een reeks tokens die één voor één worden berekend.

Een watt is de standaardeenheid voor vermogen: hoeveel energie iets per seconde verbruikt. Een grafische chip (GPU) die AI-berekeningen uitvoert, kan honderden watts verbruiken zolang hij actief is, vergelijkbaar met een föhn die continu aanstaat.

"Tokens per watt" combineert beide begrippen: je telt hoeveel tokens een systeem in een bepaalde tijd produceert en deelt dat door het vermogen dat het daarvoor nodig had. Preciezer gezegd meet men vaak tokens per joule (de eenheid van energie, oftewel watt vermenigvuldigd met seconden), omdat dat rekening houdt met zowel snelheid als stroomverbruik. Deze meting gebeurt meestal tijdens inferentie: de fase waarin een al getraind model daadwerkelijk antwoorden genereert voor gebruikers, in tegenstelling tot de training, de veel zwaardere leerfase die er eenmalig aan voorafgaat.

De uitkomst hangt af van veel factoren: het type chip, de precisie van de berekeningen (rekenen met minder decimalen, bijvoorbeeld met het formaat FP8 in plaats van FP32, kost minder energie maar kan nauwkeurigheid kosten), de grootte van het model, hoeveel verzoeken tegelijk worden verwerkt (batching) en zelfs hoe efficiënt de koeling van het datacenter is. Die laatste factor wordt vaak apart uitgedrukt in de "Power Usage Effectiveness" (PUE) van een datacenter: hoeveel extra stroom er nodig is voor koeling en infrastructuur bovenop de rekenchips zelf.

Wat wil men ermee bereiken?

De directe aanleiding is simpel: AI kost steeds meer stroom, en die stroom is niet gratis, niet onbeperkt en niet zonder klimaatimpact. Bedrijven die grote taalmodellen aanbieden, betalen elektriciteitsrekeningen die kunnen oplopen tot miljoenen euro's per maand. Een hogere tokens-per-watt-waarde betekent lagere operationele kosten en, in potentie, een kleinere ecologische voetafdruk per gestelde vraag.

Er is ook een hardere, fysieke reden. Datacenters kunnen niet zomaar onbeperkt stroom uit het net trekken: elektriciteitsnetten, transformatorstations en zelfs hele regio's kampen met capaciteitsgrenzen. Als een chip meer tokens per watt levert, kan een datacenter met hetzelfde aangesloten vermogen simpelweg meer AI-diensten leveren. Efficiëntie is dus niet alleen een kostenbesparing, maar ook een manier om binnen de fysieke grenzen van het stroomnet te blijven groeien.

Daarnaast is de metric voor chipfabrikanten een marketinginstrument geworden. In een markt waarin klanten steeds vaker vragen "hoeveel kost dit model per beantwoorde vraag", is tokens per watt een tastbaar getal om mee te concurreren, naast de meer traditionele maatstaf tokens per seconde (pure snelheid, zonder rekening te houden met stroomverbruik).

Voorbeelden uit de praktijk

Een aantal concrete ontwikkelingen illustreert waar dit begrip vandaan komt.

Nvidia Blackwell (2024). Bij de introductie van het Blackwell-platform, waaronder de GB200 NVL72-serverrekken, presenteerde Nvidia dit als een grote sprong in energie-efficiëntie voor het draaien van grote taalmodellen ten opzichte van de voorgaande Hopper-generatie (de H100-chip). Zulke claims zijn afkomstig van de fabrikant zelf, gemeten onder specifieke testomstandigheden, en moeten dus als vendor-claim gelezen worden totdat ze onafhankelijk zijn gereproduceerd.

Google's Tensor Processing Units (TPU's). Google ontwikkelt al sinds 2015 eigen AI-chips speciaal voor zijn eigen datacenters, en presenteert bij elke nieuwe generatie (onder meer TPU v4, v5e, v5p en de in 2024 aangekondigde Trillium-generatie) verbeteringen in rekenkracht per watt als belangrijk verkoopargument, vooral voor de eigen Google Cloud-klanten die taalmodellen draaien.

MLPerf Power (sinds de vroege jaren 2020). De onafhankelijke organisatie MLCommons, een samenwerkingsverband van tientallen techbedrijven en universiteiten, organiseert het MLPerf-benchmarkprogramma. Naast de bekende snelheidsmetingen bestaat er een aparte "Power"-track waarin deelnemende bedrijven ook het daadwerkelijke stroomverbruik van hun systemen laten meten tijdens gestandaardiseerde taken. Dit is een van de weinige pogingen om tokens-per-watt-achtige cijfers onafhankelijk en vergelijkbaar te maken tussen fabrikanten.

Gespecialiseerde inferentiechips. Naast de gevestigde chipmakers zijn er start-ups als Groq en Cerebras die chips ontwerpen die specifiek geoptimaliseerd zijn voor het snel en (naar eigen zeggen) zuinig genereren van tokens, in plaats van chips die zowel training als inferentie moeten kunnen. Hun architecturen wijken sterk af van klassieke GPU's, precies om op dit soort efficiëntiematen te scoren.

Hoe ver is de techniek?

Tokens per watt is, eerlijk gezegd, nog geen volwassen, gestandaardiseerde meeteenheid zoals bijvoorbeeld kilowattuur op een energierekening. Verschillende bedrijven meten het op verschillende manieren: sommige tellen alleen het verbruik van de reken-chip zelf, andere houden ook geheugen, netwerkverbindingen en koeling mee. Dat maakt claims van verschillende fabrikanten lastig één-op-één te vergelijken, en verklaart waarom initiatieven als MLPerf Power juist zo waardevol zijn: ze proberen iedereen dezelfde meetlat te geven.

De onderliggende technologie ontwikkelt zich wel snel, langs meerdere sporen tegelijk. Chipontwerpers brengen steeds specialistischere hardware uit die is toegesneden op de wiskunde achter taalmodellen. Software-ontwikkelaars vinden manieren om modellen te "comprimeren" (bijvoorbeeld via kwantisering, waarbij getallen met minder precisie worden opgeslagen) zonder al te veel kwaliteitsverlies. En onderzoekers ontwikkelen kleinere modellen die met minder rekenwerk toch vergelijkbare antwoorden geven als hun grotere voorgangers.

Een belangrijk obstakel, naast de meetproblematiek, is het zogeheten reboundeffect: ook als elk individueel antwoord zuiniger geproduceerd wordt, kan het totale stroomverbruik van AI toch blijven stijgen, simpelweg omdat het gebruik zo hard groeit dat de efficiëntiewinst wordt ingehaald. Energie-instanties zoals het Internationaal Energieagentschap (IEA) wijzen er daarom op dat efficiëntieverbeteringen op chipniveau niet automatisch betekenen dat het totale elektriciteitsverbruik van datacenters daalt; vaak is eerder het tegenovergestelde het geval.

Wie werken eraan?

Aan de hardwarekant zijn de belangrijkste spelers de grote chipfabrikanten en clouddiensten: Nvidia (marktleider in AI-versnellers), AMD, Google (met zijn TPU's), Amazon (met eigen chips als Trainium en Inferentia voor AWS) en Microsoft (dat eigen AI-chips ontwikkelt voor Azure). Daarnaast zijn er gespecialiseerde start-ups zoals Groq, Cerebras en SambaNova die zich richten op chips die specifiek voor taalmodel-inferentie zijn ontworpen.

Op het gebied van standaardisatie en onafhankelijke metingen speelt MLCommons een sleutelrol, met deelnemende partijen uit zowel de industrie als academische instellingen wereldwijd. Voor de bredere energiecontext publiceren organisaties als het Internationaal Energieagentschap (IEA) periodieke rapporten over het elektriciteitsverbruik van datacenters, en volgt het Stanford Institute for Human-Centered AI via zijn jaarlijkse AI Index Report de trends in rekenkracht, kosten en energiegebruik van AI-systemen. Geografisch ligt het zwaartepunt van deze ontwikkelingen vooral in de Verenigde Staten, met een groeiende rol voor China en de Europese Unie, waar toenemende aandacht is voor de energie-impact van datacenters op nationale stroomnetten.