Tokenbudget: hoeveel mag een AI-model 'denken'?
Elke keer dat een chatbot zoals ChatGPT, Claude of Gemini een antwoord geeft, rekent het onderliggende taalmodel niet in woorden of zinnen, maar in kleine tekstbrokjes die tokens heten. Een token is ongeveer drie kwart woord of vier tekens: "toekomst" kan bijvoorbeeld uit twee tokens bestaan, "de" is er één. Een tokenbudget is simpelweg het maximumaantal van die brokjes dat een AI-systeem in of tussen een vraag en antwoord mag gebruiken. Denk aan een taxi die met een vaste hoeveelheid brandstof moet rijden: te weinig budget en de rit stopt voortijdig, te veel en de reis wordt onnodig duur.
Het begrip duikt tegenwoordig in twee betekenissen op. De oudste is praktisch: hoeveel tekst past er in één keer in het "geheugen" van een model (het zogeheten contextvenster), en hoeveel kost dat aan rekenkracht of geld. De nieuwste betekenis, die sinds 2024-2025 veel aandacht krijgt, gaat over redeneertokens: sommige moderne modellen "denken" eerst in stilte voordat ze antwoorden, en ontwikkelaars kunnen instellen hoeveel tokens dat denkproces maximaal mag kosten. Dat tweede type tokenbudget staat centraal in dit artikel, omdat het direct bepaalt hoe grondig, snel en duur een AI-antwoord is.
Wat is het precies?
Een taalmodel zet tekst eerst om in tokens via een proces dat tokenisatie heet. Daarna verwerkt het model die tokens stap voor stap om het volgende token te voorspellen, net zo lang tot er een antwoord staat. Elke stap kost rekentijd op gespecialiseerde chips (GPU's of TPU's), en elke stap wordt door de aanbieder in rekening gebracht: gebruikers betalen doorgaans een bedrag per duizend of miljoen tokens, zowel voor wat ze invoeren als voor wat het model teruggeeft.
Bij klassieke chatbots bestaat het tokenbudget vooral uit twee grenzen: de grootte van het contextvenster (hoeveel tekst het model in totaal kan "onthouden" tijdens één gesprek) en een limiet op de lengte van het antwoord. Bij nieuwere redeneermodellen komt daar een derde laag bij. Modellen als OpenAI's o-serie, Anthropic's Claude met "extended thinking" (uitgebreid denken) en Google's Gemini met "thinking"-functie genereren eerst een interne keten van redeneerstappen — vergelijkbaar met een kladblaadje — voordat ze het uiteindelijke antwoord opschrijven. Die kladtekst bestaat ook uit tokens, en dat zijn precies de tokens waarvoor ontwikkelaars een budget kunnen instellen.
Concreet werkt dat meestal via een instelling in de programmeerinterface (API) van de aanbieder. Bij Anthropic heet die instelling budget_tokens: een ontwikkelaar geeft op hoeveel tokens Claude maximaal mag gebruiken om na te denken voordat het antwoord volgt. Bij OpenAI's o-modellen bestaat een vergelijkbare knop genaamd reasoning effort, met grofweg de standen laag, gemiddeld en hoog. Een hoger budget betekent doorgaans een grondiger, maar trager en duurder antwoord; een lager budget levert een sneller en goedkoper, maar soms minder betrouwbaar antwoord op. Onderzoekers noemen dit ook wel test-time compute: rekenkracht die je pas inzet op het moment dat de vraag wordt gesteld, in plaats van vooraf tijdens de training van het model.
Wat wil men ermee bereiken?
Het draait om een afweging tussen drie dingen: kwaliteit, snelheid en kosten. Zonder enige sturing zou een model bij elke vraag — hoe simpel ook — evenveel kunnen "doorredeneren", wat onnodig traag en duur is voor eenvoudige verzoeken. Met een instelbaar tokenbudget kunnen ontwikkelaars het redeneerniveau afstemmen op de taak: een korte factvraag hoeft niet uitgebreid overdacht te worden, maar een lastig wiskunde- of programmeerprobleem profiteert wél van meer "denktijd".
Er is ook een onderzoeksmatige reden. Uit meerdere experimenten blijkt dat modellen die meer redeneertokens mogen gebruiken, op complexe taken (wiskunde, logica, programmeren) vaak significant beter scoren, tot op zekere hoogte. Door het budget expliciet en schaalbaar te maken, kunnen onderzoekers precies bestuderen hoeveel extra "denktijd" hoeveel extra prestatie oplevert — een principe dat lijkt op hoe mensen soms langer nadenken over een moeilijke som. Tot slot spelen praktische en financiële belangen mee: bedrijven die AI op grote schaal inzetten, willen voorspelbare kosten. Een tokenbudget werkt dan als een soort kostenplafond, vergelijkbaar met een databundel op een mobiel abonnement.
Voorbeelden uit de praktijk
Enkele concrete toepassingen laten zien hoe het concept in de praktijk landt:
- Anthropic Claude 3.7 Sonnet (februari 2025): dit was een van de eerste modellen waarbij ontwikkelaars via de budget_tokens-parameter expliciet konden instellen hoeveel tokens Claude mocht besteden aan "extended thinking" voordat het antwoord volgde, met een directe knop om tussen snel en grondig te schakelen.
- OpenAI's o-serie (o1, sinds september/december 2024, en o3-mini, januari 2025): deze modellen genereren verborgen redeneertokens en bieden via de API een "reasoning effort"-instelling, waarmee ontwikkelaars kiezen tussen een lager of hoger tokenbudget voor het denkproces.
- Google Gemini met "thinking"-functionaliteit (2025): ook Google introduceerde een instelbaar denkbudget, inclusief een optie waarbij het model zelf dynamisch bepaalt hoeveel redeneertokens een vraag nodig heeft in plaats van een vast getal.
- Het onderzoek "s1: Simple test-time scaling" (Muennighoff en collega's, begin 2025): dit academische werk introduceerde het idee van "budget forcing", waarbij onderzoekers een open redeneermodel dwingen om precies een bepaald aantal tokens te gebruiken — soms door het te onderbreken, soms door het te verplichten langer door te gaan — om te meten wat een groter tokenbudget oplevert.
- AI-codeerassistenten zoals GitHub Copilot, Cursor en Claude Code: deze tools moeten voortdurend keuzes maken over welke bestanden, foutmeldingen en gespreksgeschiedenis nog in het beperkte contextvenster passen. Ontwikkelaars van zulke tools bouwen actief technieken (samenvatten, selecteren, wegknippen van oude berichten) om binnen het tokenbudget te blijven zonder relevante informatie te verliezen.
Hoe ver is de techniek?
Het beheren van tokenbudgetten voor contextvensters is inmiddels volwassen: vrijwel elke grote taalmodelaanbieder biedt heldere limieten en prijzen per token, en contextvensters zijn de afgelopen jaren enorm gegroeid, van enkele duizenden tokens naar honderdduizenden en bij sommige Gemini-modellen zelfs richting een miljoen tokens.
Het instelbare redeneer-tokenbudget is daarentegen nog een jong en snel veranderend onderdeel van het vakgebied, met de eerste brede toepassingen in 2024 en 2025. Belangrijke openstaande vragen zijn onder meer: hoeveel extra redeneertokens leveren daadwerkelijk betere antwoorden op (de winst vlakt vaak af na een bepaald punt, en soms leidt te veel "nadenken" zelfs tot slechtere of omslachtige antwoorden), en hoe voorkom je dat gebruikers onnodig veel betalen voor redeneerstappen die niets toevoegen. Ook is er kritiek dat het interne redeneerproces van deze modellen niet altijd overeenkomt met hun uiteindelijke antwoord — het "kladblaadje" is dus geen volledig betrouwbare verklaring van hoe het model tot zijn antwoord kwam. Aanbieders werken nog aan betere manieren om budgetten automatisch te laten meebewegen met de moeilijkheid van een vraag, in plaats van dat een ontwikkelaar dit steeds handmatig moet instellen.
Wie werken eraan?
De belangrijkste spelers zijn de grote Amerikaanse AI-bedrijven: OpenAI (bekend van de o-serie redeneermodellen), Anthropic (met Claude's extended thinking) en Google DeepMind (met Gemini's thinking-functies). Daarnaast is het Chinese bedrijf DeepSeek relevant, dat met zijn open redeneermodellen in 2025 wereldwijd aandacht trok en liet zien dat geavanceerde redeneertechnieken ook buiten de grote Amerikaanse labs ontwikkeld worden. Ook Meta AI en het Franse Mistral AI experimenteren met vormen van test-time compute en redeneeroptimalisatie.
Op onderzoeksgebied dragen universiteiten zoals Stanford (onder meer via het genoemde s1-onderzoek) actief bij aan het academisch begrijpen van tokenbudgetten en test-time compute, vaak in samenwerking met of als reactie op werk van de grote AI-bedrijven. Het onderwerp wordt ook gevolgd door toezichthouders en beleidsmakers, omdat de rekenkracht (en dus het energieverbruik) die nodig is voor uitgebreid "nadenken" door AI-modellen relevant is voor discussies over de duurzaamheid van AI.