Rekenbudget: hoeveel rekenkracht kost het om een AI te trainen?
Als je weleens hebt gelezen dat een taalmodel als GPT-4 'miljoenen dollars aan rekenkracht' heeft gekost, dan gaat het eigenlijk over het rekenbudget: de hoeveelheid computerrekenkracht die een onderzoeksteam vooraf reserveert om een AI-model te trainen. Net zoals een aannemer een bouwbudget vaststelt voordat hij een huis bouwt — zoveel beton, zoveel arbeidsuren, zoveel geld — stelt een AI-lab vast hoeveel rekentijd op gespecialiseerde chips het zich kan of wil veroorloven voor een nieuw model.
Dat budget bepaalt in grote mate hoe krachtig het uiteindelijke model kan worden. Met een groter rekenbudget kun je een groter model trainen, meer trainingsdata verwerken, of allebei. Maar net als bij een bouwbudget geldt: meer geld garandeert geen beter resultaat als je het verkeerd verdeelt. Een deel van het recente AI-onderzoek gaat dan ook niet over 'meer rekenkracht', maar over de vraag hoe je een gegeven rekenbudget zo slim mogelijk inzet.
Wat is het precies?
Rekenkracht voor AI-training wordt meestal uitgedrukt in FLOPs, een afkorting van 'floating point operations' — simpele rekenkundige bewerkingen zoals optellen en vermenigvuldigen van getallen met decimalen. Eén training kan honderdduizend triljoen triljoen van zulke bewerkingen vergen. Om dat leesbaar te houden, gebruiken onderzoekers machten van tien: 10^23 FLOPs betekent een 1 met 23 nullen aan rekenbewerkingen.
Die FLOPs worden geleverd door gespecialiseerde chips: GPU's (graphics processing units, oorspronkelijk ontwikkeld voor game-graphics maar uitstekend geschikt voor de wiskunde achter AI) en TPU's (tensor processing units, chips die Google zelf ontwierp specifiek voor AI-berekeningen). Een trainingsrun kan duizenden van deze chips wekenlang tegelijk laten rekenen.
Het rekenbudget hangt nauw samen met twee andere grootheden: het aantal parameters van een model (de instelbare 'knoppen' in het neurale netwerk, vaak in de miljarden) en het aantal tokens waarmee het traint (stukjes tekst, ruwweg woorddelen, uit de trainingsdata). Grofweg geldt: rekenbudget ≈ parameters × tokens × een constante. Hoe groter het model of hoe meer data je erdoorheen haalt, hoe meer rekenbudget dat kost.
Een belangrijk keerpunt in het denken hierover was de zogeheten Chinchilla-studie van onderzoekslab DeepMind in 2022. Tot dan toe bouwden labs vooral steeds grotere modellen, zonder evenredig meer trainingsdata te gebruiken. DeepMind liet zien dat dit inefficiënt was: voor een gegeven rekenbudget kun je vaak een beter model krijgen door het kleiner te maken en het juist meer data te voeren. Hun eigen model Chinchilla, met 70 miljard parameters getraind op ongeveer 1,4 biljoen tokens, presteerde beter dan hun eerdere en veel grotere model Gopher, dat 280 miljard parameters had maar slechts op zo'n 300 miljard tokens was getraind — bij een vergelijkbaar totaal rekenbudget. Sindsdien geldt als vuistregel dat modelgrootte en hoeveelheid trainingsdata ongeveer gelijk moeten meeschalen om een rekenbudget optimaal te benutten.
Wat wil men ermee bereiken?
Rekenbudget is om drie redenen een centraal begrip geworden in AI-onderzoek. Ten eerste voorspelbaarheid: onderzoekers hebben zogeheten scaling laws (schaalwetten) ontdekt, wiskundige verbanden waarmee je, als je weet hoeveel rekenbudget je model kreeg, redelijk goed kunt voorspellen hoe goed het zal presteren nog vóór de volledige, dure trainingsrun is afgerond. Dat scheelt kostbare verrassingen achteraf.
Ten tweede kostenbeheersing. Het trainen van de grootste modellen kost inmiddels tientallen tot honderden miljoenen dollars aan chiptijd, stroom en koeling. OpenAI-directeur Sam Altman heeft publiekelijk gezegd dat het trainen van GPT-4 meer dan 100 miljoen dollar heeft gekost. Een rekenbudget vaststellen is dus ook simpelweg financiële planning: hoeveel is een lab bereid te investeren in één trainingsrun, wetende dat mislukking geen tweede kans op datzelfde budget oplevert.
Ten derde, en relatief nieuw: rekenbudget is een beleidsinstrument geworden. Omdat grotere rekenbudgetten samenhangen met krachtigere en potentieel risicovollere modellen, gebruiken overheden FLOP-drempels als praktische manier om te bepalen welke modellen extra toezicht verdienen — zonder dat ze de inhoud van een model hoeven te begrijpen, alleen de hoeveelheid rekenkracht die erin is gestoken.
Voorbeelden uit de praktijk
De groei van rekenbudgetten voor toonaangevende modellen is de afgelopen jaren opvallend snel gegaan. Enkele bekende ijkpunten:
- GPT-3 (OpenAI, 2020): naar schatting ongeveer 3 × 10^23 FLOPs, een van de eerste taalmodellen die op deze schaal werd getraind.
- Gopher en Chinchilla (DeepMind, 2022): twee modellen met een vergelijkbaar rekenbudget maar sterk verschillende verdeling over modelgrootte en trainingsdata, zoals hierboven beschreven — een schoolvoorbeeld van waarom de verdeling van een budget net zo belangrijk is als de omvang ervan.
- PaLM (Google, 2022): 540 miljard parameters, getraind met een rekenbudget in de orde van 2,5 × 10^24 FLOPs, destijds een van de grootste openbaar beschreven trainingsruns.
- GPT-4 (OpenAI, 2023): OpenAI heeft geen officiële cijfers over parameters of FLOPs vrijgegeven, wat op zich al iets zegt over hoe gevoelig rekenbudgetten inmiddels liggen. Onafhankelijke schattingen in de onderzoeksgemeenschap gaan uit van een orde van grootte rond 10^25 FLOPs, maar dit blijft een schatting, geen bevestigd feit.
Dat laatste voorbeeld illustreert een breder patroon: hoe groter en commercieel waardevoller modellen worden, hoe terughoudender bedrijven zijn met het delen van exacte rekenbudgetten.
Hoe ver is de techniek?
Onderzoeksorganisatie Epoch AI, die de geschiedenis van AI-rekenbudgetten bijhoudt, laat zien dat het rekenbudget van de meest geavanceerde modellen sinds ongeveer 2010 grofweg elk jaar met een factor vier tot vijf is toegenomen — een groeitempo dat sneller is dan de klassieke 'Wet van Moore' in de chipindustrie, die verwijst naar de historische verdubbeling van rekenkracht per chip elke ongeveer twee jaar.
Die groei stuit inmiddels op praktische grenzen. Datacenters die AI-modellen trainen, verbruiken enorme hoeveelheden elektriciteit en koelwater, wat vragen oproept over duurzaamheid en over de beschikbaarheid van voldoende energiecapaciteit op de juiste locaties. Daarnaast is er simpelweg schaarste aan de meest geavanceerde AI-chips: productiecapaciteit bij chipfabrikanten is beperkt, en wachttijden voor de nieuwste generaties GPU's kunnen maanden tot jaren bedragen.
Er is ook een geopolitieke dimensie bijgekomen. Sinds 2022, met een verdere aanscherping in 2023, hebben de Verenigde Staten exportcontroles ingesteld die het leveren van de krachtigste AI-chips (zoals Nvidia's A100- en H100-modellen) aan China aan banden leggen. Daarmee is rekenbudget niet alleen een technisch of financieel gegeven, maar ook een onderwerp van internationale handelspolitiek: wie toegang heeft tot de nieuwste chips, kan grotere rekenbudgetten realiseren.
Onzeker blijft of de scaling laws op de lange termijn blijven gelden. Sommige onderzoekers verwachten dat de meeropbrengst van steeds grotere rekenbudgetten op een gegeven moment afneemt — dat een verdubbeling van het budget steeds minder extra prestatie oplevert. Anderen denken dat nieuwe trainingsmethoden of architecturen die grens weer kunnen verleggen. Beide kampen zijn het erover eens dat niemand dit met zekerheid kan voorspellen; het is een actief onderzoeksterrein, geen uitgemaakte zaak.
Wie werken eraan?
De grootste rekenbudgetten worden op dit moment ingezet door een klein aantal bedrijven: OpenAI, Google DeepMind, Anthropic, Meta AI en Microsoft behoren tot de partijen die het meest publiceren over en investeren in grootschalige trainingsruns. Zij zijn tegelijk afhankelijk van chipfabrikanten als Nvidia, dat de meeste gespecialiseerde AI-chips levert, en van producenten zoals TSMC in Taiwan, die deze chips daadwerkelijk fabriceren.
Onafhankelijk onderzoek naar de trends in rekenbudgetten wordt onder meer gedaan door Epoch AI, een onderzoeksorganisatie die publiek toegankelijke datasets bijhoudt over de compute die in bekende AI-modellen is gestoken, en door het AI Index-initiatief van Stanford University, dat jaarlijks een breed overzicht publiceert van ontwikkelingen in de sector.
Op het gebied van regelgeving is de Europese Unie een van de eerste overheden die rekenbudget expliciet als criterium heeft vastgelegd: onder de AI Act gelden voor algemene AI-modellen boven een drempel van 10^25 FLOPs extra verplichtingen, omdat zulke modellen worden geacht een verhoogd systeemrisico te kunnen vormen. In de Verenigde Staten bepaalde een presidentieel decreet over AI van oktober 2023 dat trainingsruns boven 10^26 FLOPs vooraf gemeld moeten worden aan de overheid. Het Amerikaanse NIST (National Institute of Standards and Technology) speelt via zijn AI Safety Institute een rol bij het verder uitwerken van zulke toezichtcriteria.