Rekencapaciteitsbeheer
Stel je een groot ziekenhuis voor met maar een handvol operatiekamers, terwijl tientallen artsen tegelijk een patiënt willen opereren. Iemand moet beslissen wie wanneer aan de beurt is, hoe lang een operatie mag duren en welke ingrepen voorrang krijgen bij spoed. Rekencapaciteitsbeheer is precies dat, maar dan voor computers: het is de praktijk van het slim verdelen van schaarse rekenkracht — processoren, grafische chips en geheugen — over alle taken die daar aanspraak op maken.
Het begrip is de laatste jaren prominent geworden door de explosieve groei van kunstmatige intelligentie (AI). Het trainen van een groot taalmodel kan wekenlang duren op duizenden gespecialiseerde chips tegelijk, en die chips zijn duur, schaars en energieslurpend. Bedrijven, universiteiten en overheden botsen daardoor steeds vaker op een simpele vraag: wie krijgt toegang tot de rekenkracht, en wanneer? Rekencapaciteitsbeheer probeert die vraag systematisch en eerlijk te beantwoorden, in plaats van aan toeval of de macht van de sterkste over te laten.
Wat is het precies?
In de kern draait rekencapaciteitsbeheer om drie stappen die voortdurend worden herhaald. Eerst wordt de vraag in kaart gebracht: welke taken (in vaktaal vaak "workloads" of "jobs" genoemd) moeten worden uitgevoerd, hoeveel rekenkracht hebben ze nodig en hoe urgent zijn ze? Vervolgens wordt gekeken naar het aanbod: hoeveel processoren (CPU's), grafische chips (GPU's, oorspronkelijk ontworpen voor beeldbewerking maar inmiddels het werkpaard van AI) en gespecialiseerde AI-chips zijn er beschikbaar, en waar staan die fysiek — in een eigen datacenter of gehuurd bij een clouddienst zoals Amazon, Microsoft of Google.
De derde stap is de eigenlijke toewijzing, uitgevoerd door software die "scheduler" of "orchestrator" heet. Zo'n programma bepaalt volgens vooraf ingestelde regels welke taak welke chip krijgt en voor hoe lang. Bekende voorbeelden van dit soort software zijn Slurm, veel gebruikt in wetenschappelijke supercomputercentra, en Kubernetes, een systeem dat oorspronkelijk bij Google is ontstaan om duizenden computertaken tegelijk te beheren.
Belangrijke technieken daarbinnen zijn onder meer prioritering (spoedeisende of strategisch belangrijke taken gaan voor), fair-share-scheduling (iedere afdeling of gebruiker krijgt op termijn een eerlijk aandeel, ook als er tijdelijk wachtrijen ontstaan) en virtualisatie: het opknippen van één fysieke chip in meerdere virtuele stukjes, zodat kleinere taken niet hoeven te wachten op een hele dure GPU die ze maar half nodig hebben. Steeds vaker wordt hier ook voorspellende software aan toegevoegd die, op basis van historische patronen, inschat wanneer pieken in de vraag ontstaan — bijvoorbeeld rond de release van een nieuw AI-model — zodat capaciteit daar op tijd op wordt afgestemd.
Wat wil men ermee bereiken?
Het belangrijkste doel is efficiëntie: rekenchips zijn kostbaar in aanschaf en in energieverbruik, en een chip die stilstaat is verspilde investering. Goed beheer zorgt ervoor dat systemen zo veel mogelijk "bezet" blijven zonder dat gebruikers eindeloos moeten wachten.
Daarnaast speelt eerlijkheid en toegang een grote rol. Binnen een universiteit of onderzoeksinstelling kan capaciteitsbeheer voorkomen dat één onderzoeksgroep met veel budget alle rekenkracht opslokt, terwijl kleinere groepen niets overhouden. Op nationaal niveau zien overheden rekenkracht steeds meer als strategische infrastructuur, vergelijkbaar met elektriciteit of glasvezel: wie geen toegang heeft tot voldoende rekenkracht, loopt achter in wetenschap, innovatie en economische ontwikkeling.
Tot slot is er een kostenmotief. Cloudrekenkracht wordt vaak per uur of per seconde afgerekend, dus een organisatie die haar workloads slim plant — bijvoorbeeld goedkopere taken 's nachts laten draaien wanneer de vraag (en dus de prijs) lager is — kan aanzienlijk besparen. Er is ook een duurzaamheidscomponent: minder verspilling van rekenkracht betekent minder onnodig energieverbruik, wat relevant is omdat datacenters een groeiend aandeel van het wereldwijde elektriciteitsverbruik voor hun rekening nemen.
Voorbeelden uit de praktijk
De Finse supercomputer LUMI, gevestigd in Kajaani en sinds 2022 operationeel, is een van de vlaggenschepen van EuroHPC, het gezamenlijke Europese initiatief voor supercomputing. LUMI wordt gedeeld door tientallen Europese landen en onderzoeksgroepen, wat een uitgebreid toewijzingssysteem vereist om rekentijd eerlijk te verdelen tussen nationale quota's en Europese onderzoeksprojecten.
Meta (het moederbedrijf van Facebook en Instagram) bouwde in 2022 de "AI Research SuperCluster", een cluster van duizenden GPU's dat is ingezet voor het trainen van eigen AI-modellen, waaronder latere versies van de LLaMA-taalmodellenfamilie. Interne teams moeten rekentijd op zulke clusters aanvragen en prioriteren, net als bij een supercomputercentrum.
In de Verenigde Staten lanceerde de National Science Foundation begin 2024 de pilot van het National AI Research Resource (NAIRR), een initiatief dat Amerikaanse universiteiten en onderzoekers die zelf geen grote rekenclusters kunnen betalen, toegang geeft tot gedeelde rekenkracht van commerciële en publieke partners.
Ook chipfabrikant Nvidia investeert in dit veld: het bedrijf nam in 2024 het Israëlische softwarebedrijf Run:ai over, dat gespecialiseerd is in het efficiënt verdelen en virtualiseren van GPU-capaciteit binnen bedrijven en datacenters.
Verder werd eind 2023 zichtbaar hoe direct capaciteitsbeheer de gewone gebruiker raakt: OpenAI meldde dat het tijdelijk nieuwe aanmeldingen voor de betaalde ChatGPT Plus-dienst moest pauzeren omdat de beschikbare rekencapaciteit de vraag niet kon bijbenen — een zeldzaam publiek zichtbaar voorbeeld van een capaciteitsprobleem dat normaal achter de schermen wordt opgelost.
Hoe ver is de techniek?
De onderliggende technologie voor rekencapaciteitsbeheer bestaat al decennia; wetenschappelijke supercomputercentra gebruiken al sinds de jaren negentig planningssoftware om rekentijd te verdelen. Wat nieuw is, is de schaal en urgentie waarmee dit nu gebeurt door de AI-boom, en de mate waarin commerciële cloudbedrijven en chipfabrikanten hier eigen, steeds geavanceerdere software voor bouwen.
De grootste ontwikkeling van de afgelopen jaren is de verschuiving van simpele wachtrijsystemen naar dynamische, voorspellende toewijzing die rekening houdt met energieprijzen, chipwarmte, netwerklatency en zelfs geopolitieke beperkingen op chipexport. Tegelijk blijven er stevige obstakels. De vraag naar geavanceerde AI-chips overtreft het aanbod al enkele jaren ruimschoots, mede door beperkte productiecapaciteit bij enkele gespecialiseerde chipfabrikanten. Dat maakt capaciteitsbeheer minder een kwestie van optimaliseren en vaker een kwestie van rantsoeneren.
Ook is er geen universele standaard: elk bedrijf en elk onderzoeksinstituut gebruikt een eigen mix van software, wat vergelijking en samenwerking tussen instellingen bemoeilijkt. Onafhankelijke benchmarks, zoals die van het samenwerkingsverband MLCommons, proberen prestaties van systemen onderling vergelijkbaar te maken, maar een volledig open standaard voor capaciteitstoewijzing bestaat nog niet.
Wie werken eraan?
Chipfabrikant Nvidia speelt een centrale rol, niet alleen als leverancier van GPU's maar ook, sinds de overname van Run:ai, als aanbieder van beheersoftware. Concurrenten als AMD en Intel ontwikkelen vergelijkbare hard- en softwarecombinaties.
De grote clouddienstverleners — Amazon Web Services, Microsoft Azure en Google Cloud — beheren enorme hoeveelheden rekencapaciteit voor externe klanten en hebben daarvoor eigen, deels intern ontwikkelde orchestratiesystemen, zoals Google's Borg, de voorloper van het inmiddels wijdverbreide open-source-systeem Kubernetes.
In de wetenschappelijke wereld coördineert EuroHPC Joint Undertaking, een samenwerkingsverband van de Europese Unie en aangesloten lidstaten, de bouw en toewijzing van Europese supercomputers zoals LUMI en het Italiaanse Leonardo-systeem. Nationale rekencentra, zoals SURF in Nederland, vertalen die Europese afspraken naar concrete toegang voor onderzoekers. In de Verenigde Staten doet de National Science Foundation met de NAIRR-pilot iets vergelijkbaars, terwijl bedrijven als Meta, OpenAI en Anthropic hun eigen interne capaciteitsbeheer steeds verder professionaliseren om hun AI-modellen te kunnen blijven trainen.