GPU-fractionering: één grafische chip, meerdere gebruikers
Een moderne GPU (graphics processing unit, oorspronkelijk ontworpen om beeldschermen te vullen met 3D-graphics, tegenwoordig vooral gebruikt voor kunstmatige intelligentie) is een van de duurste onderdelen in een datacenter. Een enkele high-end AI-chip kan tienduizenden euro's kosten. Het probleem: veel taken hebben helemaal niet de volledige rekenkracht van zo'n chip nodig. GPU-fractionering is de verzamelnaam voor technieken waarmee één fysieke GPU wordt opgeknipt in meerdere kleinere, virtuele stukken, die vervolgens los van elkaar aan verschillende gebruikers, programma's of klanten kunnen worden toegewezen.
Vergelijk het met een verhuisbedrijf dat een grote vrachtwagen bezit. Voor een enkele grote verhuizing is de hele laadruimte nodig, maar voor drie kleine studentenkamers is dat verspilling: dan rijdt de wagen voor twee derde leeg rond. Slimmer is het om de laadruimte op te delen in vakken en op één rit drie kleine klussen te combineren. GPU-fractionering doet precies dit met rekenkracht: in plaats van één grote taak krijgen meerdere kleinere taken ieder hun eigen afgebakende stukje van dezelfde chip, tegelijkertijd.
Wat is het precies?
Een GPU bestaat uit duizenden kleine rekenkernen die parallel werken, plus een eigen snel geheugen (VRAM) om gegevens tijdelijk op te slaan. Bij fractionering wordt dit totaalpakket verdeeld. Er bestaan daarvoor verschillende technieken, met uiteenlopende mate van scheiding tussen de gebruikers.
De eenvoudigste vorm is time-slicing (tijd-segmentering): de GPU behandelt meerdere taken om beurten, in razendsnelle beurten van milliseconden, zodat het voor gebruikers lijkt alsof ze gelijktijdig toegang hebben. Er is hier geen echte opdeling van het geheugen; de volledige chip springt steeds van taak naar taak.
Een stap verder is MPS (Multi-Process Service), een techniek van chipfabrikant NVIDIA waarbij meerdere programma's daadwerkelijk gelijktijdig rekenkernen van dezelfde GPU gebruiken, in plaats van om de beurt. Dat is efficiënter, maar de programma's delen nog steeds hetzelfde geheugen en dezelfde foutdomeinen: crasht het ene proces, dan kan dat gevolgen hebben voor het andere.
De meest vergaande vorm is hardwarematige partitionering, waarbij de chip zelf al is ontworpen om in aparte, volledig geïsoleerde stukken te worden opgeknipt. NVIDIA noemt dit MIG (Multi-Instance GPU): elke partitie krijgt een eigen stuk rekenkernen, een eigen stuk geheugen en een eigen geheugenbandbreedte, zodat de partities elkaar niet kunnen beïnvloeden of afluisteren. Voor de software die erop draait, voelt zo'n partitie aan als een volwaardige, eigen GPU.
Daarnaast bestaat vGPU (virtuele GPU): een softwarelaag, meestal onderdeel van virtualisatiesoftware zoals VMware vSphere, die één fysieke GPU verdeelt over meerdere virtuele machines. Dit wordt al langer gebruikt in kantooromgevingen, bijvoorbeeld voor ontwerpers die op afstand met zware CAD-software werken via een virtuele desktop.
Wat wil men ermee bereiken?
Het hoofddoel is simpel: verspilling tegengaan. GPU's voor AI-toepassingen zijn schaars, duur en energie-intensief. Als een taak maar een kwart van de capaciteit van een chip nodig heeft, is het financieel en ecologisch onverstandig om de rest van die chip ongebruikt te laten. Fractionering maakt het mogelijk om meerdere kleine taken op één chip te stapelen, waardoor de bezettingsgraad omhoog gaat en de kosten per taak omlaag.
Voor clouddiensten is er nog een tweede motief: het maakt het mogelijk om rekenkracht in kleinere, betaalbare hoeveelheden te verkopen. Niet elk bedrijf of elke onderzoeker heeft budget voor een hele GPU; met fractionering kan een aanbieder bijvoorbeeld een achtste van een chip verhuren, tegen een evenredig lagere prijs.
Een derde reden is beheersbaarheid in gedeelde omgevingen, zoals bij bedrijven die honderden interne AI-projecten op dezelfde serverpark draaien. Met technieken als MIG kunnen beheerders garanderen dat het ene project niet kan meekijken in het geheugen van het andere, en dat een zwaar project de prestaties van een ander project niet onderuithaalt. Dat is vergelijkbaar met hoe containertechnologie (zoals Docker) dit decennia geleden al deed voor processoren en werkgeheugen, en GPU-fractionering probeert dat idee nu te herhalen voor grafische chips.
Voorbeelden uit de praktijk
NVIDIA introduceerde MIG in 2020 samen met de A100-chip, destijds hun belangrijkste AI-processor. Eén A100 kan worden opgesplitst in maximaal zeven geïsoleerde instanties. Bij de opvolger, de H100 (2022), en latere generaties bleef deze functie behouden en verder verfijnd.
Het Israëlische bedrijf Run:ai, opgericht in 2018, bouwde software die bovenop dit soort hardwarefuncties werkt: het verdeelt GPU-capaciteit automatisch over honderden AI-taken in een Kubernetes-cluster (een populair systeem voor het beheren van software in containers). NVIDIA kondigde in april 2024 aan Run:ai over te nemen; de deal moest daarna nog door mededingingsautoriteiten worden goedgekeurd. Dit laat zien hoe belangrijk GPU-orkestratie inmiddels wordt gevonden door de grootste speler in de markt.
Clouddienst CoreWeave, gespecialiseerd in AI-rekenkracht, gebruikt vergelijkbare planningstechnieken om klanten flexibel toegang te geven tot GPU-capaciteit, van fracties tot volledige clusters van duizenden chips.
In de kantooromgeving gebruiken bedrijven als VMware (onderdeel van Broadcom) NVIDIA's vGPU-technologie al langer om dure grafische workstations te vervangen door virtuele desktops: tientallen medewerkers delen dan een paar fysieke GPU's in het datacenter in plaats van dat iedereen een eigen dure videokaart nodig heeft.
Ook grote cloudplatforms zoals Amazon Web Services, Google Cloud en Microsoft Azure bieden inmiddels instances (virtuele servers) aan met een fractie van een GPU, bedoeld voor kleinere AI-inferentietaken (het daadwerkelijk gebruiken van een al getraind AI-model) waarvoor een volledige chip overkill zou zijn.
Hoe ver is de techniek?
Hardwarematige fractionering via MIG is inmiddels bewezen technologie: sinds 2020 in productie en beschikbaar op meerdere generaties datacenter-GPU's. De software-orkestratie eromheen -- wie krijgt welke fractie, hoe wordt dat gefactureerd, hoe wordt het bewaakt -- staat nog volop in ontwikkeling en verschilt sterk per platform.
Er zijn ook duidelijke beperkingen. MIG is alleen beschikbaar op de duurdere datacenter-chips van NVIDIA, niet op consumentenvideokaarten. Bij time-slicing en MPS is de isolatie tussen taken minder sterk dan bij MIG: een fout of overbelasting in de ene taak kan in theorie de andere taak vertragen of laten crashen, wat deze methoden minder geschikt maakt voor omgevingen waarin klanten elkaar niet mogen kunnen beïnvloeden. Daarnaast is het aantal mogelijke partities beperkt (bij MIG bijvoorbeeld maximaal zeven), waardoor fractionering vooral helpt bij kleinere taken en niet oneindig schaalbaar is.
Een ander obstakel is versnippering: NVIDIA, AMD en Intel gebruiken elk hun eigen aanpak, wat het lastig maakt om beheersoftware te bouwen die overal precies hetzelfde werkt. Voor bedrijven die met meerdere chipmerken werken, betekent dit extra complexiteit. Ook ontbreekt het nog aan brede, merkonafhankelijke standaarden voor het meten en factureren van gedeelde GPU-capaciteit, al werkt de Kubernetes-gemeenschap hier actief aan via device plugins en scheduling-uitbreidingen.
Wie werken eraan?
NVIDIA is met afstand de dominante speler, dankzij MIG, vGPU, de bijbehorende beheersoftware (GPU Operator) en de overname van Run:ai voor de orkestratielaag. AMD biedt met MxGPU een vergelijkbare, op de open SR-IOV-standaard gebaseerde vorm van GPU-virtualisatie voor zijn professionele kaarten. Intel werkt aan eigen virtualisatiefuncties voor zijn Data Center GPU-lijn, al is dat aanbod kleinschaliger dan dat van NVIDIA.
Op softwarevlak speelt de Kubernetes-gemeenschap, onder de paraplu van de Cloud Native Computing Foundation, een centrale rol bij het standaardiseren van hoe GPU's als deelbare bron worden ingepland naast processoren en geheugen. Grote clouddienstverleners zoals Amazon, Google, Microsoft en gespecialiseerde AI-cloudbedrijven zoals CoreWeave passen deze technieken op grote schaal toe in hun datacenters. Onderzoeksinstituten en universiteiten met eigen AI-rekenclusters gebruiken vergelijkbare technieken vooral om hun vaak schaarse GPU-budget eerlijk te verdelen over onderzoeksgroepen.