AI-inferentie: wat gebeurt er als kunstmatige intelligentie écht aan het werk gaat?
Wanneer je een vraag stelt aan een chatbot, je telefoon een gezicht laat herkennen om te ontgrendelen, of een navigatiesysteem een file voorspelt, gebeurt op dat moment iets specifieks: AI-inferentie. Dit is het proces waarbij een kunstmatige-intelligentiemodel dat al getraind is, wordt ingezet om een concrete taak uit te voeren en dus een antwoord, voorspelling of beslissing te leveren. Vergelijk het met een kok die jarenlang recepten heeft geleerd tijdens zijn opleiding (dat is het trainen van het model) en die kennis vervolgens toepast door daadwerkelijk een gerecht voor een klant te bereiden (dat is inferentie: de opgedane kennis gebruiken om een nieuwe, specifieke vraag te beantwoorden).
Het onderscheid tussen trainen en inferentie is belangrijk, omdat het twee heel verschillende fasen zijn met eigen kosten, hardware en uitdagingen. Trainen gebeurt meestal eenmalig, of af en toe opnieuw, en kost enorme rekenkracht gedurende dagen tot weken. Inferentie gebeurt daarna miljarden keren per dag, telkens wanneer iemand of iets het model daadwerkelijk gebruikt. Juist omdat inferentie zo vaak plaatsvindt, zijn de snelheid en het energieverbruik ervan cruciaal geworden: het bepaalt hoe snel een chatbot antwoordt, hoeveel een AI-dienst mag kosten, en hoeveel stroom datacenters wereldwijd verbruiken.
Wat is het precies?
In essentie is inferentie een reeks wiskundige berekeningen die plaatsvindt zodra je invoer aan een AI-model geeft. Bij een taalmodel zoals GPT of Llama verloopt dat ruwweg in een paar stappen.
- Tokenisatie: de invoer (tekst, beeld of geluid) wordt omgezet in getallen die het model kan verwerken, de zogeheten tokens.
- Forward pass: deze getallen worden door de vele rekenlagen van het neurale netwerk gestuurd; elke laag past gewichten toe die tijdens het trainen zijn vastgesteld.
- Output-generatie: bij tekstmodellen gebeurt dit token voor token, waarbij elk volgend woorddeel wordt voorspeld op basis van alles wat eraan voorafging.
- Terugvertaling: de uitkomst wordt omgezet naar iets dat mensen kunnen lezen, zien of horen.
Omdat dit proces miljarden keren per dag herhaald wordt, zijn er technieken ontwikkeld om het sneller en goedkoper te maken. Quantization verkleint de precisie van de getallen waarmee gerekend wordt, waardoor berekeningen sneller verlopen met nauwelijks merkbaar kwaliteitsverlies. Batching houdt in dat meerdere verzoeken tegelijk op dezelfde chip worden verwerkt, wat efficiënter is dan één voor één. Een KV-cache (key-value cache) onthoudt eerder berekende tussenresultaten, zodat het model bij het genereren van het volgende woord niet steeds helemaal opnieuw hoeft te rekenen.
Wat wil men ermee bereiken?
Het belangrijkste doel is snelheid: een lage latency, oftewel een korte tijd tussen vraag en antwoord, zodat een gesprek met een chatbot natuurlijk aanvoelt. Daarnaast draait het om kosten: elke seconde rekentijd op gespecialiseerde chips kost geld, dus lagere kosten per vraag maken AI-diensten betaalbaarder en schaalbaarder naar miljoenen gebruikers.
Een derde doelstelling is het verplaatsen van inferentie naar de zogeheten edge: apparaten zoals smartphones, auto's of slimme camera's, zodat berekeningen lokaal gebeuren zonder internetverbinding. Dit heeft voordelen voor privacy, omdat gevoelige gegevens het apparaat niet hoeven te verlaten, en voor betrouwbaarheid bij een slechte netwerkverbinding. Tot slot is energie-efficiëntie een groeiende drijfveer: AI-inferentie vormt een steeds groter deel van het stroomverbruik van datacenters, waardoor chipontwerpers zoeken naar manieren om meer berekeningen per watt te leveren.
Voorbeelden uit de praktijk
- NVIDIA H100 en Blackwell (2023-2024): deze grafische chips domineren wereldwijd de inferentie- en trainingsmarkt voor grote taalmodellen en worden ingezet door vrijwel elke grote clouddienst.
- Groq LPU (2023-2024): het Amerikaanse bedrijf Groq bouwde een speciaal voor inferentie ontworpen chip (Language Processing Unit) die opviel door extreem snelle tekstgeneratie bij open modellen zoals Llama, aanzienlijk sneller dan reguliere GPU's op dat moment.
- Google TPU v5e en Trillium (2023-2024): Google's eigen Tensor Processing Units zijn geoptimaliseerd voor inferentie en draaien onder meer achter Google Search, Gemini en klanten van Google Cloud.
- Apple Intelligence op de Neural Engine (2024): Apple introduceerde AI-functies die grotendeels lokaal op de chip van de iPhone en Mac draaien, wat een voorbeeld is van edge-inferentie met de nadruk op privacy.
- Cerebras CS-3 Wafer Scale Engine (2024): deze fabrikant bouwt de fysiek grootste chip ter wereld en claimde in 2024 snelheidsrecords voor inferentie van open taalmodellen door de enorme hoeveelheid geheugen dicht bij de rekenkernen te plaatsen.
Hoe ver is de techniek?
Sinds de lancering van ChatGPT in november 2022 is de vraag naar inferentiecapaciteit explosief gegroeid, wat een golf van investeringen in gespecialiseerde chips en datacenters heeft veroorzaakt. Volgens diverse marktanalyses zijn de kosten per verwerkte token de afgelopen jaren fors gedaald, al lopen exacte percentages sterk uiteen per aanbieder en zijn ze lastig onafhankelijk te verifiëren. Het non-profitconsortium MLCommons houdt met de MLPerf-benchmarks bij hoe snel verschillende chips en systemen presteren op gestandaardiseerde inferentietaken, wat vergelijking tussen fabrikanten mogelijk maakt.
Toch blijven er serieuze obstakels. Een bekend knelpunt is de zogeheten geheugenmuur: rekenkernen worden sneller, maar het verplaatsen van data tussen geheugen en processor vormt vaak de echte bottleneck. Daarnaast botst de groeiende vraag naar rekenkracht met de beschikbare elektriciteitscapaciteit; sommige datacenterprojecten in de Verenigde Staten en Europa worden inmiddels vertraagd door beperkingen in het stroomnet. Geopolitieke spanningen spelen eveneens een rol, met Amerikaanse exportbeperkingen op geavanceerde chips richting China. Om inferentie goedkoper te maken experimenteren onderzoekers met architecturen als mixture-of-experts, waarbij een model per vraag maar een deel van zijn totale netwerk activeert in plaats van alles, wat rekenwerk bespaart zonder al te veel kwaliteit te verliezen.
Wie werken eraan?
NVIDIA is met zijn GPU's en het CUDA-softwareplatform momenteel de dominante speler in zowel training als inferentie. Google zet eigen TPU-chips in voor zijn Gemini-modellen en clouddiensten, terwijl Microsoft nauw samenwerkt met OpenAI en fors investeert in eigen datacentercapaciteit. Meta ontwikkelt naast zijn open Llama-modellen ook een eigen inferentiechip, de MTIA, en Amazon biedt via AWS de zelfontworpen Inferentia- en Trainium-chips aan. Gespecialiseerde chipstartups zoals Groq, Cerebras en SambaNova richten zich vrijwel volledig op het sneller en goedkoper maken van inferentie. Apple concentreert zich op efficiënte on-device chips voor consumentenapparaten.
Op landenniveau blijven de Verenigde Staten toonaangevend in zowel chipontwerp als cloudinfrastructuur. Taiwan speelt via chipfabrikant TSMC een cruciale rol, omdat vrijwel alle bovengenoemde bedrijven daar hun geavanceerde chips laten produceren. China investeert zwaar in eigen AI-chips via bedrijven als Huawei, Alibaba en Baidu, maar wordt daarbij gehinderd door Amerikaanse exportbeperkingen op de meest geavanceerde productietechnologie. De Europese Unie loopt achter in chipontwerp voor AI, maar richt zich vooral op regulering via de AI Act. Het genoemde MLCommons fungeert als internationaal, bedrijfsonafhankelijk platform waar veel van deze partijen samen benchmarks vaststellen.