Het von Neumann-knelpunt: waarom je computer wacht op zijn eigen geheugen
Stel je een drukke keuken voor met één razendsnelle chef-kok, maar met maar één smal luikje waardoor alle ingrediënten en recepten naar binnen moeten. Hoe hard de kok ook kan hakken, snijden en bakken, hij is voortdurend afhankelijk van de snelheid waarmee dat ene luikje spullen aanvoert. Dat luikje is de bottleneck: niet de kok, maar de doorvoer bepaalt hoe snel er gekookt wordt.
Dit is in essentie het von Neumann-knelpunt, een van de oudste en hardnekkigste problemen in de computertechniek. In vrijwel elke computer, van smartphone tot supercomputer, zitten de rekeneenheid (de processor) en het geheugen (waar data en instructies worden opgeslagen) fysiek gescheiden. Alles wat de processor wil berekenen, moet eerst via een verbinding — een soort digitale snelweg — vanuit het geheugen worden aangevoerd, en de uitkomst moet er weer terug. Naarmate processors sneller worden, groeit die aanvoerweg niet even snel mee. Het resultaat: dure, snelle rekenchips die een deel van hun tijd gewoon staan te wachten op data.
Wat is het precies?
De term komt uit de von Neumann-architectuur, genoemd naar de wiskundige John von Neumann, die in de jaren veertig het basisontwerp beschreef waarop bijna alle computers sindsdien zijn gebaseerd. Kern van dat ontwerp: er is één geheugen waarin zowel de instructies (het programma) als de gegevens (de data waarop wordt gerekend) worden bewaard, en die worden via dezelfde verbinding — de bus — naar de processor gestuurd.
Dat is efficiënt in ontwerp, maar het betekent ook dat processor en geheugen om de beurt gebruikmaken van diezelfde smalle doorgang. Elke keer dat de processor een instructie wil uitvoeren of een getal wil ophalen, moet er een aparte reis naar het geheugen worden gemaakt. Bij eenvoudige taken valt dat nauwelijks op, maar bij taken die enorme hoeveelheden data verwerken — zoals het trainen van kunstmatige intelligentie — wordt dit al snel de beperkende factor.
Het probleem is de afgelopen decennia alleen maar groter geworden. Processors zijn dankzij steeds kleinere transistors exponentieel sneller geworden, een trend die decennialang bekendstond als de wet van Moore. Geheugen — vooral het type geheugen buiten de chip, RAM-geheugen — is in bandbreedte (hoeveel data per seconde kan worden verplaatst) en latentie (hoe lang het duurt voordat data aankomt) veel langzamer meegegroeid. Onderzoekers noemen dit groeiende gat sinds de jaren negentig ook wel de memory wall, de geheugenmuur: een muur die de processor telkens tegenkomt, hoe snel hij zelf ook is.
Wat wil men ermee bereiken?
Het uiteindelijke doel is simpel te omschrijven, ook al is de techniek dat niet: rekenkracht en geheugen dichter bij elkaar brengen, zodat er minder tijd en energie verloren gaat aan het heen-en-weer verplaatsen van data. Dit speelt om twee redenen een steeds grotere rol.
Ten eerste is er de opkomst van kunstmatige intelligentie. Het trainen en gebruiken van neurale netwerken bestaat grotendeels uit het razendsnel verplaatsen en vermenigvuldigen van enorme hoeveelheden getallen. Onderzoek laat zien dat in dit soort AI-workloads een aanzienlijk deel van het energieverbruik van een chip niet naar het rekenen zelf gaat, maar naar het verplaatsen van data tussen geheugen en rekeneenheid. Minder verplaatsen betekent dus sneller én energiezuiniger AI.
Ten tweede speelt energieverbruik in bredere zin een rol. Datacenters gebruiken wereldwijd steeds meer stroom, mede door AI. Elke bit die minder over een bus hoeft te reizen, scheelt letterlijk elektriciteit en warmte. Onderzoekers en bedrijven zoeken daarom naar architecturen die het klassieke, strikt gescheiden model van processor en geheugen doorbreken of ten minste verzachten — zonder de programmeerbaarheid en betrouwbaarheid te verliezen die de von Neumann-architectuur juist zo succesvol hebben gemaakt.
Voorbeelden uit de praktijk
Er bestaan inmiddels verschillende, deels concurrerende benaderingen om het knelpunt te verzachten.
High Bandwidth Memory (HBM) is de meest wijdverspreide, praktische tussenoplossing. Bij HBM worden geheugenchips in lagen op elkaar gestapeld en vlak naast (of zelfs op) de processor geplaatst, verbonden via duizenden korte, brede verbindingen in plaats van één smalle bus. Sinds de introductie van de eerste JEDEC-industriestandaard in de vroege jaren 2010 zit HBM inmiddels in de meeste high-end AI-chips, waaronder de TPU-chips van Google en de grafische AI-chips van Nvidia en AMD. Het lost het knelpunt niet fundamenteel op, maar verbreedt het luikje uit de keukenanalogie flink.
IBM TrueNorth (voorgesteld in 2014) was een van de eerste grootschalige zogeheten neuromorfe chips: een ontwerp dat, geïnspireerd op de menselijke hersenen, geheugen en rekenlogica veel dichter bij elkaar in kleine, verspreide eenheden plaatst in plaats van in één centraal blok.
Intel Loihi en de opvolger Loihi 2 zijn vergelijkbare neuromorfe onderzoekschips van Intel, bedoeld om te experimenteren met zogenoemde spiking neural networks, een reken- en geheugenmodel dat sterk afwijkt van de klassieke von Neumann-opzet.
Samsung's HBM-PIM (Processing-in-Memory), aangekondigd in 2021, gaat een stap verder: er wordt eenvoudige rekenlogica direct in het geheugengeheugen zelf ingebouwd, zodat bepaalde bewerkingen kunnen plaatsvinden zonder dat data eerst helemaal naar de processor hoeft te reizen.
Het Franse bedrijf UPMEM volgt een vergelijkbare filosofie met commercieel verkrijgbare DRAM-geheugenmodules die kleine rekeneenheden bevatten, gericht op data-intensieve toepassingen zoals genoomanalyse en zoekmachines.
Ook chipontwerpers als Cerebras (met zijn zeer grote Wafer-Scale Engine-chips) en Graphcore (met zijn Intelligence Processing Unit) pakken het probleem anders aan: door enorm veel snel geheugen dicht bij of zelfs op dezelfde chip als de rekenkernen te plaatsen, wordt de afstand tot het geheugen sterk verkleind, al blijft de onderliggende von Neumann-logica grotendeels intact.
Hoe ver is de techniek?
De verschillende oplossingsrichtingen bevinden zich in duidelijk verschillende ontwikkelfasen. HBM is inmiddels volwassen technologie: het wordt op grote schaal commercieel toegepast in AI-versnellers en supercomputers, en de vraag ernaar groeit hard door de AI-boom, wat overigens ook tot productietekorten en hoge prijzen heeft geleid.
Processing-in-memory, zoals bij Samsung en UPMEM, is verder dan puur laboratoriumonderzoek maar nog niet mainstream. Er zijn werkende producten, maar softwareondersteuning is beperkt: programmeurs moeten hun code vaak specifiek aanpassen om van deze architecturen te profiteren, wat de brede adoptie afremt.
Neuromorfe chips als TrueNorth en Loihi blijven grotendeels onderzoeksplatforms. Ze laten interessante resultaten zien op het gebied van energie-efficiëntie voor specifieke taken, maar zijn nog niet geschikt als algemene vervanger van klassieke processors. Een fundamentelere richting, waarbij rekenen letterlijk in het geheugenmateriaal zelf gebeurt met zogeheten memristors — componenten die zowel data kunnen opslaan als er analoog mee kunnen rekenen — bevindt zich nog grotendeels in de onderzoeksfase. Belangrijkste obstakels hier zijn de beperkte nauwkeurigheid van analoge berekeningen en de moeilijkheid om deze materialen op grote schaal betrouwbaar te fabriceren.
Kortom: het von Neumann-knelpunt wordt niet in één klap opgelost, maar geleidelijk verzacht via een combinatie van slimmere geheugenverbindingen, gedeeltelijke integratie van rekenlogica in geheugen, en gespecialiseerde chiparchitecturen — elk met eigen afwegingen tussen snelheid, energieverbruik, kosten en programmeergemak.
Wie werken eraan?
Grote chipfabrikanten en geheugenproducenten zoals Samsung, SK Hynix en Micron ontwikkelen zowel HBM als experimentelere geheugen-met-rekenlogica-producten. Intel en IBM hebben eigen onderzoekslijnen naar neuromorfe chips en in-memory computing, met IBM Research als een van de langstlopende spelers op het gebied van memristor-onderzoek.
Daarnaast zijn er gespecialiseerde chipbedrijven als het Amerikaanse Cerebras en het Britse Graphcore, en de Franse start-up UPMEM, die zich volledig richten op alternatieve architecturen. Op onderzoeksgebied spelen universiteiten als Stanford en de ETH Zürich, en instituten als het Belgische chiponderzoekscentrum imec en Amerikaanse nationale laboratoria zoals Sandia National Laboratories, een belangrijke rol in het fundamentele onderzoek naar nieuwe geheugenmaterialen en -architecturen. Ook academische samenwerkingsverbanden gefinancierd door onder meer de Amerikaanse defensie-onderzoeksorganisatie DARPA hebben in het verleden bijgedragen aan neuromorfe chipontwikkeling.