Spiking neuraal netwerk
Stel je voor dat je met iemand communiceert via morse-code in plaats van een telefoongesprek: geen constante stroom van geluid, maar korte signalen op specifieke momenten. Precies zo werken de neuronen in je hersenen. Ze wisselen geen doorlopende stroom van informatie uit, maar sturen elkaar korte elektrische pulsjes, spikes genoemd, op specifieke tijdstippen. Een spiking neuraal netwerk (SNN) is een type kunstmatig neuraal netwerk dat deze manier van communiceren nabootst, in plaats van de gladde, continue signalen die de meeste huidige AI-systemen gebruiken.
Het verschil klinkt technisch, maar heeft grote gevolgen. De neurale netwerken achter bijvoorbeeld chatbots of gezichtsherkenning op je telefoon rekenen voortdurend met getallen: elke neuron ontvangt een waarde, vermenigvuldigt die met een gewicht, telt alles op en geeft er een nieuw getal aan door. Dat gebeurt in strakke, synchrone stappen, laag voor laag. Een spiking netwerk werkt anders: neuronen 'laden' zich langzaam op tot een bepaalde drempel en vuren dan pas, op een moment dat past bij de informatie die ze verwerken - net als een emmer die pas overloopt als hij vol genoeg is. Zolang er niets gebeurt, hoeft er ook niets berekend te worden. Dat maakt het principe in potentie veel zuiniger met energie, en dat is precies waarom onderzoekers en chipfabrikanten er al decennia mee experimenteren.
Wat is het precies?
In een gewoon kunstmatig neuraal netwerk stuurt elke neuron een getal door, bijvoorbeeld 0,73. In een spiking neuraal netwerk stuurt een neuron alleen een simpel signaal: er is een spike, of er is geen spike. Informatie zit dus niet in de grootte van een getal, maar in het moment waarop en hoe vaak een spike verstuurd wordt.
Om dat te laten werken heeft elke kunstmatige neuron een soort geheugen: het membraanpotentiaal, vernoemd naar het celmembraan van een echte hersencel. Dit is een getal dat oploopt naarmate er inkomende spikes binnenkomen, en langzaam wegzakt ('lekt') als er even niets gebeurt. Zodra dit potentiaal een ingestelde drempelwaarde overschrijdt, 'vuurt' de neuron: hij stuurt zelf een spike naar de volgende neuronen en zijn eigen potentiaal valt terug naar nul. Dit model heet het leaky integrate-and-fire-model (LIF), lek-optel-en-vuur-model, en is de meest gebruikte bouwsteen van spiking netwerken. Na het vuren volgt vaak een korte refractaire periode, een soort hersteltijd waarin de neuron even niet opnieuw kan vuren - ook dat is rechtstreeks geleend van biologie.
Omdat tijd zo'n centrale rol speelt, moet informatie eerst worden omgezet in spike-patronen voordat een SNN ermee kan rekenen. Een veelgebruikte methode is rate coding: hoe hoger de waarde die je wilt weergeven, hoe meer spikes er in een bepaald tijdsvenster worden afgevuurd. Een verfijndere en zuinigere methode is temporal coding, waarbij juist het precieze tijdstip van één spike de informatie draagt. Dat laatste lijkt sterker op hoe het echte brein waarschijnlijk werkt, maar is ook lastiger te trainen.
Trainen is sowieso de grootste technische horde. De succesvolle trainingsmethode van gewone neurale netwerken, backpropagation, steunt op wiskundige afgeleiden - en een spike is een abrupte aan/uit-gebeurtenis, dus wiskundig gezien niet 'glad' genoeg om een afgeleide van te nemen. Onderzoekers lossen dit meestal op met surrogate gradients: tijdens het trainen doen ze alsof de spike-functie een soepele kromme is, zodat de bekende trainingswiskunde toch bruikbaar blijft. Een andere, meer biologisch geïnspireerde aanpak is spike-timing-dependent plasticity (STDP), een leerregel die de verbinding tussen twee neuronen sterker maakt als de ene neuron kort vóór de andere vuurt, en zwakker als de volgorde omgekeerd is - vergelijkbaar met hoe synapsen in echte hersenen zich aanpassen.
Wat wil men ermee bereiken?
De belangrijkste drijfveer is energie-efficiëntie. Gangbare AI-modellen zijn rekenmachines die continu miljarden vermenigvuldigingen uitvoeren, ook voor delen van een beeld of geluid die niet veranderen. Spiking netwerken rekenen event-driven: een neuron die geen spike ontvangt, hoeft ook niets te berekenen. In een video waarin het grootste deel van het beeld stilstaat, hoeft dus maar een klein deel van het netwerk actief te worden. Op gespecialiseerde chips kan dat het energieverbruik met een factor tien tot honderd verlagen ten opzichte van klassieke neurale netwerken op klassieke chips, afhankelijk van de toepassing.
Een tweede doel is het beter begrijpen van het brein zelf. Omdat SNN's dichter bij de biologie staan, gebruiken neurowetenschappers ze als simulatiemodel om hypotheses over hersenwerking te toetsen - bijvoorbeeld hoe leren, geheugen of aandoeningen als epilepsie op celniveau verlopen.
Een derde motivatie is geschiktheid voor sensoren die zelf al in spikes 'denken'. Zogeheten event-camera's (ook wel dynamic vision sensors) sturen alleen een signaal als de helderheid van een pixel verandert, in plaats van dertig keer per seconde een heel beeld te versturen. Dat past van nature bij een spiking netwerk en maakt gecombineerde systemen extreem snel en zuinig voor taken als bewegingsdetectie.
Tot slot hopen onderzoekers dat spiking netwerken beter overweg kunnen met continue, realtime datastromen - denk aan robotarmen of drones die voortdurend moeten reageren - omdat tijd in dit model geen bijzaak is, maar de kern van hoe informatie wordt weergegeven.
Voorbeelden uit de praktijk
IBM TrueNorth (2014) was een van de eerste grootschalige neuromorfe chips: hardware die specifiek is ontworpen om spiking netwerken efficiënt te draaien. De chip bevatte een miljoen kunstmatige neuronen en verbruikte slechts een fractie van het vermogen van vergelijkbare klassieke processoren.
Intel Loihi (2017) en de opvolger Loihi 2 (2021) zijn onderzoekschips van Intel die worden gebruikt om spiking netwerken te testen op taken als geurherkenning, robotbesturing en optimalisatieproblemen. In 2024 bouwde Intel hiermee Hala Point, naar eigen zeggen het grootste neuromorfe computersysteem ter wereld, met meer dan 1,15 miljard neuronen verdeeld over 1.152 Loihi 2-chips.
SpiNNaker, ontwikkeld aan de University of Manchester onder leiding van Steve Furber (mede-ontwerper van de originele ARM-processor), is een computerplatform met miljoenen kleine processorkernen dat specifiek is gebouwd om grootschalige spiking netwerken in bijna real time te simuleren. Het was een van de kernprojecten van het Europese Human Brain Project en wordt nog altijd gebruikt door neurowetenschappers wereldwijd.
BrainScaleS, ontwikkeld aan de Universiteit Heidelberg, kiest een andere aanpak: in plaats van digitale simulatie gebruikt dit systeem analoge elektronica die het gedrag van echte neuronen fysiek nabootst, en dat duizend keer sneller dan het biologische origineel verloopt.
BrainChip, een Australisch bedrijf, brengt met de Akida-chip een van de weinige commercieel verkrijgbare neuromorfe processoren op de markt, gericht op zuinige AI in bijvoorbeeld camera's en industriële sensoren, om taken als geluids- en beeldherkenning direct op het apparaat uit te voeren zonder cloudverbinding.
Hoe ver is de techniek?
Spiking neurale netwerken zijn wetenschappelijk goed onderbouwd en op laboratoriumschaal bewezen effectief, maar staan qua praktische inzet nog ver af van de klassieke neurale netwerken die achter hedendaagse AI-toepassingen zitten. Het grootste obstakel blijft training: surrogate-gradientmethoden werken, maar zijn minder volwassen en minder goed begrepen dan de decennia geoptimaliseerde backpropagation-toolketen van gewone netwerken. Op complexe taken zoals grote taalmodellen halen SNN's doorgaans nog niet dezelfde nauwkeurigheid.
Ook software en gereedschap lopen achter. Er bestaan inmiddels frameworks zoals Nengo, Brian2, snnTorch en Intels Lava, maar deze zijn minder gestandaardiseerd en minder breed ondersteund dan bijvoorbeeld PyTorch of TensorFlow voor klassieke netwerken. Daarnaast is specialistische neuromorfe hardware nog schaars, duur en vaak beperkt tot onderzoeksinstellingen; er bestaat nog geen dominant, algemeen verkrijgbaar platform zoals dat wel bestaat voor gewone AI-chips (GPU's).
Toch is de vooruitgang meetbaar. Chips als Loihi 2 en systemen als Hala Point tonen dat opschaling naar miljarden neuronen mogelijk is, en toepassingen in combinatie met event-camera's voor bijvoorbeeld drone-navigatie en industriële inspectie zijn inmiddels praktijkrijp genoeg voor pilots. De meeste experts schatten dat brede, mainstream toepassing nog jaren, mogelijk nog een decennium, op zich laat wachten, en vooral afhankelijk is van doorbraken in trainingsmethoden en goedkopere hardware.
Wie werken eraan?
Op chipgebied lopen Intel (Loihi-reeks, VS) en IBM (TrueNorth en opvolgers, VS) voorop, samen met het Australische bedrijf BrainChip (Akida). In Europa zijn de University of Manchester (SpiNNaker) en de Universiteit Heidelberg (BrainScaleS) de belangrijkste academische centra; beide werkten samen binnen het Europese onderzoeksinitiatief Human Brain Project, dat tussen 2013 en 2023 met EU-financiering liep. Ook in China wordt fors geïnvesteerd: onderzoekers van Tsinghua University presenteerden met de Tianjic-chip een hybride systeem dat zowel klassieke als spiking-verwerking ondersteunt. Daarnaast houden universiteiten als Stanford, ETH Zürich en TU Delft zich bezig met zowel de algoritmische kant (trainingsmethoden) als toepassingen in robotica en sensortechniek.