Leersnelheid: de knop die bepaalt hoe snel kunstmatige intelligentie leert

Bijgewerkt: 8 september 2026 · 5 min leestijd

Stel je voor dat je in dichte mist een berg afdaalt en het dal moet vinden. Je voelt met je voeten welke kant omlaag helt en zet daar een stap in. De vraag is: hoe groot maak je die stap? Zet je een piepklein stapje, dan kom je heel voorzichtig vooruit, maar het duurt eeuwen voor je beneden bent. Zet je een enorme sprong, dan schiet je misschien over het dal heen en beland je aan de andere kant van een heuvel, verder van je doel dan waar je begon.

Dit is in essentie wat leersnelheid is binnen kunstmatige intelligentie: de grootte van de stappen die een lerend systeem zet terwijl het zichzelf bijstelt om fouten te verkleinen. In het Engels heet het de learning rate, een van de belangrijkste instelbare waarden bij het trainen van neurale netwerken, de rekenmodellen achter bijvoorbeeld beeldherkenning en chatbots zoals ChatGPT. Te klein instellen kost tijd en rekenkracht, te groot instellen kan ervoor zorgen dat het systeem nooit goed leert. Het vinden van de juiste balans is een kunst op zich geworden binnen de AI-ontwikkeling.

Wat is het precies?

Een neuraal netwerk leert door miljoenen interne instelknoppen, gewichten genoemd, telkens een klein beetje aan te passen. Na elke poging om bijvoorbeeld een foto van een kat te herkennen, berekent het systeem hoe ver het naast de juiste uitkomst zat. Deze afwijking heet de loss of verliesfunctie.

Vervolgens berekent het netwerk in welke richting elke gewicht moet veranderen om die fout iets kleiner te maken. Dit proces heet gradient descent, letterlijk 'afdalen langs de helling'. De leersnelheid bepaalt hoe groot de stap is die het netwerk in die berekende richting zet.

Is de leersnelheid te laag, dan verbetert het model bij elke stap maar minimaal. Het duurt dan extreem lang, en soms miljoenen stappen, voordat een bruikbaar resultaat ontstaat. Is de leersnelheid te hoog, dan slaat het model door: het schiet voorbij de beste instelling en de fout kan zelfs groter worden in plaats van kleiner. In het ergste geval 'ontploft' de training en worden de gewichten onbruikbare, extreem grote getallen.

In de praktijk gebruiken onderzoekers zelden één vaste waarde. In plaats daarvan verandert de leersnelheid tijdens de training volgens een schema, een zogeheten learning rate schedule. Vaak begint de training met een lage snelheid die geleidelijk oploopt (opwarmen, of warmup), waarna deze weer langzaam daalt naarmate het model dichter bij een goede oplossing komt.

Wat wil men ermee bereiken?

Het uiteindelijke doel is simpel: een AI-model zo snel, zo goedkoop en zo goed mogelijk laten leren. Omdat het trainen van grote taalmodellen en beeldherkenningssystemen enorm veel rekenkracht en energie kost, vaak tientallen tot honderden miljoenen dollars voor de grootste modellen, is elke verbetering in de efficiëntie van het leerproces direct geld en tijd waard.

Een goed gekozen leersnelheid zorgt ervoor dat een model sneller convergeert, dat wil zeggen sneller een stabiele, goede oplossing bereikt, zonder dat de kwaliteit van het eindresultaat eronder lijdt. Onderzoekers proberen ook te voorkomen dat trainingen mislukken doordat de instellingen verkeerd gekozen zijn, wat kostbare herhalingen van dagen- of wekenlange trainingsruns kan schelen.

Daarnaast speelt betrouwbaarheid een rol. Een model dat traint met een slecht gekozen leersnelheid kan blijven hangen in een middelmatige oplossing, een zogeheten lokaal minimum, in plaats van de best mogelijke prestatie te bereiken. Het juist instellen van de leersnelheid, vaak in combinatie met een schema, helpt om dit risico te verkleinen.

Voorbeelden uit de praktijk

De invloed van leersnelheid is terug te zien in enkele mijlpalen uit het AI-onderzoek. Zo introduceerden Diederik Kingma en Jimmy Ba in 2014 de Adam-optimizer, een methode die de leersnelheid automatisch per gewicht aanpast op basis van eerdere updates. Adam werd al snel de standaardkeuze in vrijwel elk deep learning-project en wordt nog altijd breed gebruikt.

In het invloedrijke Transformer-artikel Attention Is All You Need uit 2017, de basis onder moderne taalmodellen, beschreven onderzoekers van Google een specifiek opwarmschema voor de leersnelheid: eerst geleidelijk verhogen, dan langzaam verlagen volgens een wiskundige formule. Dit schema wordt tot op de dag van vandaag in aangepaste vorm gebruikt bij het trainen van grote taalmodellen.

Ilya Loshchilov en Frank Hutter publiceerden in 2016 het idee van cosine annealing met warm restarts (SGDR), waarbij de leersnelheid golfsgewijs op en neer beweegt tijdens de training. Dit bleek in veel gevallen tot betere resultaten te leiden dan een simpelweg dalende snelheid.

Onderzoeker Leslie Smith beschreef in 2015 en 2018 de zogeheten cyclische leersnelheid en het fenomeen superconvergence: door de leersnelheid bewust tijdelijk hoog te laten oplopen, kon training soms tot wel tien keer sneller verlopen dan met een traditionele, geleidelijk dalende aanpak. Deze inzichten zijn onder meer verwerkt in de populaire fast.ai-trainingsbibliotheek.

Ook bij de training van grote taalmodellen zoals GPT-3, beschreven door OpenAI in 2020, is precieze afstemming van de leersnelheid en het opwarmschema een expliciet onderdeel van het gepubliceerde trainingsrecept, juist omdat bij modellen van die omvang een verkeerde instelling een training van weken kan laten mislukken.

Hoe ver is de techniek?

Leersnelheid als concept is allesbehalve nieuw; de wiskundige basis, gradient descent, stamt al uit de negentiende eeuw en werd in de jaren tachtig van de vorige eeuw toegepast op neurale netwerken. Wat de afgelopen tien jaar wél sterk is verbeterd, is de manier waarop de leersnelheid slim en automatisch wordt beheerd tijdens training.

Adaptieve optimizers zoals Adam en zijn opvolgers (bijvoorbeeld AdamW en Lion) nemen een deel van het handmatige instelwerk uit handen. Toch blijft het kiezen van de basisleersnelheid en het bijbehorende schema in de praktijk grotendeels een kwestie van ervaring, vuistregels en experimenteren, er bestaat geen universele formule die voor elk model en elke dataset de perfecte waarde berekent.

Bij zeer grote taalmodellen is dit een reëel obstakel: een trainingsrun kan miljoenen euro's aan rekenkracht kosten, waardoor onderzoeksteams vaak eerst op kleinere schaal experimenteren om een geschikte leersnelheid te vinden voordat ze die toepassen op het volledige model, een aanpak die bekendstaat als scaling laws-onderzoek. Ook dat blijft een vorm van gefundeerd gokken, geen exacte wetenschap.

Kortom: de techniek is volwassen en wordt dagelijks toegepast, maar het optimaal instellen ervan blijft, zeker bij de grootste modellen, deels ambachtelijk werk.

Wie werken eraan?

Vrijwel elk laboratorium dat neurale netwerken traint, heeft te maken met leersnelheid, maar een aantal partijen heeft opvallend bijgedragen aan het onderzoek naar betere trainingsschema's. Google (en het onderzoeksonderdeel Google DeepMind) publiceerde met de Transformer en gerelateerd werk invloedrijke opwarm- en afbouwschema's. OpenAI beschreef gedetailleerde trainingsrecepten bij de ontwikkeling van de GPT-modellen.

Meta AI (voorheen Facebook AI Research) publiceert regelmatig onderzoek naar optimalisatiemethoden voor grootschalige training. Academische onderzoekers zoals Leslie Smith, verbonden aan het Amerikaanse Naval Research Laboratory, en Frank Hutter, hoogleraar aan de Universiteit van Freiburg in Duitsland, worden veel geciteerd voor hun werk aan cyclische en cosinusvormige leersnelheidsschema's.

Ook kleinere, praktijkgerichte initiatieven spelen een rol: het lesplatform fast.ai, opgericht door Jeremy Howard, heeft veel bijgedragen aan het toegankelijk maken van geavanceerde leersnelheidstechnieken voor een breder publiek van ontwikkelaars, niet alleen voor onderzoekers bij grote techbedrijven.