Kennisbank

Overfitting: waarom slimme algoritmes soms te goed hun best doen

Bijgewerkt: 11 september 2026 · 6 min leestijd

Stel je een student voor die zich voorbereidt op een examen door alle antwoorden van oude tentamens letterlijk uit het hoofd te leren, tot en met de exacte bewoording. Op een toets met precies dezelfde vragen scoort deze student een tien. Maar zodra de docent de vragen net iets anders formuleert, valt hij door de mand: hij heeft de stof niet begrepen, hij heeft antwoorden gestampt. Iets vergelijkbaars gebeurt voortdurend in kunstmatige intelligentie, en het heeft een naam: overfitting, letterlijk "overaanpassing".

Overfitting is een van de meest fundamentele en hardnekkige problemen in machine learning, de tak van kunstmatige intelligentie waarbij computers patronen leren uit voorbeelden in plaats van dat ze expliciet geprogrammeerd worden. Een overfit model heeft zijn trainingsdata niet begrepen, maar uit het hoofd geleerd, inclusief alle toevallige ruis en eigenaardigheden die niets met het onderliggende patroon te maken hebben. Het resultaat: schitterende prestaties op de data die het al kende, en teleurstellende resultaten zodra het iets nieuws te zien krijgt.

Wat is het precies?

Een machine learning-model leert door te zoeken naar patronen in een trainingsdataset: een verzameling voorbeelden waarvan de uitkomst al bekend is, bijvoorbeeld duizenden foto's die zijn gelabeld als "kat" of "geen kat". Tijdens het trainen past het model zijn interne parameters steeds verder aan om zo min mogelijk fouten te maken op die voorbeelden.

Het probleem ontstaat wanneer een model complexer is dan nodig, of te lang traint op een te kleine dataset. In plaats van de algemene kenmerken van een kat te leren (snorharen, oren, silhouet), kan het model gaan "onthouden" dat foto 4.582 een kat is omdat er toevallig een specifiek patroon in de achtergrond zit. Zulke toevalligheden noemen onderzoekers ruis: variatie in de data die niets met het echte patroon te maken heeft, maar puur toeval is.

Om overfitting te herkennen, splitsen onderzoekers hun data meestal in een trainingsset en een testset (of validatieset) die het model nooit te zien krijgt tijdens het leren. Zolang de fout op beide sets gelijk opgaat dalen, leert het model iets algemeens. Zodra de trainingsfout blijft dalen maar de testfout weer begint te stijgen, is dat het klassieke waarschuwingssignaal voor overfitting: het model wordt beter in het "kennen" van de trainingsvoorbeelden, maar slechter in het toepassen van die kennis op iets nieuws.

Het tegenovergestelde probleem heet underfitting: een model dat te simpel is om zelfs de basispatronen in de trainingsdata te vinden, en daardoor op beide sets slecht scoort. Goed trainen is dus een balanceeract tussen deze twee uitersten, vaak de "bias-variance-afweging" genoemd.

Wat wil men ermee bereiken?

Het uiteindelijke doel van machine learning is niet dat een model goed presteert op data die het al kent, maar dat het generaliseert: goed functioneert op nieuwe, ongeziene situaties. Een zelfrijdende auto heeft niets aan een systeem dat perfect functioneert op de duizend testwegen waarop het getraind is, als het in de duizend-en-eerste straat de weg kwijtraakt.

Onderzoekers en ingenieurs proberen overfitting daarom actief te bestrijden met technieken als regularisatie (het model bewust "afremmen" zodat het niet te ingewikkeld wordt), meer en diversere trainingsdata verzamelen, vroegtijdig stoppen met trainen zodra de testfout begint te stijgen, en dropout: tijdens het trainen willekeurig delen van het neurale netwerk tijdelijk uitschakelen, zodat het model niet kan leunen op een paar specifieke verbindingen en gedwongen wordt robuustere patronen te vinden.

De inzet is groot. Een overfit model kan in de praktijk leiden tot medische diagnosesystemen die feilloos werken in het ziekenhuis waar ze getraind zijn maar falen elders, kredietbeoordelingsalgoritmes die toevallige patronen in historische data verwarren met echte risico-indicatoren, of taalmodellen die trainingsteksten reproduceren in plaats van nieuwe, samenhangende tekst te genereren. Het bestrijden van overfitting is dus direct verbonden met de betrouwbaarheid en eerlijkheid van AI-systemen die in de echte wereld worden ingezet.

Voorbeelden uit de praktijk

Dropout (2014). Onderzoekers Nitish Srivastava, Geoffrey Hinton en collega's van de University of Toronto publiceerden in het Journal of Machine Learning Research de invloedrijke paper "Dropout: A Simple Way to Prevent Neural Networks from Overfitting". De techniek, waarbij tijdens training willekeurig neuronen worden uitgeschakeld, werd al snel een standaardonderdeel van vrijwel elk neuraal netwerk en toonde hoezeer overfitting een centraal probleem was geworden naarmate netwerken groter werden.

ImageNetV2 (2019). Onderzoekers van UC Berkeley, onder wie Benjamin Recht en Ludwig Schmidt, bouwden een nieuwe testset volgens exact dezelfde methode als de beroemde ImageNet-benchmark, en publiceerden hun bevindingen in de paper "Do ImageNet Classifiers Generalize to ImageNet?". Bestaande topmodellen, die jarenlang met steeds hogere scores op de originele testset hadden gepronkt, zakten op deze nieuwe maar vergelijkbare set met tot wel tien procentpunt of meer. Dit wees erop dat een deel van de "vooruitgang" feitelijk overfitting op de specifieke eigenaardigheden van de oorspronkelijke testset was.

Röntgenfoto's en ziekenhuisapparatuur (2018). John Zech en collega's onderzochten AI-modellen die longontsteking moesten herkennen op röntgenfoto's, gepubliceerd in PLOS Medicine. Ze ontdekten dat sommige modellen deels leunden op ziekenhuisspecifieke details in de foto's zelf, zoals het type röntgenapparaat of markeringen op de opname, in plaats van uitsluitend op medisch relevante kenmerken. Het model had dus effectief geleerd "in welk ziekenhuis de foto genomen is" te herkennen als schaduwsignaal voor de diagnose, wat de betrouwbaarheid in andere ziekenhuizen ondermijnde.

Kaggle-wedstrijden. Op het populaire data science-platform Kaggle wordt de kwaliteit van inzendingen tijdens een wedstrijd getoond op een publiek scorebord, gebaseerd op een deel van de testdata. Deelnemers die hun model te sterk afstemmen op dat zichtbare deel, zakken regelmatig fors weg zodra de uiteindelijke, geheime testdata wordt gebruikt voor de einduitslag. Dit fenomeen, ook wel "leaderboard overfitting" genoemd, is een terugkerend leermoment in de data science-gemeenschap.

Deep Double Descent (2019). Onderzoekers verbonden aan OpenAI en Harvard University, onder wie Preetum Nakkiran, beschreven in "Deep Double Descent: Where Bigger Models and More Data Hurt" een verrassend fenomeen: bij sommige moderne, zeer grote neurale netwerken daalt de testfout eerst, stijgt die rond een bepaald modelformaat (klassieke overfitting), maar daalt vervolgens weer wanneer het model nog verder wordt vergroot. Dit zette een deel van de klassieke, decennia oude overfitting-theorie op losse schroeven.

Hoe ver is de techniek?

De theoretische basis van overfitting is al decennia goed begrepen; de bias-variance-afweging wordt al sinds de jaren tachtig en negentig van de vorige eeuw in statistiek en machine learning bestudeerd. Standaardtechnieken zoals regularisatie, dropout, vroegtijdig stoppen en kruisvalidatie zijn inmiddels gemeengoed in vrijwel elk serieus machine learning-project.

Toch is overfitting geenszins "opgelost". Naarmate modellen groter worden, zoals de grote taalmodellen achter chatbots, verschuift het probleem: die modellen hebben zo veel parameters dat ze in theorie hun hele trainingsdataset zouden kunnen onthouden, en onderzoek toont aan dat ze inderdaad soms letterlijke fragmenten van trainingsteksten kunnen reproduceren. Tegelijk laten fenomenen als double descent zien dat het klassieke beeld — hoe groter het model, hoe groter het overfitting-risico — niet altijd opgaat bij moderne, zeer grote netwerken, wat nog altijd onderwerp is van actief onderzoek.

Een ander groeiend punt van zorg is "benchmark-overfitting" op grotere schaal: omdat onderzoekers wereldwijd dezelfde standaardtestsets gebruiken om vooruitgang te meten, bestaat het risico dat de hele onderzoeksgemeenschap zich collectief te veel aanpast aan de eigenaardigheden van die specifieke tests, zoals het ImageNetV2-onderzoek liet zien. Er is nog geen consensus over hoe dit structureel te voorkomen is, al experimenteren onderzoekers met steeds vernieuwde en verborgen testsets.

Wie werken eraan?

Omdat overfitting een fundamenteel probleem is in vrijwel elke vorm van machine learning, werkt in feite het hele wereldwijde AI-onderzoeksveld er in meer of mindere mate aan. Toonaangevende academische instituten zijn onder meer de University of Toronto (waar Geoffrey Hinton en collega's baanbrekend werk deden), UC Berkeley, Stanford University, MIT en Harvard University.

Bij de grote technologiebedrijven investeren onderzoeksafdelingen als Google DeepMind, OpenAI en Meta AI (FAIR) fors in fundamenteel onderzoek naar generalisatie en robuustheid van modellen, mede omdat hun commerciële producten direct profiteren van modellen die goed werken buiten hun trainingsomgeving. Ook nationale onderzoeksfinanciers en universiteiten in onder meer de Verenigde Staten, Canada, het Verenigd Koninkrijk en de Europese Unie financieren structureel onderzoek naar statistische leertheorie en generalisatie.

Daarnaast speelt de bredere wetenschappelijke gemeenschap een grote rol via conferenties als NeurIPS, ICML en ICLR, en tijdschriften als het Journal of Machine Learning Research (JMLR), waar nieuwe inzichten over overfitting en generalisatie voortdurend worden gepubliceerd en getoetst.

Verder lezen