Waarom overfit een AI-onderzoeksagent niet? Amazon vindt het antwoord in compressie

Een taalmodel trainen draait om één ding: iets leren dat ook werkt op data die het nog nooit heeft gezien. Blijft een model goed presteren op de trainingsvoorbeelden maar valt het door de mand bij nieuwe data, dan spreken onderzoekers van overfitting: het model heeft de antwoorden onthouden in plaats van er iets algemeens uit te leren. Om dat te voorkomen, houden onderzoekers altijd een deel van hun data apart. Zo'n validatieset wordt tijdens het ontwikkelen keer op keer geraadpleegd om modellen te vergelijken en bij te sturen.

Daar zit een addertje onder het gras. Zodra je diezelfde validatieset telkens opnieuw gebruikt om je aanpak aan te scherpen, is die set eigenlijk niet meer onbevooroordeeld. Precies dat gebeurt al jaren op grote schaal in AI-onderzoek: duizenden onderzoeksgroepen testen hun modellen op dezelfde, ongewijzigde benchmark-datasets, publiceren de resultaten en de volgende groep probeert er nog een schepje bovenop te doen. Volgens de klassieke statistiek zou dat allang tot uitgeholde, oververhitte scores moeten hebben geleid. Toch blijkt uit onderzoek dat verbeteringen op oude benchmarks grotendeels ook gelden voor gloednieuwe testsets. De vooruitgang is dus echt, en dat is een raadsel dat AI-wetenschappers al lang bezighoudt.

Een gereset brein als proefkonijn

Het probleem is dat je een hele onderzoeksgemeenschap niet even kunt resetten om het experiment opnieuw te draaien. Martin Bertran Lopez en Aaron Roth van Amazon Science losten dat op door zelfstandig werkende, op LLM's gebaseerde onderzoeksagents in te zetten. Deze systemen doorlopen dezelfde cyclus als menselijke onderzoekers: ze proberen een aanpak, testen die op een benchmark, passen hem aan en testen opnieuw. Het verschil is dat je het geheugen van een agent volledig kunt wissen en de proef exact kunt herhalen.

Compressie als verklaring én meetlat

De onderzoekers grepen terug op een eeuwenoud idee: Occam's scheermes, het principe dat de eenvoudigste verklaring die de feiten dekt meestal de juiste is. Ze testten of de succesvolle strategie van een agent kon worden samengevat in een piepklein aantal woorden, een zogeheten informatiebottleneck van soms maar 16 tokens. Kreeg een compleet nieuwe agent, zonder enige voorkennis, alleen die samenvatting te lezen, dan kon hij dezelfde prestaties reproduceren. Dat betekent dat de aanpak echte, overdraagbare kennis bevatte, en geen toevallige aanpassing aan de testset. Strategieën die wél overfit waren, zakten juist meteen door de mand zodra ze door dit compressie-filter gingen: hun voordeel verdween. Compressie werkt dus als een soort ingebouwde leugendetector voor AI-onderzoek. De studie laat bovendien zien hoe krachtig taalmodellen zijn als 'decoders': dankzij hun enorme voorkennis kunnen ze uit een paar cryptische woorden een volledige, werkende aanpak reconstrueren.