Emergent gedrag: waarom AI-systemen soms dingen kunnen die niemand ze leerde
Kijk naar een zwerm spreeuwen bij zonsondergang. Duizenden vogels vormen samen wolken die golven, splitsen en weer samensmelten, alsof het geheel één levend organisme is. Toch volgt geen enkele spreeuw een dirigent en kent geen van hen het totaalplaatje. Elke vogel houdt zich simpelweg aan een paar vuistregels: blijf dicht bij je buren, vlieg ongeveer dezelfde kant op, en botst niet. Uit die simpele, lokale regels ontstaat spontaan een ingewikkeld patroon op groter niveau. Dat verschijnsel heet emergent gedrag: complex gedrag dat ontstaat uit de interactie van veel eenvoudige onderdelen, zonder dat dat complexe gedrag ergens expliciet is voorgeschreven.
Datzelfde woord duikt de laatste jaren steeds vaker op in artikelen over kunstmatige intelligentie, en dan meestal in een specifiekere betekenis. Onderzoekers merkten dat grote taalmodellen zoals GPT-3 en PaLM, naarmate ze groter en met meer data getraind werden, ineens vaardigheden lieten zien die kleinere versies van hetzelfde model helemaal niet hadden. Niemand had het systeem expliciet geleerd om, bijvoorbeeld, stap voor stap een rekensom op te lossen of grappen uit te leggen. Die vaardigheid leek er gewoon te zijn, alsof er bij een bepaalde omvang een knop omging. Dat is de kern van wat in AI-context 'emergent gedrag' wordt genoemd, en het is tegelijk een fascinerend en omstreden begrip, zoals verderop blijkt.
Wat is het precies?
Om te snappen wat er gemeten wordt, helpt het om een paar begrippen uit te leggen. Een taalmodel zoals GPT bestaat uit miljoenen tot miljarden parameters: instelbare rekenkundige waarden die tijdens het trainen worden aangepast op basis van enorme hoeveelheden tekst. Grofweg geldt: hoe meer parameters en hoe meer trainingsdata, hoe 'groter' en krachtiger het model. Om te testen wat een model kan, gebruiken onderzoekers benchmarks: gestandaardiseerde taken en toetsen, zoals rekensommen, taalpuzzels of examenvragen, waarop de score van het model wordt gemeten.
Bij veel van die benchmarks zag je aanvankelijk iets opmerkelijks: kleine en middelgrote modellen scoorden nauwelijks beter dan willekeurig gokken, tot het model een bepaalde omvang bereikte. Daarna schoot de score plotseling omhoog. Die sprong, in plaats van een geleidelijke verbetering, is wat onderzoekers 'emergent' noemden. Twee vaardigheden die vaak als voorbeeld worden genoemd zijn few-shot learning (het vermogen om een nieuwe taak te leren uitvoeren op basis van slechts een paar voorbeelden in de prompt, zonder dat het model daarvoor apart is getraind) en chain-of-thought-redeneren (het model schrijft eerst een tussenstap-voor-tussenstap redenering op voordat het tot een antwoord komt, wat bij ingewikkelde vraagstukken tot betere resultaten leidt).
Belangrijk om te onthouden: dit is geen bewustzijn en geen 'wil' van het systeem. Het is een patroon in prestaties, gemeten met statistiek op een testset. Of die sprong een fundamentele eigenschap van het model is, of vooral een artefact van hoe je meet, is precies waarover onderzoekers het nog oneens zijn (zie het kopje 'Hoe ver is de techniek?').
Wat wil men ermee bereiken?
Onderzoekers bestuderen emergent gedrag om een paar praktische en fundamentele redenen. Ten eerste: voorspelbaarheid. Bedrijven die AI-modellen bouwen, geven graag vooraf te kennen wat een nieuw, groter model wel en niet zal kunnen, voordat ze miljoenen euro's aan rekenkracht in de training steken. Als vaardigheden pas plotseling opduiken bij een bepaalde schaal, is dat lastig te plannen.
Ten tweede spelen er veiligheidsoverwegingen. Als een model onverwacht een nieuwe vaardigheid ontwikkelt, zoals overtuigender manipuleren, code schrijven, of misleidende informatie genereren, wil je dat het liefst weten vóórdat het product wordt uitgerold, niet erna. Onvoorspelbare sprongen in vermogen maken risicobeoordeling lastiger, en dat is een belangrijk argument in het bredere debat over AI-veiligheid en -regulering.
Ten derde is er een meer fundamenteel-wetenschappelijke drijfveer: begrijpen waarom en hoe complexiteit uit eenvoud ontstaat, is een centrale vraag in de bredere complexiteitswetenschap, ver buiten AI om. Inzichten over zwermgedrag, mierenkolonies of celweefsel worden bijvoorbeeld ook toegepast in zwermrobotica, waarbij groepen simpele robots samen ingewikkelde taken uitvoeren, en in optimalisatie-algoritmes die geïnspireerd zijn op natuurlijke systemen.
Voorbeelden uit de praktijk
Een paar concrete gevallen illustreren waar het om gaat. Bij GPT-3, het taalmodel dat OpenAI in 2020 uitbracht, viel op dat het in staat was om nieuwe taken uit te voeren op basis van een paar voorbeelden in de prompt (few-shot learning), terwijl de kleinere voorganger GPT-2 dat nauwelijks kon. Dat verschil werd toegeschreven aan schaal, niet aan een andere architectuur.
In 2022 publiceerden onderzoekers van Google Research en Stanford, onder wie Jason Wei, een veelgeciteerde studie getiteld 'Emergent Abilities of Large Language Models'. Zij lieten onder meer zien dat het taalmodel PaLM van Google pas bij een grotere modelomvang plotseling in staat was om meerstaps-rekenproblemen op te lossen via chain-of-thought-redeneren, terwijl kleinere versies van hetzelfde model daar structureel op faalden.
Een ouder en beroemder voorbeeld komt niet uit taalmodellen maar uit spelend AI-onderzoek: AlphaGo, het Go-programma van DeepMind, speelde in 2016 tegen wereldtopspeler Lee Sedol en verraste in de tweede partij met 'zet 37', een zet die zo ongebruikelijk was volgens menselijke Go-conventies dat commentatoren dachten dat het een fout was. Achteraf bleek het een sterke, door het systeem zelf via zelfspel ontdekte strategie, niet iets wat een programmeur had ingebouwd.
Ook uit multi-agent-onderzoek komt een aansprekend voorbeeld: in 2019 liet OpenAI paren van AI-agenten in een virtuele omgeving verstoppertje spelen. Via louter zelfspel, dus door miljoenen keren tegen elkaar te spelen en van fouten te leren, ontdekten de agenten zelf hulpmiddelen: ze versleepten dozen om zich te verschansen, gebruikten hellingbanen om over muren te klimmen, en verstopte agenten leerden op hun beurt die hellingbanen alvast weg te duwen. Niets daarvan was vooraf geprogrammeerd; het rolde uit het trainingsproces zelf.
Ter illustratie van het bredere, niet-AI-specifieke begrip emergentie wordt in de complexiteitswetenschap vaak verwezen naar de 'Boids'-simulatie die computeranimator Craig Reynolds in 1986 bouwde: met slechts drie simpele regels (uit elkaar blijven, dezelfde richting op vliegen, bij elkaar blijven) ontstond op het scherm realistisch ogend zwermgedrag, decennia voordat neurale netwerken het onderwerp overnamen.
Hoe ver is de techniek?
Hier moet eerlijkheid vooropstaan: er is geen uitgekristalliseerde theorie die precies voorspelt wanneer en welke vaardigheden 'emergent' zullen opduiken. Sterker nog, het bestaan van emergentie als een echt, plotseling omslagpunt staat zelf ter discussie. In 2023 publiceerden Rylan Schaeffer, Brando Miranda en Sanmi Koyejo een spraakmakend paper met de prikkelende titel 'Are Emergent Abilities of Large Language Models a Mirage?'. Hun argument: veel van de schijnbaar plotselinge sprongen zijn deels een artefact van de gekozen meetmethode. Als je een taak beoordeelt met een strenge, alles-of-niets-maatstaf (het antwoord is helemaal goed of helemaal fout), lijkt de vooruitgang schoksgewijs. Kies je in plaats daarvan een geleidelijke, continue maatstaf, dan blijkt de onderliggende verbetering vaak al die tijd gestaag te zijn verlopen, alleen onzichtbaar voor de grove meetlat. Dat betekent niet dat er niets bijzonders gebeurt bij schaalvergroting, maar wel dat 'emergentie' minder een mysterieuze fase-overgang in het model zelf kan zijn, en meer een kwestie van hoe je resultaten aflaest.
Los van dat debat is er wel gedegen onderzoek naar hoe modelgrootte, hoeveelheid trainingsdata en rekenkracht samenhangen met de algehele prestatie. OpenAI publiceerde in 2020 met Jared Kaplan en collega's de 'scaling laws': wiskundige vuistregels die vrij betrouwbaar voorspellen hoe de gemiddelde fout van een taalmodel afneemt naarmate het groter wordt. Google DeepMind verfijnde dit in 2022 met de zogeheten Chinchilla-studie van Jordan Hoffmann en collega's, die liet zien dat het vaak beter is om relatief meer trainingsdata te gebruiken in verhouding tot het aantal parameters, in plaats van simpelweg het model alsmaar groter te maken. Deze scaling laws voorspellen goed hoe de algemene, gemiddelde taalvaardigheid van een model verbetert, maar zeggen veel minder over welke specifieke, aparte vaardigheid (zoals een bepaald type redeneren) er precies bij welke schaal zal verschijnen. Dat blijft grotendeels experimenteel: modellen bouwen, testen, en achteraf kijken wat ze kunnen.
Kortom, dit is een actief en nog volop in ontwikkeling zijnd onderzoeksveld, zonder afgeronde theorie. Belangrijke obstakels zijn onder meer interpreteerbaarheid (kunnen we in het binnenste van een model kijken en begrijpen waarom het iets kan?) en veiligheidsevaluatie (hoe test je een systeem grondig genoeg voordat het wordt vrijgegeven, als je niet zeker weet welke vaardigheden er nog verborgen kunnen zitten?).
Wie werken eraan?
Het onderzoek naar emergent gedrag in AI wordt vooral gedreven door de grote AI-laboratoria die ook de modellen zelf bouwen en trainen: OpenAI, Google DeepMind, Anthropic en Meta AI. Zij publiceren regelmatig technische rapporten waarin prestaties op benchmarks per modelgrootte worden vergeleken.
Daarnaast spelen academische centra een grote rol bij het kritisch tegen het licht houden van claims uit de industrie, zoals het Stanford Institute for Human-Centered AI (Stanford HAI), waar onder meer het genoemde onderzoek naar emergente vaardigheden vandaan kwam. Voor het bredere, decennia oudere begrip emergentie uit de complexiteitswetenschap (zwermen, ecosystemen, economische systemen) geldt het Santa Fe Institute in de Verenigde Staten al lang als een vooraanstaand kenniscentrum, los van de recente AI-hype.
Ten slotte houden ook beleidsmakers de ontwikkeling in de gaten. In de Europese Unie speelt de onvoorspelbaarheid van vaardigheden bij steeds grotere modellen een rol in de discussie rond de AI-verordening (de AI Act), waarin wordt nagedacht over extra verplichtingen voor de meest krachtige, zogeheten 'general purpose'-AI-modellen, mede vanwege het risico dat zulke systemen capaciteiten blijken te hebben die pas na uitrol aan het licht komen.