Coëvolutielus: hoe mens en technologie elkaar in kringetjes veranderen
Een coëvolutielus is een terugkerende wisselwerking tussen twee systemen die elkaar stap voor stap veranderen: het ene systeem past zich aan het andere aan, waarna dat andere systeem weer reageert op die aanpassing, enzovoort. In de context van technologie gaat het meestal om de relatie tussen mensen en algoritmes of kunstmatige intelligentie (AI, systemen die taken uitvoeren die normaal menselijke intelligentie vereisen). Beide kanten veranderen voortdurend door het gedrag van de ander, zonder dat er één moment is waarop het proces "klaar" is.
Een vergelijking maakt het concreet. Denk aan twee dansers die voor het eerst samen dansen. De één beweegt, de ander reageert daarop, de eerste past zich weer aan die reactie aan, en na een tijdje ontstaat een dansstijl die geen van beiden vooraf had bedacht. Zoiets gebeurt bijvoorbeeld tussen een aanbevelingsalgoritme van een videoplatform en de kijker: het algoritme leert van wat iemand bekijkt, past zijn suggesties aan, de kijker reageert daar weer op, en zo ontstaat langzaam een kijkpatroon dat door beide partijen samen is gevormd.
Wat is het precies?
De term is opgebouwd uit twee delen. "Coëvolutie" komt oorspronkelijk uit de evolutiebiologie en beschrijft hoe twee soorten elkaar over generaties heen beïnvloeden, zoals een bloem die een vorm ontwikkelt die precies past bij de snuit van een bepaalde bestuiver, terwijl die bestuiver op zijn beurt evolueert om beter bij die bloem te passen. "Lus" (in het Engels vaak loop) verwijst naar een feedbackkring: de uitkomst van een proces wordt weer de invoer voor de volgende ronde van datzelfde proces.
In de technologie werkt dit als volgt. Een AI-systeem, bijvoorbeeld een taalmodel of aanbevelingsalgoritme, wordt getraind op gedrag of feedback van mensen. Het systeem past zijn eigen gedrag daarop aan. Mensen krijgen vervolgens de aangepaste uitkomsten van dat systeem te zien en reageren daar weer op, bewust of onbewust. Die nieuwe reacties worden opnieuw verzameld en gebruikt om het systeem verder bij te stellen. Zo ontstaat een kring zonder duidelijk begin- of eindpunt, waarbij het lastig wordt om te zeggen wie precies wie stuurt.
Een technisch voorbeeld van zo'n lus is reinforcement learning from human feedback (RLHF, versterkend leren op basis van menselijke feedback). Hierbij beoordelen mensen antwoorden van een AI-model, het model wordt bijgesteld op basis van die beoordelingen, en de nieuwe versie van het model wordt vervolgens weer aan mensen voorgelegd voor nieuwe beoordelingen. Een ander technisch voorbeeld zijn generative adversarial networks (GAN's), een AI-architectuur uit 2014 waarbij twee neurale netwerken tegen elkaar op trainen: het ene netwerk (de generator) probeert steeds overtuigender nepbeelden te maken, terwijl het andere netwerk (de discriminator) steeds beter wordt in het herkennen van die nepbeelden. Beide netwerken worden door elkaars vooruitgang gedwongen zich te verbeteren, wat in feite een kunstmatige coëvolutielus is, al gebruiken onderzoekers voor GAN's meestal de term "adversarieel trainen".
Wat wil men ermee bereiken?
Onderzoekers en bedrijven bestuderen coëvolutielussen om twee redenen. Ten eerste willen ze deze lussen bewust inzetten om systemen te verbeteren. Door mensen en AI in een gecontroleerde feedbackkring te plaatsen, kan een systeem sneller leren wat mensen nuttig, veilig of prettig vinden dan wanneer het alleen op vooraf verzamelde data wordt getraind. RLHF is hier het duidelijkste voorbeeld van: het maakte taalmodellen aanzienlijk behulpzamer en minder schadelijk in hun antwoorden.
Ten tweede, en dat is minstens zo belangrijk, willen onderzoekers ongewenste coëvolutielussen juist beter begrijpen en beheersbaar maken. Aanbevelingsalgoritmes van sociale media en videoplatforms vormen ongepland een lus met het gedrag van gebruikers: het algoritme leert wat aandacht vasthoudt, toont meer van dat soort content, gebruikers passen hun kijkgedrag daarop aan (bewust of doordat hun voorkeuren verschuiven), en het algoritme leert daar weer van. Dit kan leiden tot steeds sterker uitvergrote content, zogeheten filterbubbels (een situatie waarin mensen vooral informatie te zien krijgen die hun bestaande mening bevestigt). Onderzoek naar coëvolutielussen probeert dit soort effecten te meten en tegen te gaan.
In de robotica en synthetische biologie speelt een andere ambitie: door de vorm (het "lichaam") en het gedrag (de "besturing") van een systeem tegelijk te laten evolueren, ontstaan oplossingen die een mens nooit zelf zou bedenken. Het doel is hier niet het beheersen van menselijk gedrag, maar het automatisch ontdekken van slimme, aan de omgeving aangepaste ontwerpen.
Voorbeelden uit de praktijk
Aanbevelingsalgoritmes van videoplatforms. Rond 2018 bracht de voormalige Google-ingenieur Guillaume Chaslot met zijn project AlgoTransparency in kaart hoe het aanbevelingsalgoritme van YouTube kijkgedrag stuurde in de richting van steeds specifiekere en soms extremere content, en hoe het platform op zijn beurt weer leerde van de reacties daarop. Dit is een van de meest bestudeerde voorbeelden van een ongeplande coëvolutielus tussen mens en algoritme.
RLHF en taalmodellen. OpenAI beschreef in 2022, in de aanloop naar ChatGPT, hoe het bedrijf zijn taalmodellen trainde met menselijke beoordelaars die antwoorden rangschikten van beste naar slechtste. Die rangschikkingen werden gebruikt om het model bij te stellen, waarna nieuwe modelversies weer aan gebruikers en beoordelaars werden voorgelegd. Deze aanpak wordt inmiddels breed toegepast door AI-bedrijven zoals OpenAI, Anthropic en Google DeepMind.
Xenobots. Onderzoekers van de University of Vermont en Tufts University, onder wie Josh Bongard, Michael Levin en Sam Kriegman, publiceerden in 2020 een studie waarin een evolutionair algoritme op een supercomputer duizenden mogelijke lichaamsvormen van levende kikkercellen simuleerde. De veelbelovendste ontwerpen werden vervolgens daadwerkelijk gebouwd van levend weefsel. Hier evolueren vorm en functie in een gesloten, deels geautomatiseerde lus, zij het zonder menselijke tussenstap zoals bij RLHF.
Brain-computer interfaces. Bij hersen-computerinterfaces, zoals die van het onderzoeksconsortium BrainGate (met onder meer Brown University en Massachusetts General Hospital) en het bedrijf Neuralink, moeten twee kanten zich op elkaar afstemmen: het brein van de gebruiker leert signalen zo te sturen dat een computer ze goed oppikt, terwijl de software (de "decoder") tegelijk wordt bijgesteld om beter bij de hersensignalen van die specifieke gebruiker te passen. Onderzoekers noemen dit expliciet co-adaptatie, een directe toepassing van het coëvolutielus-principe op het grensvlak van brein en machine.
Hoe ver is de techniek?
De mate van ontwikkeling verschilt sterk per toepassing. RLHF is inmiddels een bewezen, veelgebruikte techniek in de industrie: vrijwel elk groot commercieel taalmodel wordt er in een of andere vorm mee getraind. Toch blijft het een grof instrument: menselijke beoordelaars zijn duur, kunnen het onderling oneens zijn, en hun voorkeuren zeggen niet altijd iets over feitelijke juistheid. Onderzoekers werken aan verfijningen, zoals het combineren van menselijke feedback met AI-feedback (soms "RLAIF" genoemd), maar een sluitende oplossing voor de beperkingen van de lus bestaat nog niet.
Coëvolutielussen tussen mens en aanbevelingsalgoritme zijn juist het minst goed beheersbaar, omdat ze grotendeels ongepland ontstaan als bijproduct van winstgerichte optimalisatie op kijktijd of klikgedrag. Platforms hebben de afgelopen jaren aanpassingen doorgevoerd om extreme uitvergroting tegen te gaan, maar onafhankelijke controle op de precieze werking van deze algoritmes is lastig, omdat bedrijven ze grotendeels geheimhouden.
Evolutionaire robotica zoals de Xenobots bevindt zich nog in een vroeg, experimenteel stadium: het gaat om proof-of-concept-onderzoek in laboratoria, gericht op fundamenteel begrip van hoe vorm en gedrag samen kunnen ontstaan, niet op praktische toepassingen op korte termijn. Brain-computer interfaces staan technisch verder dan tien jaar geleden, met de eerste menselijke implantaties door Neuralink vanaf 2024 en jarenlange klinische tests door BrainGate, maar de co-adaptatie tussen brein en decoder werkt nog het beste in gecontroleerde laboratoriumomstandigheden en bij een klein aantal patiënten. Grootschalige, betrouwbare toepassing buiten onderzoekscontext is er nog niet.
Wie werken eraan?
Op het gebied van taalmodellen en RLHF lopen AI-bedrijven als OpenAI, Anthropic en Google DeepMind voorop, samen met academische onderzoeksgroepen wereldwijd die de effecten en beperkingen van deze trainingsmethode bestuderen. Onderzoek naar de maatschappelijke gevolgen van coëvolutielussen tussen mens en aanbevelingsalgoritme gebeurt vooral aan universitaire instituten, zoals het Oxford Internet Institute en het MIT Media Lab, en door onafhankelijke onderzoeksorganisaties die platformgedrag proberen te doorgronden.
Op het gebied van evolutionaire robotica zijn de University of Vermont en Tufts University in de Verenigde Staten toonaangevend, met onderzoekers als Josh Bongard en Michael Levin. Op het gebied van brain-computer interfaces zijn dat het BrainGate-consortium, met onder meer Brown University, Massachusetts General Hospital en Stanford University, en het bedrijf Neuralink. Ook in Europa en Nederland lopen onderzoeksprogramma's naar mens-AI-interactie en de maatschappelijke effecten daarvan, onder meer aan technische universiteiten en bij organisaties die zich bezighouden met verantwoorde AI.