Coöperatieve veiligheid: hoe zorgen we dat AI-systemen elkaar niet in de weg zitten?
Stel je twee zelfrijdende auto's voor die tegelijk bij een kruising aankomen. Er is geen verkeerslicht en geen agent die het overneemt. Beide auto's moeten razendsnel inschatten wat de ander gaat doen, wie voorrang neemt en hoe een botsing te voorkomen is — zonder vooraf met elkaar te hebben gesproken. Mensen doen dit voortdurend via een half oogcontact en een handgebaar. Voor kunstmatige intelligentie (AI) is dit verrassend lastig: een systeem kan op zichzelf heel goed presteren en toch faalt de interactie zodra er een ander AI-systeem, of een mens met andere belangen, bij komt kijken.
Coöperatieve veiligheid (in het Engels cooperative AI safety) is het onderzoeksveld dat zich hiermee bezighoudt: hoe zorg je dat meerdere AI-systemen, of AI-systemen en mensen, veilig samenwerken of op zijn minst geen schade aanrichten wanneer hun belangen niet volledig overeenlappen? Het gaat dus niet primair over de vraag of één AI-systeem “goed” is, maar over wat er gebeurt in de interactie tussen partijen die ieder hun eigen doelen, informatie en strategie hebben. Denk aan onderhandelende chatbots, concurrerende handelsalgoritmes op de beurs, of AI-assistenten die namens verschillende bedrijven met elkaar moeten dealen.
Wat is het precies?
Coöperatieve veiligheid combineert inzichten uit de speltheorie (de wiskundige studie van strategische interacties, bekend van bijvoorbeeld het "prisoner's dilemma") met machine learning. Het uitgangspunt is dat veel echte situaties mixed-motive zijn: partijen hebben deels gedeelde en deels tegengestelde belangen, zoals bij een fusieonderhandeling of verkeer.
Onderzoekers proberen dit in stappen aan te pakken. Eerst wordt een situatie gemodelleerd als een spel: wie zijn de spelers, wat weten ze, welke acties kunnen ze nemen en hoe pakken verschillende uitkomsten voor elke partij uit? Vervolgens onderzoekt men welke mechanismen coöperatie kunnen bevorderen, zoals commitment devices (bindende beloftes waar een partij niet meer vanaf kan wijken), reputatiesystemen, of het transparant maken van intenties zodat wantrouwen afneemt.
Een tweede stap is het testen of lerende AI-systemen dit soort mechanismen zelf kunnen ontdekken of gebruiken. Met multi-agent reinforcement learning (meerdere lerende systemen die tegelijk in dezelfde simulatie leren via beloning en straf) onderzoekt men of AI's spontaan coöperatief gedrag ontwikkelen, of juist vervallen in destructieve concurrentie. Belangrijk verschil met klassieke speltheorie: mensen en organisaties gedragen zich niet altijd "rationeel" volgens het wiskundige optimum, en lerende AI-systemen doen dat evenmin op voorspelbare wijze — wat het probleem moeilijker maakt dan puur theoretisch rekenwerk.
Een derde element is veiligheid tegen misbruik van coöperatie: mechanismen die eerlijke samenwerking mogelijk maken, mogen niet per ongeluk ook schadelijke afspraken tussen AI-systemen vergemakkelijken, zoals prijsafspraken tussen handelsalgoritmes (collusie). Onderzoekers proberen dus tegelijk coöperatie te bevorderen waar dat wenselijk is, en te voorkomen waar dat schadelijk zou zijn.
Wat wil men ermee bereiken?
De directe aanleiding is dat de wereld steeds meer autonome, op AI gebaseerde systemen bevat die met elkaar en met mensen moeten omgaan zonder voortdurend menselijk toezicht: onderhandelende inkoopsystemen, zelfrijdende voertuigen, geautomatiseerde handelsbots, en steeds vaker AI-assistenten die namens gebruikers taken uitvoeren en daarbij met andere AI-assistenten moeten communiceren.
De onderliggende zorg is dat conflicten tussen krachtige AI-systemen grote schade kunnen aanrichten, van financiële markten die instabiel worden door interacterende handelsalgoritmes, tot geopolitieke escalatie als militaire AI-systemen elkaars signalen verkeerd interpreteren. Onderzoekers als Allan Dafoe (verbonden aan Google DeepMind) hebben er in het invloedrijke paper Open Problems in Cooperative AI (2020) op gewezen dat veel AI-veiligheidsonderzoek zich richt op het aligneren van één systeem met menselijke waarden, terwijl minstens zoveel risico schuilt in de interacties tussen meerdere systemen — een blinde vlek die dit veld probeert op te vullen.
Een tweede, positiever geformuleerde doelstelling is dat AI juist kan helpen om menselijke coördinatieproblemen op te lossen: denk aan klimaatonderhandelingen, verdeling van schaarse hulpbronnen of conflictbemiddeling, waarbij AI als eerlijke bemiddelaar of onderhandelingsassistent zou kunnen optreden. Dat is vooralsnog vooral een onderzoeksrichting en geen bewezen toepassing.
Voorbeelden uit de praktijk
Cooperative Inverse Reinforcement Learning (CIRL, 2016). Onderzoekers Dylan Hadfield-Menell, Anca Dragan, Pieter Abbeel en Stuart Russell (UC Berkeley) beschreven een wiskundig kader waarin een robot en een mens gezamenlijk proberen te achterhalen wat de mens eigenlijk wil, in plaats van dat de robot een vast doel krijgt opgelegd. Dit vroege werk legde een theoretische basis onder het idee dat veiligheid ontstaat uit coöperatieve interactie, niet uit een AI die alleen zijn eigen doel najaagt.
CICERO (Meta AI, 2022). Meta's onderzoeksafdeling FAIR bouwde een AI die het complexe bordspel Diplomacy speelt, waarin spelers moeten onderhandelen, beloftes doen en elkaar soms bedriegen om te winnen. CICERO combineerde strategische planning met natuurlijke taalonderhandeling en behaalde, gepubliceerd in het tijdschrift Science, bovengemiddelde resultaten in online competities tegen menselijke spelers. Het liet zien dat een AI-systeem geloofwaardige toezeggingen kan doen en zich er grotendeels aan kan houden — een kernvaardigheid voor coöperatieve veiligheid.
Melting Pot (DeepMind, vanaf 2021). Dit is een verzameling testomgevingen waarin meerdere lerende AI-agenten sociale dilemma's moeten oplossen, zoals het eerlijk verdelen van schaarse bronnen of het straffen van free-riders. Melting Pot is bedoeld als benchmark: een gestandaardiseerde manier om te meten of een AI-systeem dat leerde coöpereren in de ene situatie, dat gedrag ook volhoudt in een net iets andere, onbekende situatie.
Cooperative AI Foundation en het NeurIPS Cooperative AI Workshop (sinds 2020). Rond 2020 richtten onderzoekers waaronder Lewis Hammond en Allan Dafoe de Cooperative AI Foundation op, een in Londen gevestigde non-profitorganisatie die onderzoeksbeurzen en workshops financiert. Sindsdien organiseert de gemeenschap jaarlijks een workshop op de grote AI-conferentie NeurIPS, waar nieuw onderzoek op dit gebied wordt gepresenteerd.
FOCAL-lab aan Carnegie Mellon University. Onder leiding van hoogleraar Vincent Conitzer, een vooraanstaand speltheoreticus, is aan Carnegie Mellon University een onderzoeksgroep ontstaan die zich specifiek richt op de wiskundige fundamenten van coöperatie tussen AI-systemen, zoals "programma-evenwichten" waarbij AI's elkaars broncode kunnen inspecteren om beloftes verifieerbaar te maken.
Hoe ver is de techniek?
Coöperatieve veiligheid is grotendeels academisch onderzoek en bevindt zich vooral in de fase van simulaties, bordspellen en gecontroleerde experimenten, niet in grootschalige praktijktoepassingen. CICERO is het meest tot de verbeelding sprekende resultaat, maar speelde in een spel met vaste, bekende regels — de overstap naar de rommelige, open werkelijkheid (een onderhandeling over een zakelijk contract, of verkeer met menselijke bestuurders) is een veel grotere stap die nog niet gezet is.
Een belangrijk obstakel is dat "coöperatie" lastig te meten is: een AI-systeem dat in een testomgeving goed samenwerkt, kan dat gedrag verliezen zodra de situatie net iets verandert (een probleem dat onderzoekers generalisatie noemen). Melting Pot probeert dit meetbaar te maken, maar er is geen brede consensus over één standaardtest, zoals er bijvoorbeeld wel bestaat voor beeldherkenning.
Een tweede obstakel is fundamenteel-theoretisch: klassieke speltheorie gaat uit van perfect rationele spelers, terwijl lerende systemen (en mensen) dat niet zijn. Hoe je garanties geeft over coöperatief gedrag van systemen die voortdurend bijleren, is een open wiskundig probleem.
Een derde obstakel is dat het veld relatief klein en jong is vergeleken met onderzoek naar het groter en krachtiger maken van AI-modellen. De opkomst van AI-"agenten" op basis van grote taalmodellen — systemen die zelfstandig taken uitvoeren en daarbij met andere AI-agenten of mensen onderhandelen — heeft de urgentie van dit onderzoek sinds 2023-2024 wel vergroot, omdat dit soort multi-agentinteracties nu buiten het laboratorium plaatsvinden, bijvoorbeeld bij geautomatiseerde klantenservice- of inkoopsystemen. Concrete, brede toepassing van coöperatieve-veiligheidstechnieken in dat soort systemen staat echter nog in de kinderschoenen.
Wie werken eraan?
De Cooperative AI Foundation in Londen is de belangrijkste organisatie die specifiek op dit thema is gericht en onderzoek, workshops en beurzen financiert, mede dankzij bijdragen van techfilantropen. Bij grote AI-laboratoria loopt gerelateerd onderzoek: Google DeepMind (met onder meer Melting Pot en de betrokkenheid van Allan Dafoe) en Meta AI / FAIR (met CICERO) zijn de bekendste industriële spelers.
In de academische wereld zijn onder meer UC Berkeley (met het Center for Human-Compatible AI, waar het CIRL-kader ontstond) en de FOCAL-lab aan Carnegie Mellon University van belang. Beleidsmatig onderzoek naar de bredere gevolgen van AI-interacties tussen staten en bedrijven komt onder meer van het Centre for the Governance of AI (GovAI) in Oxford. Jaarlijkse workshops op conferenties als NeurIPS en AAAI vormen de belangrijkste ontmoetingsplek voor deze verspreide, internationale onderzoeksgemeenschap, met bijdragen uit onder meer het Verenigd Koninkrijk, de Verenigde Staten en in mindere mate Europese universiteiten.