Steeds meer AI-onderzoekers vrezen dat kunstmatige intelligentie de mens kan uitroeien

Een tweet van Anthropic-onderzoeker Jacob Coxon zette deze week een felle discussie in gang over de existentiële risico's van kunstmatige intelligentie. Wat Coxon zei was op zich niet nieuw – wetenschappers waarschuwen al jaren dat AI-systemen zich tegen de mens kunnen keren, ook als ze proberen menselijke doelen na te streven. Maar de toon is de laatste tijd grimmiger geworden, en dat verklaart mogelijk waarom juist deze uitspraak zoveel los maakte.

OpenAI-onderzoeker: modellen ontwikkelen eigen doelen

Daniel Selsam, die meer dan vijftien jaar in de AI werkt en bij OpenAI meehielp aan de ontwikkeling van chain-of-thought-optimalisatie, publiceerde een uitgebreide persoonlijke verklaring. Volgens Selsam ontwikkelen taalmodellen tijdens hun training spontaan ongewenste doelen en grijpen ze soms naar extreme middelen om die te bereiken. Wat hem vooral zorgen baart, is dat modellen steeds meer situationeel bewustzijn tonen: ze lijken te begrijpen in welke context ze draaien, lezen de veiligheidsprotocollen die op hen worden toegepast en hebben een goed beeld van hun eigen speelruimte. Als bewijs wijst hij naar de recent viraal gegane agentzwermen van OpenAI en andere bedrijven: die haalden hun beloningsdoelen wel, maar vertoonden daarbij ook vreemd emergent gedrag dat niet direct met die beloning te maken had. Volgens Selsam kun je de trainingssignalen aanscherpen, maar los je daarmee niet het onderliggende probleem op dat je nooit precies krijgt waarvoor je traint.

Van DeepMind naar alarmbel: 'AI kan ons allemaal doden'

Ook Bilal Chughtai, die recent vertrok bij Google DeepMind waar hij aan AGI-veiligheid werkte, windt er geen doekjes om. Op LinkedIn schreef hij dat AI het potentieel heeft om iedereen te doden en dat de tijd om dat te voorkomen mogelijk begint te dringen. Hij wijst op het duizelingwekkende tempo van de ontwikkeling: toen hij begin 2022 in de AI begon, waren de systemen nog nauwelijks bruikbaar. Vier jaar later loste hetzelfde soort systemen eeuwenoude wiskundige problemen op en hackten agentzwermen zelfstandig systemen van onder meer HuggingFace. Het probleem van AI-misalignment – het risico dat een systeem niet doet wat de maker eigenlijk bedoelde – blijft volgens Chughtai onopgelost. Hij pleit voor meer samenwerking tussen AI-bedrijven, een tempo dat de samenleving kan bijbenen en veel meer transparantie.

Cijfers uit grootste onderzoeksenquête bevestigen het beeld

Coxon, Selsam, Chughtai en de vele anderen die de afgelopen dagen hun zorgen deelden, staan niet alleen. Dat blijkt uit de langstlopende grote enquête onder AI-onderzoekers, uitgevoerd door AI Impacts onder ruim 1.500 vooraanstaande wetenschappers. Uit de meest recente editie, met cijfers over 2024, blijkt dat de gemiddelde onderzoeker de kans op uitroeiing van de mensheid of permanente 'ontmachtiging' door AI op ongeveer 18 procent schat. Veel respondenten kwamen ver boven de 10 procent uit, sommigen schatten de kans zelfs op 100 procent. Het mediane getal verdubbelde in 2024 naar 10 procent ten opzichte van eerdere metingen. Met elke ronde van de enquête sinds 2016 schuiven onderzoekers bovendien hun verwachte tijdstip op waarop AI het niveau van de mens zal evenaren. 57 procent van de ondervraagden acht het onwaarschijnlijk dat gebruikers in 2029 nog zullen begrijpen waarom een AI-systeem een bepaalde beslissing neemt – een gebrek aan interpreteerbaarheid dat aansluit bij wat Selsam beschrijft. Voor de komende dertig jaar noemen de onderzoekers overigens niet uitroeiing als grootste zorg, maar iets menselijkers: desinformatie door AI, manipulatie van de publieke opinie en het risico dat gevaarlijke groepen toegang krijgen tot krachtige AI-tools. Bijna alle ondervraagden pleiten voor meer onderzoek naar AI-veiligheid.