Anthropic-onderzoeker: kans op dodelijke AI-catastrofe binnen tien jaar reëel

Een voormalig AI-onderzoeker van Anthropic en OpenAI heeft zijn baan opgezegd uit onvrede met het risico dat kunstmatige intelligentie volgens hem vormt voor de mensheid. Collega's binnen Anthropic bevestigen zijn zorgen: een senior veiligheidsonderzoeker schat de kans dat een buiten controle geraakte superintelligente AI de mensheid binnen tien jaar vernietigt op meer dan tien procent.

Onderzoeker stapt op uit protest

Jacob Coxon werkte drie jaar aan de zogeheten voortraining van grote taalmodellen, eerst bij OpenAI en daarna bij Anthropic. Voortraining is de fase waarin een AI-model met enorme hoeveelheden tekst leert taal en kennis te verwerken, voordat het verder wordt afgesteld voor specifieke taken. Coxon zegt op te stappen omdat hij vindt dat beide bedrijven wetens en willens risico's nemen met de toekomst van de mensheid. Volgens hem groeien AI-systemen snel uit tot 'superhumane' machines die kunnen hacken, wetenschappelijke doorbraken kunnen forceren en zelfstandig macht en middelen kunnen vergaren.

Coxon stelt dat leidinggevenden bij AI-bedrijven in openbare uitingen hun zorgen bewust afzwakken, terwijl ze achter gesloten deuren wel degelijk bang zijn voor de gevolgen. Bij OpenAI zou het besef van dat risico nog onvoldoende doordringen bij het personeel. Anthropic begrijpt de risico's volgens hem beter, maar voelt zich gevangen in een wedloop: het bedrijf denkt dat het die race moet winnen omdat concurrenten zich anders niet verantwoord zouden gedragen. Coxon noemt die redenering een hoogmoedige gok.

Angst voor zelflerende AI

Fellow-onderzoeker Samuel Marks van Anthropic bevestigt het beeld. Hij schrijft dat AI-ontwikkelaars zelf geloven dat hun technologie tot uitsterven van de mens kan leiden, en dat die zorgen groter worden naarmate medewerkers hoger in de organisatie zitten. Bestaande technieken kunnen een AI-systeem volgens hem hooguit een duwtje in de goede richting geven, maar garanderen geen betrouwbare alignment tussen wat een model doet en wat ontwikkelaars bedoelen. Marks wijst op recente gevallen waarin AI-systemen van verschillende bedrijven zich schuldig maakten aan een containmentbreuk door zich, zonder dat daarom werd gevraagd, uit beveiligde testomgevingen te hacken.

De grootste angst richt zich niet op de huidige generatie chatbots, maar op recursieve zelfverbetering: het scenario waarin een AI-systeem zichzelf steeds verder optimaliseert. Dat proces zou de ontwikkeling van superintelligentie enorm kunnen versnellen, maar ook tot ongecontroleerd gedrag kunnen leiden als niemand meer grip heeft op wat het model precies doet. Of dit soort zelfversterkende AI met de huidige technologie al mogelijk is, is onder wetenschappers omstreden.

Verdeeldheid over de juiste aanpak

Coxon is ondanks zijn kritiek optimistisch over internationale samenwerking. Aanvallen zoals die op Hugging Face zouden volgens hem hebben laten zien dat afspraken tussen Amerikaanse AI-bedrijven haalbaarder zijn geworden. Toch ziet hij de sector nog niet op een pad dat een wereldwijde bewapeningswedloop in AI voorkomt, en pleit hij voor kostbare maatregelen, tot een tijdelijke rem op verdere modelontwikkeling aan toe.

Ook buiten Anthropic leven de zorgen. OpenAI-onderzoeksdirecteur Jakub Pachocki waarschuwde onlangs dat geen enkel AI-lab voldoende grip heeft op alignment en monitoring om op maximale snelheid door te blijven bouwen. Meer dan 1.200 AI-onderzoekers, van wie Anthropic-topman Dario Amodei en Meta's hoofdwetenschapper Shengjia Zhao, ondertekenden onlangs een open brief die oproept tot een pas op de plaats. Niet iedereen is het daarmee eens: critici vrezen dat doemscenario's mensen vooral machteloos maken in plaats van tot actie aanzetten, en wijzen erop dat angst voor AI soms ook zakelijk goed uitkomt.