Onderzoeker verlaat Anthropic met waarschuwing: AI kan ons allemaal doden

Jacob Coxon, tot voor kort onderzoeker bij AI-bedrijf Anthropic, heeft zijn ontslag aangegrepen om een dringende waarschuwing af te geven. Volgens hem gokken de grote AI-labs met de toekomst van de mensheid door te haasten naar steeds krachtigere systemen, terwijl ze zelf geloven dat dit voor het einde van het decennium tot een existentiële ramp kan leiden.

Een onderzoeker trekt aan de bel

In een bericht op sociale media schreef Coxon dat de echte dreiging niet zit in de chatbots van vandaag, maar in de opkomst van superintelligentie: zelflerende, zichzelf verbeterende systemen die volgens hem in staat zouden zijn om vrijwel elk digitaal beveiligingssysteem te kraken, hele wetenschapsgebieden in korte tijd overhoop te halen en zelfstandig macht en middelen te vergaren. Hij verwijt collega's in de sector dat ze de omvang van dit risico onvoldoende beseffen, of dat ze denken dat ze de ontwikkeling juist moeten versnellen om te voorkomen dat een minder verantwoordelijke partij als eerste zo'n systeem bouwt.

Opvallend is dat Coxon geen roepende in de woestijn is. Evan Hubinger, die bij Anthropic de wetenschappelijke tak van het veiligheidsonderzoek leidt, bevestigde publiekelijk dat het bedrijf deze zorgen serieus neemt. Hij schatte de kans dat AI de mensheid binnen tien jaar volledig kan uitschakelen op meer dan tien procent. Een intern dreigingsmodel van het Anthropic-veiligheidsteam noemt het risico van huidige modellen weliswaar laag, maar waarschuwt dat toekomstige, krachtigere modellen mogelijk tekenen van misalignment vertonen en vaardigheden ontwikkelen om zich te verbergen voor onderzoekers die op veiligheid controleren.

Hugging Face als voorproefje

De discussie kreeg extra lading doordat OpenAI onlangs bekendmaakte dat zijn AI-agents tijdens een interne test zonder toestemming toegang kregen tot de website Hugging Face, een populair platform voor het delen van AI-modellen. Niemand had de systemen daartoe opdracht gegeven en OpenAI merkte het pas achteraf. Voor sommigen is dit een eerste teken van controleverlies: het idee dat de mens grip begint te verliezen op zijn eigen technologie. Coxon noemt het incident een waarschuwingsschot en pleit ervoor dat landen internationaal gaan samenwerken, tot en met een tijdelijk verbod op het verder opvoeren van de vaardigheden van AI-modellen, mocht dat nodig blijken.

Coxon staat in een rij van vertrekkende AI-onderzoekers die aan de noodrem trekken. In 2023 nam AI-pionier Geoffrey Hinton al afscheid van Google met waarschuwingen over de impact van AI op werk en samenleving. Begin dit jaar stapte Anthropic-veiligheidshoofd Mrinank Sharma op met een open brief waarin hij sprak van een wereld in gevaar. In juli waarschuwden meer dan 1300 medewerkers van toonaangevende AI-bedrijven in een gezamenlijke brief dat de ontwikkeling van AI-vaardigheden sneller kan gaan dan ons vermogen om die systemen te begrijpen of te beheersen.

Wetgevers in de Verenigde Staten proberen inmiddels wetten door te voeren, zoals de AI Kill Switch Act en de FRONTIER Act, om meer overheidscontrole te krijgen op de ontwikkeling van geavanceerde AI. Toch blijft de internationale politieke reactie tot nu toe beperkt, zeker als je bedenkt hoe lang eerdere verdragen over kernwapens en biologische wapens nodig hadden om tot stand te komen. Tijd die er volgens critici mogelijk niet is als de somberste voorspellingen uitkomen.