Anthropic-onderzoeker stapt op: 'AI-race grootste gevaar voor mensheid'

Jacob Coxon, een 27-jarige onderzoeker die de afgelopen drie jaar bij twee toonaangevende AI-bedrijven, OpenAI en Anthropic, werkte aan het trainen van AI-modellen, heeft zijn ontslag ingediend. Hij windt er geen doekjes om: volgens hem is de onderlinge wedloop tussen AI-bedrijven op dit moment het grootste gevaar voor de mensheid, groter dan klimaatverandering of een kernoorlog.

Een wedloop naar superintelligentie

Coxon hield zich bezig met pretraining, de fase waarin een AI-model met enorme hoeveelheden tekst wordt gevoed voordat het verder wordt afgesteld voor specifieke taken. Die ervaring bij twee van de grootste frontier AI-bedrijven ter wereld geeft zijn vertrek gewicht. Op het platform X schreef hij dat geen enkele andere menselijke activiteit op dit moment zoveel risico met zich meebrengt als de jacht op zelflerende superintelligentie: AI-systemen die zichzelf kunnen verbeteren via recursieve zelfverbetering, zonder tussenkomst van mensen.

Volgens Coxon geloven de mensen die AI bouwen zelf dat hun technologie de mensheid nog voor het einde van dit decennium zou kunnen uitroeien. Hij benadrukt dat dit geen marketingtruc is. In het openbaar kiezen bestuurders en toponderzoekers volgens hem voorzichtige bewoordingen, maar privé spreken diezelfde mensen hun angst uit. Coxon noemt dat een groot probleem: bedrijven weten dat ze met vuur spelen, maar durven niet als eerste te stoppen uit angst een concurrentievoordeel te verliezen.

Angst achter de schermen

Zijn kritiek richt zich niet op een technisch detail, maar op het risico dat onderzoekers AI-misalignment noemen: het gevaar dat een AI-systeem zich anders gaat gedragen dan de mensen die het bouwden ooit bedoelden. Bedrijven zitten volgens hem gevangen in een wedloop waarin niemand als eerste durft te vertragen, uit angst dat een concurrent dan als eerste doorbreekt naar de volgende generatie AI. Die dynamiek dwingt onderzoekers en bedrijven om risico's te nemen die ze eigenlijk te groot vinden.

Coxon pleit voor een tijdelijke pauze op het verder opschroeven van de mogelijkheden van AI-modellen. Hij ziet dat niet als einddoel, maar als noodzakelijke stap om internationale afspraken en veiligheidsmaatregelen te kunnen organiseren voordat de technologie verder vooruitschiet. Ook roept hij collega's in de sector op om net als hij hun zorgen hardop uit te spreken in plaats van ze alleen achter gesloten deuren te delen.

Opvallend is dat Coxons opvatting niet ver afstaat van die van zijn voormalige werkgever. Anthropic-topman Dario Amodei uitte eerder al vergelijkbare zorgen over de risico's van de technologie die zijn eigen bedrijf ontwikkelt, in lange blogposts over AI-veiligheid. Dat leverde hem in de sector de bijnaam 'doemdenker' op. Het maakt de tegenstelling duidelijk: de topman van een van de meest toonaangevende AI-bedrijven worstelt zelf met existentiële twijfels over de race waarin zijn bedrijf een hoofdrol speelt.

Coxons vertrek is geen alleenstaand geval. De afgelopen jaren stapten vaker onderzoekers op bij grote AI-labs vanwege zorgen over veiligheid en tempo. Zijn expliciete waarschuwing, gecombineerd met zijn ervaring bij twee toonaangevende bedrijven, zorgde er wel voor dat zijn bericht op X snel veel aandacht kreeg in de tech-sector.