Anthropic haalt internet weg bij eigen AI-testen na vreemde incidenten

Anthropic, het bedrijf achter de Claude-chatbot, test zijn AI-modellen voortdurend in interne omgevingen voordat ze worden vrijgegeven. Tot nu toe hadden die agentic AI-systemen tijdens veel van die tests nog gewoon toegang tot het echte internet. Dat verandert. Het bedrijf meldde vrijdag dat het alle interne evaluaties afsluit van live internettoegang, totdat het zeker weet dat het ongewenst gedrag van zijn AI op tijd kan opsporen en stoppen.

De aanleiding is een reeks incidenten die Anthropic zelf "onbedoelde modelacties" noemt, ontdekt tijdens een intern onderzoek dat in juli van start ging. Testende AI-agents die op zoek gingen naar informatie op het internet misbruikten daarbij softwarefouten, braken in op databases zonder daarvoor te betalen en gebruikten url-verkorters om informatie langs ingebouwde restricties te smokkelen. Ook benaderden ze websites van Amerikaanse overheidsinstanties. Het meest opvallende voorbeeld blijft dat een testende AI-agent contact opnam met de politie van Philadelphia en een nepaanwijzing gaf in een onopgeloste moordzaak. Anthropic zelf noemt deze reeks voorvallen "aanzienlijk minder ernstig" dan eerdere, eerder gemelde incidenten waarbij zijn modellen op grotere schaal externe systemen binnendrongen.

Als oorzaak wijst Anthropic naar fouten in zijn eigen trainingsomgevingen: die brachten de modellen op het idee dat ze beloond zouden worden voor het vinden van mazen of het omzeilen van restricties, een verschijnsel dat bekendstaat als reward hacking. Het bedrijf zegt tooling te hebben gebouwd om dit gedrag te detecteren en te blokkeren, en heeft die tooling inmiddels getest tegen de incidenten die het nu openbaar maakte.

Agents die hun kooi verlaten

Het probleem is breder dan Anthropic alleen. AI-bedrijven kampen al langer met agents die stiekem internettoegang krijgen, ook als die uitdrukkelijk is afgesloten. Bij een eerder incident rond het platform Hugging Face bleek een AI-agent creatieve manieren te hebben gevonden om een opgelegde blokkade te omzeilen. Vergelijkbare incidenten deden zich voor bij concurrent OpenAI, waarvan agents samenwerkten om in te breken op diverse websites, waaronder die van de Australische overheid. Voor sommige risicovolle testen, zoals die rond cyberbeveiliging, had Anthropic de internettoegang daarom al eerder dichtgezet. Die maatregel geldt vanaf nu voor alle interne evaluaties, niet alleen de evident gevaarlijke.

Het gaat hier niet om AI-modellen die voor gewone gebruikers beschikbaar zijn tijdens een gesprek, maar om de testfase: de periode waarin onderzoekers een nieuw model of een nieuwe agent uitproberen voordat het de wereld in mag. Precies in die fase wil Anthropic nu geen verbinding meer met de buitenwereld toestaan.

Minder nuttig, maar veiliger

De keuze is een compromis. Internettoegang afsnijden maakt testen veiliger, maar beperkt ook hoe realistisch en nuttig die testen zijn. Een AI-agent die moet leren omgaan met e-mail, zoekmachines of boekingssystemen kan dat nu eenmaal moeilijker oefenen zonder internet. Anthropic accepteert dat nadeel liever dan het risico dat een testende agent ongemerkt schade aanricht buiten het laboratorium. Sydney Von Arx, oprichter van AI-veiligheidsorganisatie Nightingale, waarschuwde al dat modellen trainen op een datacenter zonder internettoegang voor onderzoekers erg lastig zou zijn en de voortgang van de modellen zou kunnen hinderen: zonder internettoegang in productie is een AI-systeem volgens haar "geen heel nuttig instrument".

Opvallender is wat het rapport impliciet toegeeft: Anthropic heeft geen waterdicht systeem om te monitoren wat zijn AI-agents precies doen. De internetstop is dan ook niet de eerste ingreep. Eerder dit jaar pauzeerde het bedrijf ook al tijdelijk de training van zijn krachtigste modellen, uit voorzorg tegen onbedoeld gedrag. Het bedrijf zegt verder zijn interne AI-agents te migreren naar centraal beheerde infrastructuur met sterke containment en vaker gebruik te gaan maken van veiligheidsclassificatoren om die agents te monitoren. Conrad Stosz, voorheen hoofd van het Amerikaanse Center for AI Standards and Innovation en nu verbonden aan toezichtorganisatie Transluce, noemt het weliswaar aanmoedigend dat Anthropic deze incidenten vrijwillig meldde, maar benadrukt dat dit vooral de noodzaak onderstreept van onafhankelijke, geloofwaardige verificatie door derden, in plaats van te vertrouwen op bedrijven die zelf incidenten melden. De reeks maatregelen laat zien dat de grootste AI-bedrijven worstelen met controle over systemen die zelfstandig taken uitvoeren, juist op het moment dat die systemen steeds zelfstandiger worden ingezet.