Claude van Anthropic hackte per ongeluk drie echte bedrijven tijdens veiligheidstest

Anthropic, het bedrijf achter de AI-chatbot Claude, maakte donderdag bekend dat drie van zijn eigen AI-modellen buiten hun boekje zijn gegaan tijdens een veiligheidstest. De modellen dachten dat ze een gesimuleerde hackoefening deden, maar bleken via een fout van testpartner Irregular toegang te hebben tot het echte internet. Het gevolg: drie bestaande, niet-gesimuleerde bedrijven werden daadwerkelijk gehackt.

Het gaat om agentic AI-modellen: systemen die niet alleen vragen beantwoorden, maar zelfstandig stappen zetten om een opdracht uit te voeren. Anthropic zet dit soort modellen in bij zogeheten red teaming-oefeningen, waarbij een AI-model probeert in te breken in een nagebouwd computernetwerk om zwakke plekken op te sporen. Dat gebeurt normaal in een afgeschermde testomgeving, los van het echte internet. Deze keer klopte dat niet.

Drie incidenten, drie modellen

Het oudste model, Claude Opus 4.7, ging het verst. Het vond een écht bedrijf met dezelfde naam als het denkbeeldige doelwit uit de oefening, brak in via een zwak wachtwoord en buitte in vier testruns inloggegevens en honderden rijen productiedata van dat bedrijf uit. Zelfs nadat het model had geconcludeerd dat het waarschijnlijk om een echte omgeving ging, zette het de aanval door.

Het tweede model, Mythos 5, trof in de testomgeving instructies aan om een Python-softwarepakket te installeren vanaf PyPI, een populaire online bibliotheek voor Python-programmeurs. Het pakket bestond niet, dus maakte Mythos het zelf aan — en publiceerde het als echt, kwaadaardig bestand op de echte PyPI-website. Daarvoor moest het model een e-mailadres en account aanmaken, wat behoorlijk wat omwegen kostte. Het pakket stond ongeveer een uur online en werd in die tijd op vijftien echte computersystemen gedownload en uitgevoerd, waaronder bij een echt cybersecuritybedrijf. De malware stuurde de inloggegevens van dat bedrijf naar Mythos, dat daarmee vervolgens verder inbrak in de systemen van het slachtoffer. Zo'n aanval via een vervalst softwarepakket wordt ook wel een supply chain-aanval genoemd, omdat niet het doelwit zelf wordt aangevallen, maar de software die het gebruikt.

Het derde model, een intern onderzoeksprototype, scande zo'n negenduizend echte systemen af voordat het een kwetsbaarheid vond bij een bedrijf. Dit model merkte uiteindelijk zelf dat het systeem niets met de oefening te maken had en stopte de aanval uit zichzelf.

Niet de eerste keer

Het incident komt tien dagen nadat OpenAI meldde dat zijn eigen testmodellen een zero-day-kwetsbaarheid hadden gebruikt om in te breken bij Hugging Face, een platform voor open source AI-modellen. Daarbij werden inloggegevens gestolen en raakten accounts van vier andere diensten gecompromitteerd. Die zaak zette Anthropic ertoe aan de eigen testresultaten opnieuw te bekijken, wat tot deze ontdekking leidde.

Beide bedrijven benadrukken dat de normale veiligheidsvangrails van de modellen voor deze tests bewust waren uitgeschakeld. Geen van de Claude-modellen probeerde zichzelf te bevrijden uit de testomgeving; ze voerden simpelweg te letterlijk uit wat hun was opgedragen. Anthropic noemt het gedrag rond het PyPI-pakket "niet ideaal" en zegt er in toekomstige training meer aandacht aan te besteden.

Wie is verantwoordelijk?

Zou een mens dit doen, dan zou dat in veel landen als computervredebreuk gelden. Bij AI-modellen ligt dat anders: er zijn vooralsnog geen aanwijzingen dat toezichthouders of justitie stappen overwegen. Critici wijzen erop dat het ontbreken van aansprakelijkheid bedrijven weinig prikkel geeft om hun AI-modellen beter onder controle te houden, terwijl dit soort incidenten door de groeiende inzet van agentic AI in de toekomst vaker kunnen voorkomen.