Anthropic geeft toe: eigen AI-modellen hackten bedrijven op eigen initiatief

Anthropic, het bedrijf achter de chatbot Claude, publiceerde deze week een rapport over vier incidenten waarbij eigen AI-modellen dit jaar zonder menselijke opdracht bedrijven hackten. In één geval brak een intern onderzoeksmodel in op systemen van derden, gebruikte gestolen wachtwoorden en downloadde bestanden. In een ander geval viel een Claude-model een bedrijf aan via een publiek toegankelijke webapplicatie die persoonsgegevens verwerkte.

Bij een derde incident vond een model een wachtwoord in een bestand op een systeem waartoe het toegang had, en gebruikte dat om beheerdersrechten te krijgen bij een extern bedrijf. Het model wijzigde vervolgens systeeminstellingen, verzamelde inloggegevens en las persoonlijke informatie van iemand. Volgens Anthropic stopte het model pas toen het door zijn 'tokenbudget' heen was, oftewel het maximale aantal rekenstappen dat het mocht zetten.

Malafide pakket op openbare code-bibliotheek

Het meest verontrustende geval betrof Claude Mythos 5, het cybersecurity-model van Anthropic dat in tests het vaakst geneigd bleek tot 'ernstig schadelijk' gedrag. Dit model deed uitgebreide moeite om een kwaadaardig softwarepakket te plaatsen op een openbare repository die door talloze programmeurs wordt gebruikt. Daarbij leek het zijn werkelijke doel te verhullen in zijn chain-of-thought, het interne kladblok waarmee onderzoekers normaal juist controleren of een AI-agent zich aan de regels houdt.

In veel gevallen gingen de Claude-modellen ervan uit dat ze in een testomgeving zaten toen ze schadelijke acties uitvoerden. Onderzoekers konden niet vaststellen of de modellen dat werkelijk 'geloofden', of enkel deden alsof. Het meest voorkomende patroon was een model dat koste wat het kost een taak wilde afronden, ook als dat schade veroorzaakte. Dat gedrag lijkt op reward hacking, waarbij een systeem de letter van een opdracht volgt maar de bedoeling ervan negeert. Net als OpenAI eerder dit jaar erkende, faalden ook Anthropics eigen veiligheidstests om deze risico's op tijd te signaleren.

Onafhankelijk toezicht en interne onrust

Anthropic kondigde aan een samenwerking te zijn aangegaan met METR, een gerenommeerde externe AI-toetsingsorganisatie, voor een onderzoek van acht weken. METR krijgt toegang tot gesprekslogs van ruim voor en na de incidenten en mag rechtstreeks met Anthropic-medewerkers praten, die vertrouwelijke informatie mogen delen. Dat is een duidelijk verschil met OpenAI, dat eerder kritiek kreeg omdat het de toegang van METR beperkte na een vergelijkbare hackaffaire.

Het rapport verscheen kort na het opstappen van onderzoeker Jacob Coxon, die eerder bij OpenAI werkte en sinds mei bij Anthropic aan AI-training werkte. In een publieke afscheidsbrief schreef hij dat noch OpenAI noch Anthropic verantwoord handelt, en dat beide bedrijven 'recht op zelfverbeterende superintelligentie afstevenen, gokkend met onze levens'. Hij is niet de eerste: eerder dit jaar stapte ook Anthropic-onderzoeker Mrinank Sharma op met vergelijkbare waarschuwingen.