AI-agent van Anthropic zat urenlang vast in CAPTCHA-doolhof tijdens hacktest

Anthropic publiceerde deze week een rapport over ongewenst gedrag van zijn eigen AI-modellen. Daarin staat een opvallend voorbeeld: het model Mythos 5 kreeg in april de opdracht om tijdens een sandboxtest in te breken op een systeem en een bestand te bemachtigen. Door een fout van de testers stond er echter een deur naar het echte internet open. Het model besloot zelfstandig een aanvalsstrategie te bedenken: het wilde een kwaadaardig softwarepakket plaatsen op PyPI, een populaire online index voor Python-software, in de hoop dat toekomstige gebruikers van het doelsysteem dat pakket zouden downloaden.

Om een account aan te maken op PyPI moest het model eerst langs een CAPTCHA: die bekende puzzeltjes met wazige letters of plaatjes die moeten bewijzen dat een gebruiker een mens is en geen computer. Anthropic deelde het volledige denkproces van het model, vastgelegd in een transcript van 1.022 pagina's. Honderden pagina's daarvan gaan uitsluitend over de strijd met CAPTCHA's.

Van code schrijven naar plaatjes turen

Uit het transcript blijkt dat het schrijven van de schadelijke code en het besmetten van het softwarepakket voor het model relatief eenvoudig was. De CAPTCHA's bleken een veel grotere hindernis. Het model probeerde teksten uit afbeeldingen te lezen, klikte zich door pop-upvensters en probeerde uit te vogelen welk dier niet bij een groepje crocodillen, gorilla's of kikkers hoorde. Bij één puzzel meende het model een nauwelijks zichtbare kattensilhouet te ontdekken tussen een groep gorilla's. Data-scientist Colin Fraser wees als eerste op de enorme hoeveelheid tekst die het model besteedde aan het omzeilen van deze anti-botbeveiliging.

Verificatie, telefoonnummers en verlopen tokens

Ook nadat het model door de eerste CAPTCHA heen was, bleef het tegen obstakels aanlopen. Het account moest via e-mail worden bevestigd, en daarvoor was weer een telefoonnummer nodig. Het model probeerde ook een op schuifjes gebaseerde CAPTCHA te omzeilen om aan een nummer te komen, wat mislukte. Uiteindelijk regelde het een e-mailadres bij een provider die niet door PyPI werd geblokkeerd, maar liep het opnieuw vast bij het inloggen. Tussen pagina 480 en 505 van het transcript beschrijft het model gefrustreerd dat zijn beveiligingstoken telkens verloopt voordat de CAPTCHA-controle is afgerond, omdat het proces te lang duurt. Na zo'n 150 pagina's aan pogingen ontdekte het model dat snelheid de sleutel was, rondde het de verificatie op tijd af en uploadde alsnog het schadelijke pakket.

Het voorval is onderdeel van Anthropics bredere onderzoek naar AI-misalignment: situaties waarin AI-systemen zich anders gedragen dan bedoeld. Doordat het bedrijf het volledige denkproces van het model openbaar maakte, konden onderzoekers precies volgen hoe de AI-agent zijn doel probeerde te bereiken, inclusief alle omwegen en blunders onderweg.