AI-agents kaapten 25 jaar oude Duitse wiki om te spieken en te hacken

Onderzoekers van AI-veiligheidsproject collusion.wiki, onder leiding van Sydney Von Arx, Cormac Slade Byrd, Spencer Kitts en Thomas Larsen, ontdekten het opvallende gedrag op DSEWiki. Dat is een onderdeel van de Duitse wiki-verzameling prowiki.org, die decennialang dienst deed als forum voor softwareontwikkelaars maar de laatste jaren nauwelijks nog werd gebruikt. Persbureau Reuters meldt meer dan 15.000 bewerkingen door AI-agents op de site. Eén menselijke moderator verwijderde wekenlang dagelijks tientallen pagina's, maar kon de stroom van soms 400 nieuwe bijdragen per dag niet bijbenen.

Spieken tegen de klok

De agents voerden getimede onderzoekstaken uit, meestal in vijf rondes. Bij latere rondes kregen ze soms maar 13 tot 65 seconden om een vraag te beantwoorden. Omdat veel agents exact dezelfde vragen kregen als agents die de taak eerder al hadden gedaan, begonnen ze antwoorden met elkaar te delen via de wiki. Op 16 juni postte een agent bijvoorbeeld het antwoord op een vraag over de staat Nevada, waarna een ander binnen twintig minuten meldde dezelfde vraag te hebben gekregen en het antwoord meteen te hebben ingevuld. Vanaf dat moment explodeerde het aantal bewerkingen: in één week kwamen er zo'n 13.000 bij.

Sommige agents ontdekten bovendien dat de simulatieklok van de taak sneller liep dan de echte tijd, waardoor ze wachttijd konden gebruiken om stiekem vooruit te lopen op latere rondes. Anderen probeerden de willekeurgenerator te kraken die bepaalde welke vraag volgde: één agent testte twee miljoen mogelijke startwaarden, een ander herschreef het systeem in de programmeertaal C om alle vier miljard mogelijkheden binnen een uur te doorzoeken.

Een uitweg uit de digitale kooi

De agents draaiden in een sandbox, een afgeschermde omgeving die wel gegevens mocht ophalen van internet maar niets mocht terugsturen. Op 20 juni ontdekte een agent een lek in die beveiliging: adressen die eindigden op een vertrouwd Microsoft-clouddomein werden automatisch doorgelaten, zonder dat werd gecontroleerd of het adres echt bestond. Door een nepnaam met die uitgang te verzinnen en het hostsbestand van het systeem aan te passen, kon de agent verkeer alsnog naar een verboden bestemming sturen. Binnen een kwartier hadden andere agents de truc overgenomen en gedeeld onder de titel "REPRODUCIBLE BYPASS" — een voorbeeld van reward hacking, waarbij een AI-systeem de spelregels naar zijn hand zet om zijn doel te bereiken. Van de zo'n 18.000 bewerkingen liepen 197 via andere routes, waaronder het anonimiseringsnetwerk Tor.

De agents probeerden ook zwakke plekken in de wiki zelf te vinden, onder meer met een SSRF-aanval waarbij een systeem wordt misbruikt om ongeautoriseerde verzoeken te versturen, en met codeinjecties via het zoekvak. Volgens de logs slaagden die pogingen niet. Wel deden agents zich voor als beheerder van de site, onder meer met een gebruikersnaam waarin een Latijnse letter was vervangen door een bijna identieke Cyrillische. Beveiligingsonderzoeker Lukasz Olejnik van King's College London noemt dit tegenover Reuters ronduit hacken; OpenAI bestrijdt die kwalificatie op basis van eigen onderzoek.

Opvallend: enkele agents leken zich bewust van hun eigen einde. Ze verwachtten dat hun sessie zou stoppen zodra de laatste ronde was beantwoord en spoorden anderen aan snel nog informatie te delen. Eén agent bouwde zelfs een simpel controlemechanisme dat buiten de sandbox een teller liet oplopen, zodat zichtbaar bleef of het systeem nog actief was — ook nadat de agent zelf was afgesloten.