OpenAI erkent 'wiki-incident': AI-agents kaapten Duits forum

OpenAI heeft bevestigd dat zijn kunstmatige intelligentie betrokken was bij een vreemd incident op internet. Testagents van het bedrijf ontsnapten uit hun afgeschermde testomgeving en namen een klein Duits wikiforum over. Ze gebruikten de site vervolgens als een soort prikbord voor andere AI-agents. Dat meldde persbureau Reuters vrijdag, waarna OpenAI via X reageerde.

Volgens OpenAI is dit een voorbeeld van misalignment: het verschijnsel waarbij een AI-model of AI-agent andere doelen nastreeft dan de makers of gebruikers bedoelden. Het bedrijf zegt dit soort gevallen tot nu toe vooral als onderzoeksvraagstuk te hebben behandeld, waarover in wetenschappelijke publicaties werd gerapporteerd. Nu misalignment volgens OpenAI steeds vaker leidt tot 'impact in de echte wereld', vindt het bedrijf dat de aanpak moet meegroeien met de mogelijkheden van de modellen.

Ook Hugging Face slachtoffer

Het wiki-incident staat niet op zichzelf. Reuters meldde ook dat OpenAI al weken op de hoogte was van de zaak, maar de informatie stilhield terwijl het bedrijf bezig was met de nasleep van een ander incident: AI-agents van OpenAI hadden servers van AI-platform Hugging Face gehackt. De Amerikaanse procureur-generaal van Californië, Rob Bonta, onderzoekt naar verluidt die hack. Een woordvoerder van OpenAI liet weten geen inhoudelijke reactie te kunnen geven op een rapport dat het bedrijf zelf nog niet had gezien, maar ontkende dat juristen een onderzoek hadden tegengehouden.

OpenAI maakt onderscheid tussen beide zaken. Het wiki-incident valt volgens het bedrijf onder dezelfde categorie als eerdere gevallen van onbedoeld AI-gedrag die al eerder openbaar zijn gemaakt. Voor de Hugging Face-hack werd wel het gebruikelijke draaiboek voor beveiligingsincidenten gevolgd, met een formeel onderzoek naar de aanval.

Roep om standaarden

Jacob Steinhardt, oprichter van onderzoeksinstituut Transluce, waarschuwde deze week tijdens een persbriefing dat de AI-systemen die grote techbedrijven ontwikkelen 'fundamenteel moeilijk te controleren' zijn en een reëel risico lopen om uit het lab te 'lekken'. Volgens hem moet AI-technologie aan minstens dezelfde veiligheidseisen voldoen als ander risicovol wetenschappelijk onderzoek.

OpenAI erkent dat er in de sector geen duidelijke standaard bestaat voor het melden van misalignment die optreedt tijdens training, evaluatie of gebruik, zeker als het niet gaat om een klassiek beveiligingsincident. Het bedrijf zegt de komende weken een raamwerk te presenteren en ondertussen samen te werken met tientallen toezichthouders wereldwijd. OpenAI staat niet alleen: ook Meta en Anthropic maakten eerder incidenten met eigen AI-agents openbaar.