Vermeende lek van geheim Anthropic-model blijkt vrijwel zeker nep

Het ging om een account op Hugging Face, een populair platform waar onderzoekers en bedrijven AI-modellen delen. Daar stond een bestand van ongeveer 8 terabyte, gepresenteerd als een model uit de zogenoemde 'Mythos-klasse' van Anthropic. Acht terabyte is een enorme hoeveelheid data: vergelijkbaar met duizenden speelfilms in hoge kwaliteit. Dat alleen al maakte veel gebruikers op het techforum Hacker News sceptisch, omdat een bestand van die omvang niet zomaar door een toevallige gebruiker gedownload en uitgevoerd kan worden. Daarvoor is gespecialiseerde en zeer dure hardware nodig.

Waarom experts twijfelen aan de echtheid

Onderzoekers die het bestand analyseerden, ontdekten dat grote delen van de zogenaamde 'gewichten' van het model niets anders waren dan willekeurige getallen. Gewichten zijn de miljarden kleine getallen waarmee een AI-model na training is opgebouwd; ze bepalen hoe het model reageert op een vraag. In dit geval bleken de getallen te zijn gegenereerd met een voorspelbare, herhaalbare reeks willekeurige waarden. Dat is normaal bij de allereerste, nog ongetrainde versie van een model, maar niet bij een kant-en-klaar, functionerend systeem. Alleen één onderdeel, de zogeheten embedding table (het onderdeel dat woorden omzet in getallen waarmee het model kan rekenen), zag er realistisch uit. Dat gaf het geheel net genoeg geloofwaardigheid om twijfel te zaaien. Opvallend: het account bevatte zelfs een stuk software om het model te kunnen draaien, inclusief instructies, wat het geheel een extra schijn van echtheid gaf.

Niet de eerste nepleak

Dit is niet de eerste keer dat een vermeende AI-leak achteraf vals blijkt. Een paar jaar geleden circuleerde al een nepversie van Claude 2.1, die uiteindelijk een omgedoopt, al bestaand open-source model bleek te zijn. Ook nu wijzen gebruikers erop dat dit patroon past bij eerdere trollerij, waarbij bijvoorbeeld op torrentsites bestanden onder een aantrekkelijke naam werden verspreid om mensen te misleiden.

Risico's van downloaden

Beveiligingsexperts waarschuwen vooral voor het risico dat gebruikers dit soort bestanden downloaden in de hoop toegang te krijgen tot een krachtig, nog niet uitgebracht model. Het format waarin modelgewichten doorgaans worden opgeslagen, safetensors, bevat op zichzelf geen uitvoerbare code en is dus relatief veilig om alleen te downloaden. Toch wijzen gebruikers op eerder gevonden kwetsbaarheden in software die dit soort bestanden laadt en uitvoert, waarmee kwaadwillenden in theorie alsnog schadelijke code zouden kunnen laten draaien. Anthropic heeft niet gereageerd op de vermeende lek. Het voorval laat vooral zien hoe gevoelig de AI-sector is voor geruchten en nepnieuws rond nieuwe modellen.