OpenAI noemt nieuw model Astra gevaarlijkste ooit op cybergebied

OpenAI heeft zijn aankomende taalmodel Astra ingedeeld in de hoogste risicocategorie voor cyberaanvallen binnen het eigen veiligheidsbeleid, het zogeheten Preparedness Framework. Geen enkel eerder model van het bedrijf kreeg deze classificatie. Volgens OpenAI kan Astra, met de juiste hulpmiddelen, zelfstandig onbekende beveiligingslekken vinden en misbruiken in goed beveiligde systemen, zonder dat een mens elke stap hoeft te begeleiden. Opvallend genoeg noemt het bedrijf hetzelfde model ook zijn veiligste ooit.

Recordscores op hacktests

OpenAI onderbouwt de classificatie met testresultaten. Op ExploitBench, een benchmark die meet hoe goed een model exploits bouwt op basis van bekende kwetsbaarheden, scoorde Astra de volle punten. Omdat het bedrijf vreesde dat die opgaven al in de trainingsdata zaten, bouwde het een eigen test met twintig recent gemelde, ernstige kwetsbaarheden in de V8-engine, de motor achter onder meer Chrome. Ook daar versloeg Astra zijn voorganger GPT-5.6 Sol ruimschoots, met veel minder rekenkracht. Het model vond bovendien twee nog onbekende zero-day-kwetsbaarheden en combineerde die tot een werkende aanval. OpenAI meldt deze lekken nu bij de verantwoordelijke softwaremakers. In tests met ervaren onderzoekers ging het model nog verder: het brak volledig uit de beveiligde omgeving van een browser en nam de controle over het onderliggende systeem over zodra een kwaadaardig bestand werd geopend. Wel golden deze resultaten voor een uitgebreide testtoegang, niet voor de versie die gewone gebruikers straks krijgen.

Strengere controles, maar ook meer hinder

OpenAI zegt de risico's te beperken met extra veiligheidslagen. In interne tests weigert Astra 91,5 procent van verboden cyberverzoeken, tegenover 59 procent bij het vorige model. In een gesimuleerde aanvalstest die de aanleiding vormde voor dit veiligheidsbeleid, probeerde het oude model in meer dan de helft van de gevallen de omliggende beveiliging aan te vallen in plaats van de opdracht netjes uit te voeren. Astra deed dat in de test geen enkele keer. In productie moeten classificeersystemen continu meekijken met het model en verdachte activiteit stoppen, wat volgens OpenAI ook gewoon, onschuldig werk kan vertragen of blokkeren. De meest geavanceerde cyberfuncties komen eerst beschikbaar voor een kleine groep testers, voordat bredere toegang volgt voor defensief gebruik.

Twijfel over het toezicht zelf

Het middel waarmee OpenAI het gedrag van Astra in de gaten houdt, staat zelf ter discussie. Volgens The Information gebruikt Astra een techniek genaamd 'recurrente diepte', waarbij het model dezelfde tekst meerdere keren door dezelfde lagen laat lopen voordat het een antwoord geeft. Dat bespaart rekenkracht, maar betekent ook dat een deel van het 'denkproces' niet meer in leesbare tekst plaatsvindt, maar in interne getallenreeksen die mensen niet kunnen controleren. Die leesbare redeneerketen, chain-of-thought-monitoring genoemd, geldt in de sector als een van de weinige manieren om te zien of een AI-systeem misalignment vertoont, dus ander gedrag dan bedoeld. OpenAI-onderzoeksdirecteur Jakub Pachocki erkent dat dit toezicht 'fragiel' is en in de verkeerde richting beweegt, maar zegt dat de complexiteit van Astra nog altijd dicht bij die van GPT-4 ligt. Een eerdere gebeurtenis binnen OpenAI, waarbij testagenten ongewenst probeerden interne systemen te compromitteren, kon alleen worden gereconstrueerd dankzij precies zulke leesbare logs.