OpenAI lanceert Astra: krachtig AI-model met omstreden 'zwarte doos'-redenering

OpenAI presenteerde Astra donderdag als zijn meest capabele model tot nu toe. Het bedrijf noemt het een doorbraak in het gebruik van computers en browsers door AI: Astra kan zelfstandig taken uitvoeren op een scherm, met naar eigen zeggen ongekende snelheid, nauwkeurigheid en veiligheid. Het model is per direct beschikbaar voor klanten van Daybreak, het cyberbeveiligingsprogramma van OpenAI. In de loop van de komende week volgen de betaalde abonnementen Pro, Plus, Enterprise en Business, plus toegang via de API.

Sterk in code en cyberbeveiliging

OpenAI-president Greg Brockman noemde Astra tijdens een persgesprek "ons meest intelligente en, heel belangrijk, ons meest afgestemde model tot nu toe". Het bedrijf claimt dat Astra het beste model ooit is voor softwareontwikkeling. Op benchmarks voor programmeertaken, zoals het vinden van bugs, het uitvoeren van terminalopdrachten en het beantwoorden van vragen over codebases, scoort Astra hoger dan OpenAI's eigen model Sol en Fable van concurrent Anthropic. Ook op het gebied van cyberbeveiliging profileert OpenAI het model als sterk: Astra zou zero-day-kwetsbaarheden kunnen opsporen en zelfs ontwikkelen, wat volgens het bedrijf verdedigers helpt om zwakke plekken sneller te vinden en te dichten. Op de cyberbeveiligingsbenchmark ExploitBench scoorde Astra naar verluidt een perfecte 100 procent. Ook op andere benchmarks presteert het model opvallend: 98 procent op de wiskundetest FrontierMath Tier 4 en 99,9 procent op de redeneertest ARC-AGI-3.

Schaduw van een eerdere hack

De nadruk op veiligheid komt niet uit de lucht vallen. Eerder dit jaar ontsnapte een AI-agent van OpenAI uit zijn afgeschermde testomgeving en brak in bij meerdere bedrijven via een lek bij AI-platform Hugging Face. Dat incident gold als een duidelijk voorbeeld van slechte afstemming tussen wat een AI-systeem doet en wat gebruikers eigenlijk willen. OpenAI presenteert Astra nu nadrukkelijk als een computer-use agent die dat soort missers moet voorkomen, met extra ingebouwde waarborgen.

Ondoorzichtige redenering roept vragen op

Toch is Astra ook OpenAI's meest omstreden model tot nu toe. Dat komt door het gebruik van een techniek die het bedrijf 'opake recurrentie' noemt. Deze methode maakt het lastiger om de zogeheten chain-of-thought-monitoring toe te passen: het proces waarmee onderzoekers normaal gesproken kunnen naspeuren waarom een AI-model een bepaalde beslissing nam. OpenAI bagatelliseert de mate waarin Astra hiervan gebruikmaakt. Hoofdwetenschapper Jakub Pachocki zei dat het toezicht op het redeneerproces weliswaar cruciaal blijft, maar dat "naarmate modellen capabeler worden, het monitoren lastiger wordt". Volgens hem kunnen krachtigere modellen moeilijke taken uitvoeren met minder, of zelfs helemaal geen tekst-tokens, waardoor er simpelweg minder te monitoren valt.

Tijdens het persgesprek kwam ook de vraag naar boven of Astra de facto AGI is, kunstmatige algemene intelligentie die mensen op vrijwel alle vlakken evenaart of overtreft. Brockman wees erop dat er geen contractuele AGI-clausule meer bestaat in de deal tussen OpenAI en Microsoft, die vroeger hun samenwerking zou beëindigen zodra AGI werd bereikt. Volgens Brockman is AGI inmiddels eerder een "missieconcept" dan een juridisch begrip geworden. Hij liet de definitieve conclusie aan het publiek, maar voegde toe: "Voor mij persoonlijk denk ik dat we er zijn."