Beveiligingsonderzoeker geeft AI-agent een geheugen met 40 jaar oude databasetaal

Zomer gebruikt agentic AI om kwetsbaarheden in software op te sporen, een vorm van kwetsbaarheidsonderzoek waarbij een taalmodel zelfstandig code doorzoekt en aanvalsmogelijkheden test. Bij korte klussen werkt dat goed, maar bij onderzoeken die uren duren loopt het mis. Het model raadt bijvoorbeeld dat een aanvaller controle heeft over een stuk geheugen, gebaseerd op een aanname die twee uur later fout blijkt. Vertel je het model dat de aanname niet klopt, dan betekent dat niet automatisch dat alle conclusies die erop voortbouwden ook worden herzien. Dat verschijnsel lijkt op AI-hallucinatie: het model presenteert verouderde of onjuiste informatie met volle overtuiging.

Waarom gewone AI-geheugensystemen tekortschieten

Bestaande oplossingen voor AI-geheugen slaan meestal oude gesprekken op, zetten ze om in getallenreeksen en halen bij een nieuwe vraag de meest relevante stukjes weer op, een techniek die bekendstaat als retrieval-augmented generation. Dat werkt voor het onthouden van wat er is gezegd, maar niet voor het bijhouden van wat er nu eigenlijk nog klopt. Zomer wilde dat het systeem niet simpelweg oude notities teruggeeft, maar continu de actuele stand van kennis bewaakt, inclusief alle gevolgen als een aanname verandert.

Van broncode naar logische feiten en regels

De oplossing bleek te lijken op een vakgebied dat Zomer al kende: programma-analyse. Daarbij leg je feiten over een programma vast en formuleer je regels waarmee je automatisch nieuwe feiten afleidt, net zolang tot alles wat af te leiden valt ook daadwerkelijk is afgeleid. Verandert er een feit, dan hoeft niet alles opnieuw te worden doorgerekend: alleen de betrokken conclusies worden bijgewerkt. Dat principe komt uit Datalog, een verklarende programmeertaal waarin je facts en rules opstelt in plaats van stap-voor-stap-instructies. Zomer bouwde hierop zijn eigen systeem, Lemmalog: het taalmodel zet losse waarnemingen, zoals debugger-uitvoer of broncode-analyse, om in gestructureerde feiten, en de Datalog-achtige database trekt daar vervolgens automatisch en betrouwbaar conclusies uit.

Feiten intrekken en uitleg vragen

Een lastig probleem was het verwijderen van feiten. Een conclusie kan op meerdere, onafhankelijke manieren onderbouwd zijn, dus het wegvallen van één bewijs mag een conclusie niet meteen laten verdwijnen als er nog een andere onderbouwing bestaat. Lemmalog houdt daarom per conclusie bij welke feiten en regels eraan ten grondslag liggen. Dat levert een onverwacht handig extra voordeel op: je kunt het systeem vragen waarom het iets gelooft. Bij een conclusie als "deze kwetsbaarheid is uitbuitbaar" toont Lemmalog de volledige keten van onderliggende waarnemingen en regels. Blijkt een van die waarnemingen achteraf onjuist, dan trekt het systeem automatisch alle conclusies in die daarvan afhankelijk waren, zonder dat een mens of het taalmodel dat handmatig hoeft te ontdekken.