AI-agents die zelf hun eigen draaiboek schrijven en verbeteren

AI-agents zijn programma's die op basis van een large language model zelfstandig taken uitvoeren: ze plannen stappen, roepen externe tools aan en werken naar een doel toe. Een bekend probleem is dat zulke agentic AI-systemen bij lange taken de weg kwijtraken. Ze vergeten hun oorspronkelijke doel, gebruiken tools in de verkeerde volgorde of herhalen dezelfde mislukte actie keer op keer. De oorzaak: de meeste agents baseren hun volgende stap op een steeds langer wordende geschiedenis van tekst, zonder dat er ergens expliciet staat wát de juiste procedure eigenlijk is.

Van feiten naar werkwijzen

Het onderzoeksteam, met onder anderen Yuxing Lu en Sercan Arik van Google, introduceert daarom de Procedural Graph. Het idee is vergelijkbaar met een kennisgraaf, een netwerk dat feiten opslaat als combinaties van twee zaken en de relatie ertussen — bijvoorbeeld 'Amsterdam ligt in Nederland'. Een Procedural Graph doet hetzelfde, maar dan met handelingen: welke stap volgt op welke stap, en onder welke voorwaarde. Op elk beslismoment zoekt het systeem waar de agent zich in dat netwerk bevindt en vertaalt een apart 'gidsmodel' de omliggende stappen naar concreet advies. Belangrijk is dat dit advies een duwtje in de rug is, geen strikt bevel: de agent mag ervan afwijken als de graaf op dat moment niet klopt.

Zelf fouten herstellen

Het systeem is bovendien zelflerend. Een aparte AI, de 'refiner', vergelijkt trajecten die zijn mislukt met trajecten die wél succesvol waren en past op basis daarvan de structuur van de graaf aan. Een wijziging wordt alleen doorgevoerd als die de prestaties op een apart testonderdeel verbetert of minstens gelijk houdt; afgekeurde aanpassingen worden onthouden zodat ze niet telkens opnieuw worden voorgesteld. Zo groeit het systeem vanaf een kaal startpunt uit tot een graaf die net zo goed werkt als een door mensen handmatig ontworpen versie — en kan het zelfs een gebrekkige, door experts aangeleverde procedure herkennen en corrigeren in plaats van de fout klakkeloos over te nemen.

Betere resultaten zonder handwerk

In tests op meerdere datasets, taaktypes en onderliggende taalmodellen presteerden agents met een Procedural Graph consistent beter dan agents die alleen op een groeiend geheugen vertrouwen. Het zelflerende element leverde daarbovenop nog extra winst op, zonder dat onderzoekers zelf regels hoefden te programmeren. Voor de praktijk betekent dit een stap richting agents die langere, complexere taken aankunnen zonder voortdurend menselijke bijsturing, iets wat relevant is voor toepassingen als klantenservice-bots, onderzoeksassistenten en geautomatiseerde software-agents.