Policy kernel: de kleine, strenge kern die grote AI-systemen in toom moet houden
Stel je een verkeersvliegtuig voor. De piloot – of tegenwoordig vaak de autopilot – mag van alles voorstellen: sneller klimmen, scherper draaien, dichter bij een ander toestel vliegen. Maar onder die piloot zit een simpel, keihard beveiligingssysteem dat bepaalde manoeuvres gewoon weigert uit te voeren, ongeacht wat er gevraagd wordt, omdat ze het vliegtuig buiten zijn veilige grenzen zouden brengen. Dat kleine, strenge systeem is dom vergeleken met de piloot, maar juist daardoor makkelijk te controleren en te vertrouwen.
Een policy kernel is het AI-equivalent van dat idee. Naarmate AI-systemen niet alleen tekst genereren maar ook zelfstandig acties uitvoeren – e-mails versturen, code draaien, geld overmaken, apparaten aansturen – groeit de zorg dat het onderliggende taalmodel zich kan vergissen, misleid kan worden of zich onverwacht kan gedragen. Een policy kernel is een klein, apart en goed te doorgronden onderdeel dat tussen het 'slimme maar onvoorspelbare brein' en de echte wereld in staat, en dat als laatste controle bepaalt of een voorgestelde actie eigenlijk wel is toegestaan. De term is nog niet overal hetzelfde gedefinieerd, maar de kerngedachte duikt steeds vaker op in onderzoek naar veilige AI-agenten.
Wat is het precies?
Het woord 'kernel' komt uit de informatica en betekent letterlijk 'kern'. In besturingssystemen zoals Linux is de kernel het kleinste, meest fundamentele stukje software: het beheert geheugen en processen en bepaalt wat programma's wel en niet mogen. Alle andere software draait erbovenop, maar moet zich aan de regels van die kernel houden. Precies dat idee wordt nu geleend voor AI: een klein controleonderdeel dat niet zelf 'slim' hoeft te zijn, maar wel altijd het laatste woord heeft.
In de praktijk werkt een policy kernel meestal zo. Een groot taalmodel (het 'beleid' of de 'policy' in de zin van een strategie voor wat te doen) bedenkt een plan of een actie. Voordat die actie echt wordt uitgevoerd, gaat ze langs de kernel: een apart, veel eenvoudiger stukje logica dat controleert of de actie binnen vooraf vastgelegde grenzen valt. Denk aan regels als 'stuur nooit geld naar een onbekende rekening', 'wijzig nooit systeeminstellingen zonder bevestiging' of 'deel nooit medische gegevens buiten het toegestane systeem'. Voldoet de actie niet, dan wordt ze geblokkeerd, ook als het grote model overtuigend beargumenteert waarom het toch zou moeten mogen.
Het belangrijkste verschil met gewone 'guardrails' (vangrails) of filters, die veel chatbots al hebben, is de nadruk op eenvoud en aantoonbaarheid. Een filter dat zelf ook weer een groot taalmodel is, kan namelijk dezelfde soort fouten maken als het systeem dat het moet controleren. Een policy kernel probeert juist zo simpel te zijn dat mensen, of zelfs wiskundige bewijzen, kunnen vaststellen dat hij zich altijd aan zijn regels houdt. Onderzoekers noemen dit ontwerp ook wel 'defense in depth' (verdediging in lagen) of verwijzen naar verwante technieken als 'runtime assurance' en 'safety kernel', begrippen die al decennia bestaan in de luchtvaart en robotica en nu naar AI worden vertaald.
Wat wil men ermee bereiken?
Het achterliggende doel is vertrouwen zonder alles te hoeven vertrouwen. Ontwikkelaars van AI-agenten willen krachtige, flexibele systemen bouwen die zelfstandig taken uitvoeren, maar ze kunnen niet garanderen dat zo'n groot taalmodel zich altijd voorspelbaar gedraagt. In plaats van te proberen het hele, enorme model perfect veilig te maken – een schier onmogelijke opgave – concentreert men zich op een klein onderdeel waarvan de veiligheid wél te bewijzen of te testen is.
Een tweede doel is bescherming tegen manipulatie. AI-agenten die met de buitenwereld communiceren, kunnen te maken krijgen met kwaadwillige input: een e-mail met verborgen instructies, een webpagina die probeert het model te misleiden ('prompt injection'). Een policy kernel die volledig los staat van de taal die het model verwerkt, is veel moeilijker om op die manier te misleiden, omdat hij niet redeneert over teksten maar simpelweg harde regels toetst.
Ten derde speelt aantoonbaarheid en toezicht een grote rol. Toezichthouders, bedrijven en gebruikers willen kunnen navragen waarom een AI-systeem iets wel of niet deed. Een kleine, overzichtelijke kernel is makkelijker te auditen dan een neuraal netwerk met miljarden parameters waarvan niemand precies weet hoe het tot een beslissing komt. Dat sluit aan bij een bredere trend in AI-beleid: regelgevers als de EU vragen steeds vaker om aantoonbare veiligheidsmaatregelen, niet alleen om beloftes.
Voorbeelden uit de praktijk
Het concept is niet uit de lucht gevallen. Al in 2001 beschreef informaticus Lui Sha van de universiteit van Illinois de 'Simplex Architecture': een eenvoudig, bewezen veilig regelsysteem dat een complexe, minder betrouwbare regelaar mag overrulen zodra die buiten veilige grenzen dreigt te gaan. Dit werk uit de regeltechniek geldt als een van de directe inspiratiebronnen voor het huidige denken over policy kernels in AI.
Het Amerikaanse defensieonderzoeksbureau DARPA financierde tussen 2017 en 2021 het programma 'Assured Autonomy', gericht op runtime-assurance-technieken voor autonome voertuigen en drones: systemen die een complex, lerend besturingsalgoritme in real time kunnen ingrijpen als het dreigt te falen.
In de wereld van taalmodellen bracht chipmaker NVIDIA in 2023 'NeMo Guardrails' uit, een softwarelaag die los van het taalmodel controleert welke gespreksonderwerpen, acties of antwoorden zijn toegestaan. Het is geen volledig geverifieerde kernel in wiskundige zin, maar wel een vroege, praktische stap richting een gescheiden controlelaag.
Onderzoeksorganisatie Redwood Research werkt sinds 2023 aan wat zij 'AI control' noemen: technieken om een krachtig maar mogelijk onbetrouwbaar AI-model veilig te laten samenwerken met een eenvoudiger, vertrouwd controlesysteem dat acties kan blokkeren of naar een mens kan doorsturen. Hun gepubliceerde experimenten, onder meer met gesimuleerde code-agenten in 2024, worden vaak aangehaald als concrete illustratie van het policy-kernel-idee.
Ook OpenAI's 'Model Spec', gepubliceerd in 2024, past in deze beweging: een apart, leesbaar document met harde gedragsregels waaraan het model zich moet houden, los van de vrije redenering van het model zelf. Het is meer een beleidsdocument dan een technische kernel, maar weerspiegelt dezelfde wens om regels te scheiden van redenering.
Hoe ver is de techniek?
Op dit moment is de policy kernel voor AI-agenten vooral een onderzoeksrichting en een architectuurprincipe, geen kant-en-klaar, gestandaardiseerd product. De term zelf wordt door verschillende groepen net iets anders gebruikt; sommigen spreken liever van 'safety kernel', 'guardrail layer' of 'trusted monitor'. Er bestaat nog geen brede consensus over de exacte definitie, en dat moet eerlijk gezegd worden: dit is een groeiend vakgebied, geen afgerond hoofdstuk.
De grootste technische horde is dat het lastig is om voor complexe, open-eindige taken (zoals 'help deze klant met zijn probleem') dezelfde soort simpele, keiharde regels op te stellen als voor een vliegtuig dat binnen fysieke grenzen moet blijven. Wat een 'veilige' actie is, hangt vaak af van context die moeilijk in eenvoudige regels te vangen valt. Daarnaast blijft het risico bestaan dat een kernel zelf te ingewikkeld wordt gemaakt om nog aantoonbaar veilig te zijn, waarmee het hele voordeel verdwijnt.
Toch gaat de ontwikkeling snel, gedreven door de opkomst van AI-agenten die e-mails, agenda's, code en zelfs betalingen beheren. Grote AI-bedrijven experimenteren met steeds strengere tussenlagen, en academisch onderzoek naar formele verificatie van kleinere controlecomponenten wint aan populariteit. Een breed geaccepteerde, geverifieerde standaardkernel voor AI-agenten bestaat echter nog niet.
Wie werken eraan?
Aan de onderzoekskant zijn organisaties als Redwood Research en academische groepen die voortbouwen op het werk van Lui Sha (Universiteit van Illinois) toonaangevend in het uitwerken van het kernidee. Grote AI-labs zoals OpenAI, Anthropic en Google DeepMind publiceren regelmatig over gelaagde veiligheidsmaatregelen voor hun modellen en agenten, ook al gebruiken ze niet altijd letterlijk de term 'policy kernel'. NVIDIA levert met NeMo Guardrails praktische, in de industrie gebruikte software in deze richting.
Op overheids- en toezichtsniveau financierde het Amerikaanse DARPA vroeg onderzoek naar runtime assurance voor autonome systemen, en instanties als het Amerikaanse NIST (National Institute of Standards and Technology) en de Europese Unie werken aan bredere kaders voor aantoonbare AI-veiligheid, waarin gelaagde controlemechanismen zoals de policy kernel goed passen. Universiteiten in de Verenigde Staten, het Verenigd Koninkrijk en toenemend ook in Europa zetten onderzoeksgroepen op die zich specifiek richten op formele verificatie van AI-agentgedrag.