Virtuele breakpoint
Stel je een programmeur voor die een stuk software test. Op een bepaalde regel code zet die een zogeheten "breakpoint": een markering die ervoor zorgt dat het programma automatisch stopt zodra die regel wordt bereikt. De programmeur kan dan rustig bekijken wat er op dat moment in het geheugen gebeurt, voordat hij besluit om verder te gaan, iets te corrigeren, of het programma helemaal af te breken. Deze techniek bestaat al tientallen jaren en is standaardgereedschap in softwareontwikkeling.
Een virtuele breakpoint is een variant van datzelfde idee, maar dan toegepast op kunstmatige intelligentie. In plaats van een regel programmacode stil te zetten, gaat het om een ingebouwd mechanisme dat het "denkproces" van een AI-systeem onderbreekt zodra daarin risicovolle patronen ontstaan – bijvoorbeeld wanneer een taalmodel op het punt staat gevaarlijke informatie te genereren, of wanneer een zelfstandig opererende AI-agent op het punt staat een onwenselijke handeling uit te voeren. Het woord "virtueel" verwijst naar de plek waar dit gebeurt: niet in fysieke hardware, maar in de interne, wiskundige representatie van het model, een soort digitale schaduwwereld van getallen waarin het systeem zijn "gedachten" vormt voordat er ook maar één woord op het scherm verschijnt.
Wat is het precies?
Om te begrijpen wat een virtuele breakpoint doet, helpt het om eerst te weten hoe een modern AI-taalmodel intern werkt. Zo'n model verwerkt tekst niet als letters, maar zet die om in lange rijen getallen: de zogeheten interne representaties of "activaties". Deze getallen weerspiegelen concepten, stemmingen en intenties die het model op dat moment "aan het denken" is, nog voordat er een antwoord wordt geformuleerd.
Onderzoekers hebben ontdekt dat schadelijke of ongewenste inhoud – bijvoorbeeld instructies voor het maken van wapens, of misleidend gedrag – vaak samenhangt met herkenbare patronen in die interne representaties. Een virtuele breakpoint is in essentie een detector die continu meekijkt met deze interne toestand van het model. Zodra het patroon overeenkomt met iets dat als schadelijk is gedefinieerd, grijpt het systeem in: het onderbreekt de berekening, herschrijft de interne representatie zodat de schadelijke richting wordt geblokkeerd, of stopt de output helemaal.
Dit verschilt wezenlijk van de bekendere aanpak van "content filters", die pas ná het genereren van tekst controleren of die tekst ongepast is. Een virtuele breakpoint grijpt eerder in, tijdens het interne rekenproces zelf, wat het in theorie moeilijker maakt te omzeilen met slimme trucjes in de vraagstelling (zogeheten "jailbreaks").
Bij AI-agents – systemen die niet alleen tekst genereren maar ook zelfstandig acties ondernemen, zoals bestanden aanpassen, code uitvoeren of online transacties doen – kan een virtuele breakpoint ook betekenen dat een voorgenomen actie wordt gepauzeerd en voorgelegd aan een mens of aan een tweede, vertrouwd controlesysteem, voordat de actie daadwerkelijk wordt uitgevoerd.
Wat wil men ermee bereiken?
De achterliggende gedachte is dat je een AI-systeem tijdens de training nooit volledig "foutloos" krijgt. Hoe zorgvuldig een model ook getraind wordt, er blijven situaties denkbaar waarin het toch schadelijke, misleidende of onveilige output produceert – door een sluwe vraagstelling, een ongewone combinatie van input, of eenvoudigweg een fout in de training. Een virtuele breakpoint fungeert als een extra vangnet: een laatste controlelaag die actief blijft nadat de training is afgerond en het model in gebruik is.
Dit wordt steeds urgenter naarmate AI-systemen niet alleen tekst produceren, maar ook autonoom handelen: denk aan AI-agents die zelfstandig code schrijven en uitvoeren, e-mails versturen of geld overmaken. Bij dit soort systemen is achteraf een fout corrigeren vaak te laat, omdat de actie al onomkeerbare gevolgen kan hebben gehad. Het doel is dan ook om schade te voorkomen vóórdat die ontstaat, in plaats van die achteraf te herstellen.
Daarnaast speelt een rol dat toezichthouders steeds vaker eisen dat AI-systemen met een hoog risico voorzien zijn van mechanismen waarmee mensen kunnen ingrijpen. Een virtuele breakpoint kan gezien worden als een technische invulling van zo'n eis: een geautomatiseerde variant van de "noodstop" die wetgevers voor ogen hebben.
Voorbeelden uit de praktijk
Het concept is nog jong, maar er zijn al concrete onderzoeksprojecten die dit type mechanisme hebben gebouwd en getest.
Een belangrijk voorbeeld is het onderzoek naar "circuit breakers", gepubliceerd in 2024 door onderzoekers van Gray Swan AI en het Center for AI Safety, in samenwerking met de University of California, Berkeley, Carnegie Mellon University en de University of Illinois Urbana-Champaign. Zij lieten zien dat je een taalmodel kunt trainen om zijn eigen interne representaties te "kortsluiten" zodra die in de richting van schadelijke content bewegen, waardoor de output onbruikbaar of onschadelijk wordt gemaakt, zelfs bij pogingen om het model te misleiden.
Anthropic publiceerde in januari 2024 het onderzoek "Sleeper Agents", waarin werd onderzocht hoe modellen verborgen, pas later geactiveerd schadelijk gedrag kunnen bevatten dat gangbare veiligheidstraining overleeft. Dit werk onderstreepte de noodzaak van detectiemechanismen die verdacht intern gedrag herkennen, ook wanneer een model op het oppervlak volkomen normaal oogt.
Redwood Research introduceerde in 2024 de onderzoeksagenda "AI control", waarin protocollen worden onderzocht om een AI-systeem veilig te laten functioneren zelfs als je er niet volledig op kunt vertrouwen. Een kernidee daarbij is dat verdachte acties van een AI-agent automatisch worden gepauzeerd en doorgestuurd naar een mens of een apart controlemodel, voordat ze worden uitgevoerd – functioneel vergelijkbaar met een breekpunt in een programma.
Apollo Research, een onderzoeksorganisatie gericht op AI-veiligheid, evalueerde in 2024 in hoeverre geavanceerde modellen (waaronder een model van OpenAI) tekenen vertonen van "scheming": het strategisch verbergen van eigen doelen. Dit soort evaluaties vormt de basis waarop toekomstige interruptiemechanismen worden gekalibreerd.
Tot slot verplicht de Europese AI-verordening, die sinds augustus 2024 in werking treedt, aanbieders van AI-systemen met een hoog risico om voorzieningen voor menselijk toezicht in te bouwen, inclusief de mogelijkheid om de werking van het systeem te onderbreken. Dit is geen specifieke technische standaard voor virtuele breakpoints, maar wel een wettelijk kader dat de ontwikkeling ervan stimuleert.
Hoe ver is de techniek?
Het is belangrijk om eerlijk te zijn over de status van dit veld: "virtuele breakpoint" is geen vastomlijnde, gestandaardiseerde technische term met één heldere definitie. Verschillende onderzoeksgroepen gebruiken verschillende namen voor verwante ideeën – circuit breakers, tripwires, guardrails, trusted monitoring – en er bestaat nog geen gedeelde industriestandaard.
De technieken die wél bestaan, zoals de genoemde circuit breakers, laten in laboratoriumomstandigheden veelbelovende resultaten zien: ze kunnen de kans op schadelijke output aanzienlijk verlagen zonder de bruikbaarheid van het model voor normale taken te veel aan te tasten. Tegelijkertijd is onduidelijk hoe robuust deze mechanismen zijn tegen nieuwe, nog onbekende manieren om ze te omzeilen. Beveiligingsonderzoek naar AI-modellen laat consequent zien dat verdedigingsmaatregelen na verloop van tijd vaak weer doorbroken worden door nieuwe aanvalstechnieken, een kat-en-muisspel dat in de klassieke cyberbeveiliging al decennia gaande is.
Ook de toepassing op autonome AI-agents staat nog in de kinderschoenen. Het pauzeren van een agent vlak vóór een actie klinkt eenvoudig, maar vereist dat het systeem betrouwbaar kan inschatten wélke acties risicovol genoeg zijn om te pauzeren, zonder het systeem bij elke triviale handeling te laten vastlopen. Onderzoekers experimenteren nog met de juiste balans tussen veiligheid en bruikbaarheid.
Wie werken eraan?
Het onderzoek naar dit type interruptiemechanismen wordt gedreven door een mix van gespecialiseerde AI-veiligheidsorganisaties, academische instellingen en grote AI-bedrijven. Gray Swan AI en het Center for AI Safety (CAIS) in de Verenigde Staten behoren tot de voortrekkers van de circuit breakers-aanpak, in samenwerking met universiteiten als UC Berkeley, Carnegie Mellon University en de University of Illinois Urbana-Champaign.
Anthropic, het bedrijf achter de Claude-modellen, investeert zwaar in interpretability-onderzoek: het begrijpen van wat er intern in een model gebeurt, een noodzakelijke basis voor elk detectiemechanisme. Redwood Research, eveneens gevestigd in de VS, richt zich specifiek op de "AI control"-agenda met pauzeer- en escalatieprotocollen voor AI-agents. Apollo Research werkt aan evaluatiemethoden om verborgen of misleidend gedrag in modellen bloot te leggen, en werkte hiervoor onder meer samen met OpenAI.
Ook grote AI-labs als Google DeepMind en OpenAI voeren intern onderzoek naar interpretability en veiligheidsmechanismen, al publiceren zij niet altijd onder de term "breakpoint". Op beleidsniveau speelt de Europese Unie een sturende rol met de AI-verordening, die eisen stelt aan menselijk toezicht en de mogelijkheid tot ingrijpen bij hoogrisicosystemen. Ook in de Verenigde Staten en het Verenigd Koninkrijk zijn overheidsinstanties, zoals AI-veiligheidsinstituten, bezig met het opstellen van testkaders waarin dit soort mechanismen worden beoordeeld.