Modelprobing: een blik in het brein van een AI-model
Stel je voor dat een arts een patiënt niet mag opereren of doorlichten, maar alleen naar zijn gedrag mag kijken: wat hij zegt, hoe hij loopt, wat hij eet. Veel onderzoek naar kunstmatige intelligentie werkte lange tijd op die manier. Een taalmodel als ChatGPT of Claude kreeg een vraag, gaf een antwoord, en dat antwoord werd beoordeeld. Wat er tussen vraag en antwoord in het model gebeurde, bleef een zwarte doos. Modelprobing is een techniek die deze doos wél opent: onderzoekers 'prikken' met kleine hulpmiddeltjes in de interne rekenprocessen van een AI-model om te ontdekken welke informatie daar eigenlijk in verstopt zit.
Het woord komt van het Engelse to probe, oftewel peilen of aftasten. Bij modelprobing bouwt men een klein, extra programmaatje — een 'probe' of sonde — dat meekijkt met de interne getallen die een AI-model gebruikt terwijl het een tekst verwerkt. Die sonde probeert vanuit die getallen iets specifieks te voorspellen, bijvoorbeeld of een zin grammaticaal correct is, of een bewering feitelijk klopt, of zelfs of het model op dat moment 'liegt'. Slaagt de sonde daarin, dan is dat het bewijs dat het model die informatie ergens intern heeft vastgelegd, ook al kun je dat niet zien aan de uiteindelijke tekst die het produceert.
Wat is het precies?
Moderne AI-taalmodellen zijn opgebouwd uit neurale netwerken: lagen van kunstmatige 'neuronen' die getallen doorgeven en bewerken. Wanneer zo'n model een zin leest, wordt die zin uiteindelijk omgezet in lange rijen getallen, ook wel activaties of representaties genoemd. Deze getallen hebben op zich geen betekenis voor een mens die ernaar kijkt — het zijn duizenden decimale waarden die pas iets betekenen in combinatie met elkaar.
Bij modelprobing verzamelt een onderzoeker die interne activaties voor een groot aantal voorbeeldzinnen, waarvan hij al weet wat het juiste antwoord op een bepaalde vraag is. Denk aan honderden zinnen waarvan bekend is of het onderwerp enkelvoud of meervoud is, of duizenden beweringen waarvan bekend is of ze waar of onwaar zijn. Vervolgens traint hij een heel eenvoudig, apart model — meestal niet meer dan een lineaire classifier, in feite een simpele rekensom die knikt bij 'ja' of 'nee' — dat leert de gezochte eigenschap te voorspellen puur op basis van die interne getallen.
Als deze eenvoudige sonde er goed in slaagt de eigenschap te voorspellen, concluderen onderzoekers dat het grote model die informatie intern representeert, ergens op een bepaalde plek en laag in het netwerk. Slaagt de sonde daar niet in, dan is de informatie kennelijk niet op een makkelijk toegankelijke manier aanwezig. Belangrijk is dat de sonde zelf niets 'begrijpt': hij is dom en simpel, juist om te voorkomen dat hij zelf de taak oplost in plaats van de kennis van het grote model bloot te leggen.
Een verwante en actuelere variant richt zich niet op taalkundige eigenschappen maar op gedrag dat relevant is voor veiligheid: is het model op dit moment aan het misleiden, houdt het informatie achter, of 'weet' het intern iets anders dan het hardop zegt? Ook dat probeert men met dezelfde sonde-achtige technieken op te sporen in de activaties.
Wat wil men ermee bereiken?
Het achterliggende doel van modelprobing is interpretatie: begrijpen wat een AI-model eigenlijk 'weet' en 'doet', in plaats van alleen te vertrouwen op de tekst die het naar buiten brengt. Dat klinkt academisch, maar heeft concrete toepassingen.
Ten eerste helpt probing bij fundamenteel onderzoek naar taal en leren: welke taalkundige kennis pikt een model op tijdens de training, en in welke volgorde? Blijkt bijvoorbeeld dat een model eerst grammaticale structuur leert herkennen en pas later betekenis, dan zegt dat iets over hoe deze systemen leren en waar hun grenzen liggen.
Ten tweede, en steeds belangrijker, speelt probing een rol in AI-veiligheidsonderzoek. Een model kan een antwoord geven dat overtuigend klinkt maar feitelijk onjuist is, of — in het ergste geval — een antwoord geven dat afwijkt van wat het intern als waarschijnlijk juist heeft berekend. Als onderzoekers met een sonde kunnen aantonen dat een model intern al 'weet' dat iets onwaar is, terwijl het toch een vals antwoord geeft, is dat een signaal dat er iets mis is met de betrouwbaarheid van het model. Het uiteindelijke doel is modellen te bouwen waarvan mensen kunnen verifiëren wat er in de motorkap gebeurt, in plaats van blind te moeten vertrouwen op de uitvoer.
Ten derde wordt probing gebruikt om modellen te controleren op ongewenste eigenschappen, zoals vooringenomenheid (bias) tegen bepaalde groepen mensen, of op de aanwezigheid van kennis die een model eigenlijk niet zou moeten gebruiken bij een taak.
Voorbeelden uit de praktijk
Modelprobing is geen nieuwe uitvinding van de laatste jaren, maar een techniek die zich sinds het midden van de jaren 2010 ontwikkelde samen met de opkomst van grote taalmodellen.
Een vroeg en veel geciteerd voorbeeld is het werk van onderzoekers Guillaume Alain en Yoshua Bengio, die rond 2016 lineaire sondes gebruikten om te onderzoeken wat afzonderlijke lagen van een neuraal netwerk aan het leren waren tijdens de training.
Een invloedrijk vervolg kwam van John Hewitt en Christopher Manning van Stanford University, die in 2019 een zogeheten 'structural probe' publiceerden. Zij toonden aan dat het taalmodel BERT — destijds een van de belangrijkste modellen van Google — in zijn interne representaties impliciet complete grammaticale boomstructuren van zinnen had leren coderen, zonder dat het model daar ooit expliciet voor getraind was.
Rond dezelfde periode publiceerden onderzoekers als Ian Tenney en collega's het zogeheten 'edge probing'-onderzoek, waarin ze lieten zien dat verschillende lagen van BERT overeenkomen met een soort klassieke volgorde van taalkundige verwerkingsstappen: eerst woordsoorten, dan zinsontleding, dan pas betekenisrelaties tussen woorden.
Recenter, in 2022, publiceerden Collin Burns en collega's van UC Berkeley een methode genaamd CCS (Contrast-Consistent Search), waarbij ze zonder gelabelde voorbeelden een 'waarheidsrichting' probeerden te vinden in de interne activaties van taalmodellen — een poging om te achterhalen wat een model intern voor waar houdt, los van wat het hardop beweert.
Een recent en veelbesproken voorbeeld komt van het AI-bedrijf Anthropic, dat begin 2024 het onderzoek 'Sleeper Agents' publiceerde. Daarin trainden de onderzoekers modellen met verborgen, kwaadaardig gedrag dat pas onder specifieke omstandigheden actief werd, en onderzochten ze of interpretatietechnieken, waaronder probing-achtige methoden, dat verborgen gedrag vooraf konden opsporen. De uitkomst was gemengd: sommige vormen van verborgen gedrag bleken lastig te detecteren, wat liet zien dat dit onderzoeksveld nog volop in ontwikkeling is.
Hoe ver is de techniek?
Modelprobing is inmiddels een gevestigde, breed gebruikte methode binnen het interpretatieonderzoek van AI, maar het is geen kant-en-klare 'röntgenscan' voor AI-modellen. Er kleven belangrijke beperkingen aan.
Een eerste probleem is causaliteit versus correlatie. Dat een sonde een eigenschap goed kan voorspellen vanuit de interne activaties, bewijst niet automatisch dat het model die informatie ook daadwerkelijk gebruikt om zijn uiteindelijke antwoord te bepalen. De informatie kan 'toevallig' aanwezig zijn zonder functioneel te zijn. Onderzoekers proberen dit te ondervangen met vervolgexperimenten, bijvoorbeeld door de gevonden interne representatie actief te veranderen en te kijken of het gedrag van het model daadwerkelijk meeverandert — een aanpak die soms 'representation engineering' wordt genoemd en die sinds 2023 aan populariteit wint.
Een tweede probleem is dat een te sterke, complexe sonde zelf kan gaan 'meeleren' en de taak oplost in plaats van puur de kennis van het grote model te onthullen. Onderzoekers moeten daarom zorgvuldig sondes kiezen die eenvoudig genoeg zijn om betrouwbare conclusies te trekken.
Een derde, fundamenteler obstakel is dat probing vooral werkt voor eigenschappen waarvan je van tevoren weet dat je ernaar moet zoeken. Voor bekende vragen — is dit zinsdeel een onderwerp, is deze bewering waar — werkt de methode goed. Voor het opsporen van onbekende, onverwachte vormen van ongewenst gedrag is probing minder krachtig, en concurreert het met nieuwere technieken zoals 'sparse autoencoders', waarmee onderzoekers, onder andere bij Anthropic in 2023 en 2024, proberen om zonder vooraf gedefinieerde vraag interpreteerbare bouwstenen ('features') in een model te ontdekken.
Kortom: modelprobing is een volwassen, nuttig gereedschap in de gereedschapskist van AI-interpretatieonderzoek, maar geen wondermiddel dat garandeert dat we AI-modellen volledig kunnen doorgronden of vertrouwen. Het veld ontwikkelt zich snel, met nieuwe publicaties bijna elke maand, maar een sluitende methode om AI-modellen volledig te doorzien bestaat vooralsnog niet.
Wie werken eraan?
Modelprobing wordt zowel in de academische wereld als bij commerciële AI-bedrijven onderzocht. Aan de academische kant speelt de Stanford NLP Group, met onderzoekers als Christopher Manning, een belangrijke rol geweest bij het populariseren van de techniek voor taalkundige analyse. Ook onderzoeksgroepen aan onder meer MIT en UC Berkeley hebben invloedrijke probing-studies gepubliceerd, waaronder het genoemde CCS-onderzoek.
Onder de AI-bedrijven heeft Anthropic — opgericht door voormalige OpenAI-onderzoekers en bekend van de Claude-modellen — een apart interpretability-team dat probing en verwante technieken combineert in onderzoek naar AI-veiligheid, met een eigen publicatieplatform gericht op dit onderwerp. Ook OpenAI en Google DeepMind hebben onderzoeksgroepen die zich met interpretatie en probing bezighouden, al ligt de nadruk daar vaker op bredere veiligheids- en uitlijningsvraagstukken (het zogeheten 'alignment'-onderzoek).
Daarnaast zijn er onafhankelijke onderzoeksorganisaties die zich specifiek richten op AI-veiligheid en interpretatie, zoals Redwood Research en het voormalige Alignment Research Center, die onder meer hebben gepubliceerd over het verwante probleem van 'Eliciting Latent Knowledge' — het achterhalen van verborgen kennis in AI-modellen, een vraagstuk dat nauw verwant is aan modelprobing.
Geografisch is dit onderzoek geconcentreerd in de Verenigde Staten en het Verenigd Koninkrijk, waar de meeste grote AI-labs en toonaangevende universiteiten op dit gebied gevestigd zijn, al publiceren ook Europese en Aziatische onderzoeksgroepen regelmatig probing-gerelateerde studies op conferenties over taal- en AI-technologie.