Recurrente diepte: AI-modellen die zelf bepalen hoe lang ze nadenken

Stel je een rekenmachine voor die voor elke som exact evenveel tijd nodig heeft, of het nu om 2+2 gaat of om een lastige wortelvergelijking. Zo werken de meeste taalmodellen vandaag: elke vraag doorloopt precies hetzelfde vaste aantal rekenlagen in het netwerk, hoe makkelijk of moeilijk de vraag ook is. Recurrente diepte is een onderzoeksrichting die dat probeert te veranderen. In plaats van een vaste stapel lagen eenmalig te doorlopen, laat men een deel van het netwerk zichzelf herhalen: dezelfde rekenstap wordt meerdere keren na elkaar uitgevoerd, net zo vaak als nodig lijkt om tot een antwoord te komen.

De vergelijking met een denkend mens ligt voor de hand. Op de vraag "hoeveel is 2 plus 2" antwoord je meteen; bij een lastige sudoku neem je de tijd en herhaal je in gedachten dezelfde soort redeneerstap net zo lang tot het klopt. Recurrente diepte probeert AI-modellen zoiets te geven: extra "denktijd" op het moment dat er een antwoord nodig is, zonder dat het model daarvoor groter hoeft te worden en zonder dat het, zoals bij veel huidige "redenerende" chatbots, die extra denktijd in zichtbare tussenstapjes tekst moet opschrijven.

Wat is het precies?

Grote taalmodellen zoals GPT of Claude zijn opgebouwd uit tientallen identieke blokken die na elkaar worden doorlopen, de zogeheten lagen. Hoe meer lagen, hoe "dieper" het netwerk, en over het algemeen geldt: meer diepte en meer parameters (de instelbare gewichten in het netwerk) betekent meer rekenkracht en vaak betere prestaties. Maar meer lagen bouwen betekent ook: een groter, duurder model dat voor elke vraag evenveel rekenwerk verzet, ook voor triviale vragen.

Bij recurrente diepte kiest men een andere weg. Een deel van het netwerk, een zogeheten recurrent blok, wordt niet één keer maar meerdere keren achter elkaar toegepast op dezelfde tussenresultaten, waarbij steeds dezelfde gewichten worden hergebruikt. Elke extra ronde is in feite een extra "denkstap" in een inwendige, wiskundige representatie, ook wel de latente ruimte genoemd: een soort interne gedachtegang die niet in woorden wordt omgezet. Pas na de laatste ronde zet het model de interne toestand om in een antwoord.

Cruciaal is dat het aantal herhalingen niet vast hoeft te liggen: het model of de gebruiker kan kiezen om bij een moeilijke vraag meer rondes te laten draaien, en bij een simpele vraag te stoppen na een paar stappen. Sommige varianten laten het netwerk zelf leren wanneer het "klaar" is met nadenken, een mechanisme dat teruggaat op een oudere techniek genaamd adaptive computation time (adaptieve rekentijd): het model leert een soort stopsignaal te geven zodra verdere herhalingen weinig meer toevoegen.

Het verschil met de bekende chain-of-thought-aanpak, waarbij een model een redenering in gewone tekst opschrijft voordat het een antwoord geeft, is dat recurrente diepte dat redeneerproces intern en in cijfers laat verlopen, zonder dat het als leesbare tekst wordt gegenereerd. Dat kan sneller en goedkoper zijn, omdat er geen extra woorden geproduceerd hoeven te worden, al is de interne redenering daardoor ook minder makkelijk te controleren door een mens.

Wat wil men ermee bereiken?

De belangrijkste drijfveer is efficiëntie: rekenkracht daar inzetten waar die nodig is. Het trainen en laten draaien van steeds grotere modellen met meer parameters is enorm kostbaar in geld en energie. Recurrente diepte biedt een alternatief: in plaats van een groter, duurder model te bouwen dat sowieso voor élke vraag zwaar rekenwerk verricht, bouw je een compacter model dat zelf de hoeveelheid rekenwerk aanpast aan de moeilijkheidsgraad van de taak.

Een tweede doel is het flexibel opschalen van zogeheten test-time compute, oftewel rekenkracht op het moment dat het model daadwerkelijk een antwoord genereert (in tegenstelling tot rekenkracht tijdens het trainen). Onderzoekers zien dat modellen die tijdens gebruik meer rekenstappen mogen zetten, vaak beter scoren op wiskunde- en logica-opgaven, zonder dat het model zelf hoeft te groeien. Recurrente diepte is een manier om die extra denktijd architectonisch in te bouwen, als alternatief voor het simpelweg laten genereren van meer tekst.

Ten slotte hopen onderzoekers dat dit soort netwerken beter generaliseert: doordat dezelfde rekenstap herhaald wordt toegepast, kan een model in principe leren om taken van een moeilijkheidsgraad op te lossen die het tijdens de training nooit in die vorm heeft gezien, simpelweg door vaker te herhalen. Het idee sluit aan bij een breder streven in het AI-onderzoek om vooruitgang niet langer uitsluitend te boeken door modellen groter te maken, maar door ze slimmer met hun rekentijd te laten omgaan.

Voorbeelden uit de praktijk

Het idee om een netwerk zichzelf te laten herhalen is niet nieuw. Al in 2016 introduceerde onderzoeker Alex Graves, destijds verbonden aan DeepMind, adaptive computation time: een mechanisme waarmee een recurrent neuraal netwerk zelf leert hoeveel rekenstappen het nodig heeft per invoer, in plaats van een vast aantal.

In 2018 bouwden onderzoekers van Google Brain met de Universal Transformer voort op dat idee, door een transformer-blok (het type netwerk dat ook aan de basis ligt van moderne taalmodellen) herhaaldelijk toe te passen met een vergelijkbaar stopmechanisme, in plaats van simpelweg een vaste stapel verschillende lagen te gebruiken.

Rond 2021 presenteerde een team van DeepMind PonderNet, een verfijning van dat idee waarbij het netwerk op een meer wiskundig onderbouwde, kansgebaseerde manier leert beslissen wanneer het klaar is met "nadenken" over een invoer.

Een recentere en directer verwante ontwikkeling is een onderzoeksproject rond 2025, uitgevoerd door een team verbonden aan onder meer de Universiteit van Maryland en het Max Planck Instituut, dat een taalmodel bouwde met een expliciet recurrent blok in het midden van het netwerk. Dat blok kan tijdens gebruik net zo vaak worden doorlopen als gewenst, zodat het model meer of minder "latente" redeneerstappen zet afhankelijk van de moeilijkheidsgraad van de vraag, zonder dat dit zichtbaar wordt als extra gegenereerde tekst. De onderzoekers rapporteerden dat het model op reken- en redeneertaken beter presteerde naarmate het meer herhalingen kreeg toegestaan, wat de kernbelofte van recurrente diepte in de praktijk illustreert.

Als verwant, maar net iets ander spoor is het werk van onderzoekers bij Meta AI, die eind 2024 een methode publiceerden om taalmodellen te laten redeneren in een continue, latente ruimte in plaats van in losse woorden, een vorm van intern redeneren die dezelfde intuïtie deelt als recurrente diepte: denken hoeft niet per se zichtbaar in taal te gebeuren.

Hoe ver is de techniek?

Recurrente diepte bevindt zich grotendeels nog in de onderzoeksfase. Er bestaan werkende, publiek beschreven proefmodellen die laten zien dat het principe kan functioneren en op bepaalde reken- en logicataken voordeel oplevert wanneer je ze meer interne rekenstappen toestaat. Dat is een belangrijke stap, maar geen bewijs dat de aanpak op elk gebied beter werkt dan de gangbare methode van simpelweg grotere, dieper gestapelde modellen bouwen.

Er zijn ook stevige technische obstakels. Netwerken die eenzelfde blok tientallen keren herhalen, zijn lastiger te trainen: signalen kunnen tijdens het trainen te sterk aangroeien of juist wegvallen naarmate ze vaker door hetzelfde blok worden gestuurd, een probleem dat onderzoekers moeten ondervangen met speciale trainingstrucs. Ook is het lastiger om te voorspellen en te controleren hoeveel rekenkracht (en dus tijd en energiekosten) een vraag precies gaat kosten, omdat dat nu per invoer kan verschillen.

In de praktijk gebruiken de bekendste commerciële taalmodellen van dit moment nog vooral de klassieke, vaste-diepte-architectuur, aangevuld met externe technieken om meer rekentijd te forceren, zoals het laten genereren van lange, zichtbare redeneerteksten voordat het uiteindelijke antwoord volgt. Recurrente diepte is daarmee eerder een veelbelovend alternatief of aanvullend spoor dan een reeds ingeburgerde standaard. Onderzoekers zijn het er niet over eens of de aanpak op grote schaal even goed getraind kan worden als de gangbare vastediepte-modellen, en het is nog onduidelijk hoe snel dit soort modellen hun weg naar praktische toepassingen zullen vinden.

Wie werken eraan?

Het onderzoek naar recurrente diepte en verwante vormen van adaptieve rekentijd is verspreid over een klein aantal academische en industriële onderzoeksgroepen. Google DeepMind (voorheen Google Brain en DeepMind afzonderlijk) heeft een lange geschiedenis op dit terrein, van het vroege werk van Alex Graves tot de Universal Transformer en PonderNet. Meta AI (voorheen Facebook AI Research) publiceert onderzoek naar verwante vormen van latent, niet-talig redeneren. Academische groepen, onder meer verbonden aan de Universiteit van Maryland en Duitse onderzoeksinstellingen zoals het Max Planck Instituut, hebben recent werk gepubliceerd dat het concept expliciet "recurrente diepte" noemt en op grotere schaal test. Verder wordt dit soort werk regelmatig gepresenteerd op de grote internationale AI-conferenties zoals NeurIPS en ICLR, waar onderzoekers uit de Verenigde Staten, het Verenigd Koninkrijk en continentaal Europa het gros van de publicaties voor hun rekening nemen. Een dominante commerciële speler die de techniek al breed in productie heeft gebracht, is er op dit moment niet.

Verder lezen

• arXiv.org — preprintarchief waar vrijwel alle hier genoemde onderzoekspapers als open-access publicatie te vinden zijn
• Google DeepMind — officiële onderzoekssite met publicaties over adaptive computation time en aanverwant werk
• Meta AI — onderzoekssite met publicaties over latent redeneren in taalmodellen
• OpenReview — platform met de ingediende papers en peer-review-discussies van conferenties als ICLR, waar veel van dit werk is gepresenteerd
• University of Maryland — een van de academische instellingen die recent onderzoek naar recurrente diepte heeft gepubliceerd