Post-transformer-architectuur: op zoek naar een efficiënter brein voor AI

Bijgewerkt: 29 augustus 2026 · 6 min leestijd

Stel je een vergadering voor waarin elke deelnemer voortdurend met elke andere deelnemer moet overleggen om te bepalen wat belangrijk is. Bij tien mensen is dat nog te overzien, maar bij duizend deelnemers ontstaat een wirwar van gesprekken die razendsnel uit de hand loopt. Zoiets gebeurt binnen in een transformer, het type neuraal netwerk achter vrijwel alle bekende taalmodellen: elk woord in een tekst vergelijkt zichzelf met elk ander woord om te bepalen waar het "op moet letten". Bij lange teksten groeit dat rekenwerk niet netjes mee, maar veel sneller.

Een post-transformer-architectuur is de verzamelnaam voor nieuwe ontwerpen van taalmodellen die diezelfde taalvaardigheid proberen te bereiken zonder die dure "iedereen-met-iedereen"-vergelijking. In plaats daarvan werken ze vaak met een soort lopend geheugen dat na elk woord wordt bijgewerkt, zoals een notulist die telkens een korte samenvatting aanpast in plaats van het hele gespreksverslag opnieuw door te lezen. Dat moet zulke modellen sneller en zuiniger maken, vooral bij lange documenten of urenlange gesprekken. Het is geen kant-en-klare vervanger die transformers morgen verdringt, maar wel een van de actiefste onderzoeksrichtingen in de AI-wereld van dit moment.

Wat is het precies?

Om te begrijpen wat een post-transformer-architectuur anders doet, is het handig om eerst kort naar de transformer zelf te kijken. Dit ontwerp werd in 2017 geïntroduceerd door onderzoekers van Google in het inmiddels beroemde paper "Attention Is All You Need", en vormt de basis van vrijwel alle bekende taalmodellen zoals GPT, Claude, Gemini en Llama.

De kern van elke transformer is het zogeheten attention-mechanisme (Engels voor "aandacht"). Voor elk woord, in vaktaal een token, berekent het model hoe relevant alle andere woorden in de tekst zijn. Bij een zin van tien woorden zijn dat honderd vergelijkingen, bij duizend woorden al een miljoen. Deze zogeheten kwadratische groei, het rekenwerk neemt toe met het kwadraat van de tekstlengte, maakt het verwerken van lange documenten duur in rekentijd en computergeheugen.

Post-transformer-architecturen proberen dit knelpunt te omzeilen met andere wiskundige aanpakken. Er bestaat niet één alternatief; het is eerder een familie van uiteenlopende technieken:

State space models (toestandsruimtemodellen): deze houden, net als de eerdergenoemde notulist, een compacte "toestand" bij die na elk nieuw woord wordt bijgewerkt, in plaats van terug te kijken naar alle voorgaande woorden. Het bekendste voorbeeld is Mamba.
Vernieuwde recurrente netwerken (RNN's): dit is de oudere familie van neurale netwerken van vóór transformers, die woord na woord verwerken. Nieuwe versies zoals RWKV en xLSTM pakken oude zwaktes aan, zoals trage training en moeite met het onthouden van dingen over lange afstanden.
Lineaire attention: een aangepaste versie van het attention-mechanisme die de kwadratische rekensom met wiskundige trucs vervangt door een lineaire, dus rekenwerk dat netjes meegroeit met de tekstlengte in plaats van explosief.
Hybride ontwerpen: modellen die gewone transformer-lagen combineren met bijvoorbeeld state space-lagen, om het beste van beide werelden te pakken.

Al deze benaderingen delen hetzelfde doel: hetzelfde taalbegrip en dezelfde tekstgeneratie leveren als transformers, maar met minder rekenwerk en geheugen naarmate teksten langer worden.

Wat wil men ermee bereiken?

Achter dit onderzoek zitten een paar concrete, praktische verlangens. Ten eerste willen ontwikkelaars modellen die hele boeken, juridische dossiers of urenlange vergaderopnames in één keer kunnen doorlezen, zonder dat de rekenkosten daarbij exploderen.

Ten tweede spelen kosten en energieverbruik een grote rol. AI-modellen draaien op datacenters vol gespecialiseerde chips die veel stroom vergen. Een efficiëntere architectuur kan die rekening flink verlagen, wat ook aantrekkelijk is voor kleinere apparaten zoals laptops of telefoons, waar geen zwaar datacenter achter zit.

Een derde reden is technischer van aard: tijdens het genereren van tekst houdt een transformer een zogeheten KV-cache bij, een soort werkgeheugen van alles wat al gezegd is. Die cache groeit mee met de lengte van het gesprek en kan het beschikbare chipgeheugen verzadigen. Modellen met een vaste, compacte toestand hebben dat probleem in mindere mate.

Ten slotte is er ook gewoon wetenschappelijke nieuwsgierigheid: onderzoekers willen weten of attention wel het beste mechanisme is, of dat er wiskundig elegantere oplossingen bestaan die even goed of beter presteren. Belangrijk om te benadrukken: geen van deze doelen is tot nu toe volledig ingelost. Het gaat vooralsnog om veelbelovende resultaten op specifieke taken, niet om een bewezen, algemene superioriteit ten opzichte van transformers.

Voorbeelden uit de praktijk

Het onderzoeksveld heeft de afgelopen jaren een aantal concrete projecten opgeleverd die de belofte van post-transformer-architecturen laten zien:

Mamba (eind 2023) — ontwikkeld door onderzoekers Albert Gu en Tri Dao, verbonden aan onder meer Carnegie Mellon University en Princeton University. Mamba is een state space model met een "selectief" mechanisme waarmee het model kan kiezen welke informatie het onthoudt of juist laat vallen. Op taken met taal, audio en DNA-reeksen (genomics) presteerde het vergelijkbaar met transformers van gelijke grootte, met aanzienlijk lagere rekenkosten bij lange reeksen.
Mamba-2 (2024) — een vervolg van dezelfde onderzoeksrichting, dat een wiskundig verband legt tussen state space models en attention. Dit maakte trainen efficiënter en bracht beide onderzoeksrichtingen dichter bij elkaar.
RWKV — een doorlopend open source project, aangestuurd door ontwikkelaar Bo Peng en sinds 2023 ondergebracht bij de Linux Foundation. RWKV combineert het trainingsvoordeel van transformers met de zuinige, min of meer constante geheugenbehoefte van klassieke RNN's tijdens het genereren van tekst. Er zijn inmiddels meerdere generaties van het model uitgebracht.
Jamba (2024) — het Israëlische bedrijf AI21 Labs bracht met Jamba een van de eerste praktisch bruikbare, publiek beschikbare modellen uit die gewone transformer-lagen combineren met Mamba-lagen, aangevuld met een zogeheten mixture-of-experts-structuur waarbij per woord maar een deel van het netwerk actief wordt gebruikt. Dat resulteert in een kleinere geheugenvoetafdruk bij lange teksten dan een vergelijkbaar groot, puur op transformers gebaseerd model.
xLSTM (2024) — Sepp Hochreiter, een van de bedenkers van het originele LSTM-netwerk (long short-term memory) uit de jaren negentig, presenteerde samen met het Oostenrijkse bedrijf NXAI een gemoderniseerde versie die beter moet meeschalen met grote hoeveelheden data, als alternatief voor de transformer.

Hoe ver is de techniek?

Post-transformer-architecturen bevinden zich overwegend nog in de onderzoeks- en experimenteerfase. Op middelgrote schaal, tot enkele miljarden parameters (de instelbare "knoppen" waarmee een model traint en beslissingen neemt), laten ze indrukwekkende resultaten zien die soms net zo goed of zelfs beter zijn dan vergelijkbare transformers. Grootschalige commerciële vlaggenschipmodellen zoals GPT, Claude, Gemini en Llama blijven echter overwegend op de transformer gebaseerd, vaak aangevuld met eigen efficiëntietrucs binnen dat ontwerp.

Er zijn een paar hardnekkige obstakels. Ten eerste blijken sommige precieze "terugzoek"-taken, zoals het letterlijk terugvinden van één specifiek feit ergens diep in een lang document, lastiger voor state space-achtige modellen dan voor attention-modellen, die van nature elk eerder woord direct kunnen "opzoeken". Ten tweede is er het probleem van een rijp ecosysteem: jarenlange software- en hardware-optimalisatie is toegespitst op transformers, terwijl nieuwe architecturen die volwassen gereedschapskist nog missen. Ten derde is nog niet volledig uitgezocht of deze technieken even goed blijven presteren op de allergrootste modelschaal, met honderden miljarden tot biljoenen parameters, als transformers.

Mede daardoor wint een hybride aanpak terrein: veel recente modellen combineren een beperkt aantal attention-lagen met state space- of lineaire-attention-lagen, in plaats van attention volledig te vervangen. Dat wordt momenteel gezien als de meest praktische tussenweg. Kortom, het veld is actief en levert regelmatig interessante resultaten op, maar een definitieve doorbraak die transformers overbodig maakt, is er nog niet.

Wie werken eraan?

Het onderzoek is verspreid over academische instellingen, bedrijven en de open source gemeenschap. Aan universiteiten zoals Carnegie Mellon University, Princeton University en Stanford University wordt fundamenteel werk gedaan aan state space models. Microsoft Research heeft met RetNet een eigen alternatief voor attention onderzocht. Het Israëlische bedrijf AI21 Labs zette met Jamba een van de eerste hybride modellen in een publiek beschikbaar product om, en het Oostenrijkse bedrijf NXAI, mede opgericht door Sepp Hochreiter, werkt aan xLSTM.

Daarnaast draait het RWKV-project grotendeels op vrijwillige, internationale open source bijdragen, met begeleiding vanuit de Linux Foundation sinds 2023. Grote AI-labs als Google DeepMind, Meta en OpenAI publiceren ook regelmatig onderzoek naar efficiëntere attention-varianten en hybride ontwerpen, maar houden hun best presterende productiemodellen vooralsnog overwegend transformer-gebaseerd. Geografisch ligt het zwaartepunt van dit onderzoek in de Verenigde Staten, met opvallende bijdragen uit Israël en Oostenrijk, en verspreide open source inzet wereldwijd.