Dense transformer
Een dense transformer is het meest gangbare type neuraal netwerk achter taalmodellen zoals de vroege versies van ChatGPT. Het woord "dense" (dicht) verwijst naar de manier waarop het model rekent: bij elke berekening worden werkelijk alle onderdelen van het netwerk ingeschakeld, voor elk woord dat het verwerkt. Er wordt niets overgeslagen en er wordt geen selectie gemaakt tussen verschillende gespecialiseerde onderdelen.
Vergelijk het met een bedrijf waarin bij elke beslissing, hoe klein ook, de hele organisatie wordt geraadpleegd: van de boekhouding tot de IT-afdeling tot de schoonmaakdienst, iedereen denkt overal over mee. Dat is grondig en voorspelbaar, maar ook kostbaar: je betaalt voor de tijd van iedereen, ook als hun expertise niet relevant is voor de vraag. Het alternatief, dat je in nieuwsberichten vaak tegenkomt als "sparse" of "mixture of experts", werkt eerder als een bedrijf dat per vraag alleen de relevante specialisten inschakelt. Dense transformers zijn de klassieke, robuuste aanpak waarop het overgrote deel van de huidige AI-doorbraak is gebouwd.
Wat is het precies?
Een transformer is een type neuraal netwerk dat in 2017 werd geïntroduceerd door onderzoekers van Google, in een paper met de bekende titel "Attention Is All You Need". De kern van een transformer is het zogeheten aandachtsmechanisme (attention): voor elk woord in een zin berekent het model hoe belangrijk elk ander woord in die zin is om de betekenis goed te begrijpen. Zo "weet" het model bijvoorbeeld dat in de zin "de bank was gesloten omdat het feestdag was" het woord "bank" waarschijnlijk een gebouw is en geen zitmeubel, omdat de rest van de zin daarop wijst.
Een transformer bestaat uit tientallen tot honderden lagen die na elkaar worden doorlopen. Elke laag bevat miljoenen tot miljarden instelbare getallen, de zogeheten parameters of gewichten. Deze parameters worden tijdens het trainen langzaam bijgesteld totdat het model goed voorspelt welk woord waarschijnlijk volgt op een stuk tekst.
Bij een dense transformer worden bij het verwerken van ieder los woord (of preciezer: elk "token", een stukje tekst dat kleiner kan zijn dan een woord) letterlijk alle parameters in alle lagen gebruikt. Er is geen mechanisme dat delen van het netwerk "uitschakelt" voor eenvoudige invoer of "inschakelt" voor specifieke onderwerpen. Dit staat tegenover sparse transformers, waarbij het netwerk is opgedeeld in meerdere kleinere deelnetwerken ("experts") en een routeringsmechanisme per token beslist welke paar experts worden geraadpleegd. Bij zo'n sparse model, ook wel mixture of experts (MoE) genoemd, kan het totale aantal parameters vele malen groter zijn dan bij een dense model, terwijl de daadwerkelijk gebruikte rekenkracht per token vergelijkbaar of zelfs lager blijft.
Wat wil men ermee bereiken?
Onderzoekers gebruiken dense transformers vooral omdat de aanpak simpel, voorspelbaar en goed te trainen is. Er hoeft geen extra routeringslogica te worden bedacht die bepaalt welke experts welk token krijgen, wat de training minder foutgevoelig maakt en makkelijker te verdelen over duizenden rekenchips.
Een belangrijke drijfveer achter het onderzoek naar dense transformers zijn de zogeheten schaalwetten (scaling laws): empirisch onderzoek, onder meer door DeepMind in 2022, liet zien dat de prestaties van een dense transformer op een voorspelbare, bijna wiskundige manier verbeteren naarmate je meer parameters, meer trainingsdata en meer rekenkracht toevoegt. Die voorspelbaarheid maakt het aantrekkelijk voor bedrijven: je kunt vooraf redelijk goed inschatten hoeveel een groter model gaat kosten en wat het ongeveer gaat opleveren, voordat je miljoenen euro's aan trainingskosten investeert.
Het uiteindelijke doel is telkens hetzelfde: een taalmodel dat beter redeneert, feiten beter onthoudt en instructies preciezer opvolgt, zonder dat de architectuur zelf onnodig ingewikkeld wordt. Dense transformers blijven daarmee de referentie waaraan nieuwere, complexere architecturen worden afgemeten.
Voorbeelden uit de praktijk
Enkele bekende dense transformer-modellen illustreren hoe de aanpak in de praktijk is toegepast:
- GPT-3 (OpenAI, 2020): met 175 miljard parameters een van de eerste modellen die liet zien dat puur opschalen van een dense transformer tot verrassend goede taalvaardigheid leidt.
- PaLM (Google, 2022): een dense transformer met 540 miljard parameters, destijds een van de grootste ooit getrainde dense modellen, gebruikt om de grenzen van redeneervaardigheid te onderzoeken.
- Chinchilla (DeepMind, 2022): een kleiner dense model (70 miljard parameters) dat, getraind op veel meer data dan gebruikelijk, beter presteerde dan grotere modellen. Dit werk legde de basis voor de huidige schaalwetten.
- Llama 2 en Llama 3 (Meta, 2023 en 2024): populaire, openbaar beschikbare dense modellen die door onderzoekers en bedrijven wereldwijd worden gebruikt en aangepast.
- BERT (Google, 2018): geen tekstgenerator maar een dense transformer voor taalbegrip, jarenlang de basis van onder meer Google's zoekmachine.
Ter vergelijking: modellen als Mixtral 8x7B (Mistral AI, 2023) en Google's Switch Transformer (2021) zijn juist voorbeelden van de sparse, mixture-of-experts-aanpak, en laten goed zien waar het contrast met dense modellen in de praktijk om draait.
Hoe ver is de techniek?
De dense transformer is inmiddels een volwassen, uitontwikkelde techniek. Sinds 2017 is de architectuur nauwelijks fundamenteel veranderd; verbeteringen zaten vooral in trainingsmethoden, dataselectie en schaal. In die zin is dit geen opkomende technologie meer, maar de gevestigde standaard waarop veel van de huidige AI is gebouwd.
Toch verschuift het onderzoeksveld de laatste jaren merkbaar richting sparse alternatieven, juist omdat pure dense modellen tegen praktische grenzen aanlopen: een dense model van honderden miljarden parameters is duur om te trainen én duur om te gebruiken ("inference"), omdat bij elke aanvraag alle parameters worden aangesproken. Sparse modellen proberen dat probleem te omzeilen door slimmer met rekenkracht om te gaan. Er zijn aanhoudende geruchten, nooit officieel bevestigd door OpenAI, dat GPT-4 (2023) geen zuiver dense model meer is maar een mixture-of-experts-architectuur gebruikt.
Een reëel obstakel blijft dat grotere dense modellen enorme hoeveelheden energie en gespecialiseerde rekenchips vergen, en dat de meetbare kwaliteitswinst per verdubbeling van omvang geleidelijk afneemt. Onderzoekers zijn het er niet over eens hoe lang puur opschalen van dense modellen nog forse verbeteringen zal opleveren.
Wie werken eraan?
De belangrijkste ontwikkelaars van dense transformer-modellen zijn grote techbedrijven met eigen AI-onderzoeksafdelingen: OpenAI (VS), Google DeepMind (VS/VK), Meta AI (VS) en Anthropic (VS). Ook Mistral AI (Frankrijk) en Chinese partijen zoals Alibaba (met de Qwen-modellenreeks) en DeepSeek brengen dense modellen uit, vaak naast sparse varianten.
Op onderzoeksgebied spelen universiteiten als Stanford en de Universiteit van Toronto een rol bij het analyseren en verbeteren van transformerarchitecturen, terwijl instituten als het Duitse DFKI en Nederlandse onderzoeksgroepen (onder meer aan de Universiteit van Amsterdam) meewerken aan fundamenteel onderzoek naar taalmodellen. De Verenigde Staten en China zijn met afstand de landen met de meeste investeringen en publicaties op dit gebied, met de Europese Unie en het Verenigd Koninkrijk als kleinere maar actieve spelers.