Grouped Query Attention: hoe AI-modellen sneller en goedkoper teksten genereren
Grouped Query Attention, meestal afgekort tot GQA, is een technische aanpassing binnen de architectuur van moderne taalmodellen zoals ChatGPT, Llama en Mistral. Het regelt hoe zo'n model tijdens het genereren van tekst 'terugkijkt' naar eerdere woorden, en doet dat op een manier die veel minder computergeheugen kost dan de klassieke methode. Voor de gebruiker verandert er niets zichtbaars: het antwoord van de chatbot ziet er hetzelfde uit. Achter de schermen zorgt GQA er wel voor dat dat antwoord sneller en met minder dure serverhardware tot stand komt.
Een vergelijking maakt het concreet. Stel je een grote vergaderzaal voor met dertig deelnemers die allemaal apart aantekeningen bijhouden van alles wat er gezegd is, zodat ze daar later op kunnen terugvallen. Dat werkt goed, maar het kost dertig complete notitieboeken die voortdurend geraadpleegd moeten worden. Grouped Query Attention laat groepjes van bijvoorbeeld vier deelnemers één gedeeld notitieboek bijhouden in plaats van ieder een eigen boek. Er gaat wat detail verloren omdat niet meer iedereen zijn eigen aantekeningen heeft, maar het aantal boeken dat doorgebladerd moet worden daalt drastisch — en dat scheelt enorm in tijd en opslag.
Wat is het precies?
Om GQA te begrijpen, helpt het om eerst te weten hoe het onderliggende mechanisme, 'attention' (aandacht), werkt in de transformer-architectuur die vrijwel alle huidige taalmodellen gebruiken. Voor ieder woord (preciezer: iedere token, een stukje tekst) berekent het model drie soorten vectoren: een Query (wat zoek ik?), een Key (wat kan ik bieden?) en een Value (welke informatie zit erin?). Door de Query van het huidige woord te vergelijken met de Keys van alle voorgaande woorden, bepaalt het model waar het 'aandacht' aan besteedt, en haalt het de bijbehorende Values op.
Taalmodellen doen dit niet één keer, maar via meerdere parallelle 'aandachtskoppen' (attention heads), elk met hun eigen Query-, Key- en Value-berekening. Zo kan de ene kop letten op grammaticale relaties en een andere op feitelijke samenhang. Dit heet multi-head attention en is sinds het invloedrijke 'Attention is All You Need'-artikel uit 2017 de standaard.
Het probleem ontstaat bij het genereren van tekst, woord voor woord. Om niet steeds alles opnieuw te berekenen, bewaart het model de Keys en Values van alle eerdere woorden in het geheugen: de zogeheten KV-cache. Bij een model met veel aandachtskoppen en een lange tekst wordt die cache enorm, en het steeds opnieuw inladen ervan vanuit het geheugen van de grafische kaart (GPU) kost tijd — meer tijd vaak dan de eigenlijke rekenwerk. Dit heet een geheugenbandbreedte-knelpunt.
Een eerdere oplossing, Multi-Query Attention (MQA, voorgesteld door onderzoeker Noam Shazeer in 2019), liet alle aandachtskoppen één gedeelde Key en Value delen, en behield alleen aparte Queries per kop. Dat versnelt genereren flink, maar de kwaliteit van het model liep merkbaar terug omdat te veel nuance verloren ging. GQA, geïntroduceerd in 2023 door onderzoekers van Google, is het compromis: de aandachtskoppen worden opgedeeld in een klein aantal groepen, en alleen binnen zo'n groep wordt één Key/Value-paar gedeeld. Bij bijvoorbeeld 32 koppen en 8 groepen deelt elke groep van vier koppen dus één gezamenlijke Key en Value. Het aantal te bewaren Key/Value-sets daalt daarmee van 32 naar 8, terwijl de Queries per kop uniek blijven — een middenweg tussen snelheid en precisie.
Wat wil men ermee bereiken?
Het hoofddoel van GQA is simpel: taalmodellen sneller en goedkoper laten draaien zonder noemenswaardig kwaliteitsverlies. Voor bedrijven die deze modellen aanbieden — als chatbot, als coderingshulp, als zoekmachine — telt elke seconde reactietijd en elke gigabyte GPU-geheugen mee in de operationele kosten.
Een tweede, minstens zo belangrijk doel is het mogelijk maken van langere contextvensters: modellen die duizenden of zelfs miljoenen woorden aan voorgeschiedenis kunnen 'onthouden' binnen een gesprek of document. Omdat de KV-cache evenredig groeit met de lengte van de tekst, is het beperken van de cache per stap precies wat nodig is om dat soort lange context betaalbaar te maken.
Verder toonden de bedenkers van GQA aan dat een bestaand model dat met klassieke multi-head attention is getraind, relatief goedkoop kan worden 'omgebouwd' naar GQA door het na te trainen op een fractie van de oorspronkelijke trainingsdata. Dat maakt de techniek aantrekkelijk: labs hoeven niet vanaf nul te beginnen om van de voordelen te profiteren.
Voorbeelden uit de praktijk
GQA is inmiddels in veel bekende modellen terug te vinden. Meta paste het in 2023 toe in de grotere varianten van Llama 2 (34B en 70B parameters), en breidde dit in 2024 uit naar alle groottes van Llama 3, inclusief het 405 miljard parameters tellende vlaggenschip. Mistral AI gebruikte GQA vanaf de release van Mistral 7B in september 2023, gecombineerd met een andere geheugenbesparende truc genaamd sliding window attention. Google zette de techniek — niet toevallig, want het bedrijf ontwikkelde haar — in bij de open Gemma-modellen vanaf 2024, en naar verluidt ook in delen van de Gemini-modelfamilie. Ook diverse Falcon-modellen van het Technology Innovation Institute in Abu Dhabi maakten gebruik van varianten in deze richting. Deze voorbeelden laten zien dat GQA in korte tijd van onderzoekspaper naar industriestandaard is gegaan.
Hoe ver is de techniek?
GQA is geen experimentele curiositeit meer, maar een ingeburgerd onderdeel van het ontwerp van vrijwel elk groot open taalmodel dat sinds eind 2023 is uitgebracht. De overstap van onderzoek naar wijdverspreide toepassing verliep ongewoon snel, mede dankzij de mogelijkheid om bestaande modellen na te trainen in plaats van opnieuw te bouwen.
Toch is dit geen eindpunt. Onderzoekers zoeken naar nog zuinigere varianten. Een opvallend voorbeeld is Multi-Head Latent Attention (MLA), gebruikt in de DeepSeek-V2- en V3-modellen van het Chinese DeepSeek in 2024, dat de Key/Value-informatie comprimeert tot een kleinere 'latente' representatie en zo de geheugenvraag nog verder terugdringt. Dit suggereert dat GQA eerder een tussenstap dan een definitieve oplossing is.
Een eerlijke kanttekening: het voordeel van GQA is het grootst tijdens het stapsgewijs genereren van tekst op hardware waar geheugenbandbreedte de bottleneck vormt. Bij andere taken, zoals het in één keer verwerken van een lange invoer, is de winst kleiner. Ook is de optimale verhouding tussen het aantal Query-koppen en het aantal gedeelde groepen een ontwerpkeuze die per model en per beschikbare hardware verschilt; er bestaat geen universeel 'beste' instelling. Bovendien publiceren gesloten labs als OpenAI en Anthropic doorgaans geen architecturale details, waardoor onbekend is in hoeverre zij GQA of vergelijkbare technieken gebruiken in hun nieuwste modellen.
Wie werken eraan?
Google Research (later opgegaan in Google DeepMind) publiceerde de oorspronkelijke GQA-methode in 2023, met auteurs als Joshua Ainslie en collega's, en past de techniek toe in eigen open modellen zoals Gemma. Meta AI is een van de grootste gebruikers via de Llama-modelreeks, die veelvuldig als basis dient voor onderzoek elders. Het Franse Mistral AI bouwde de techniek in vanaf zijn allereerste modelrelease. Het Chinese DeepSeek onderzoekt geavanceerdere opvolgers zoals MLA. Daarnaast experimenteren universitaire onderzoeksgroepen wereldwijd met varianten en optimalisaties, vaak gepubliceerd via preprint-platform arXiv. Voor de meeste grote commerciële, gesloten modellen buiten deze voorbeelden is niet met zekerheid te zeggen welke exacte aandachtstechniek wordt gebruikt, omdat de bedrijven hier terughoudend over zijn.