Contextlengte: hoeveel tekst kan een AI-model in één keer 'onthouden'?
Als je met een chatbot zoals ChatGPT of Claude praat, lijkt het alsof hij het hele gesprek onthoudt. Maar in werkelijkheid heeft elk taalmodel een harde grens aan hoeveel tekst het tegelijk kan 'zien'. Die grens heet de contextlengte of het contextvenster: het maximale aantal tekstbrokjes dat een model in één keer kan verwerken, inclusief de vraag van de gebruiker, eerdere berichten in het gesprek en eventuele bijgevoegde documenten.
Een handige vergelijking is je eigen werkgeheugen. Als iemand je een lang verhaal voorleest, kun je je de laatste paar zinnen goed herinneren, maar het begin vervaagt tenzij je het opschrijft. Een taalmodel heeft iets vergelijkbaars: alles wat buiten het contextvenster valt, bestaat voor het model op dat moment simpelweg niet. Vraag je een chatbot iets over pagina 400 van een boek van 500 pagina's, terwijl het venster maar 300 pagina's aankan, dan kan het model die informatie niet gebruiken, ook al lijkt het gesprek soepel te verlopen.
Wat is het precies?
Taalmodellen lezen geen letters of woorden, maar tokens: stukjes tekst van meestal een paar tekens, zoals een lettergreep of een kort woord. Het woord "contextlengte" bestaat bijvoorbeeld uit twee of drie tokens. De contextlengte van een model wordt uitgedrukt in het maximaal aantal tokens dat het tegelijk kan verwerken, bijvoorbeeld 32.000 of 200.000 tokens.
De reden dat dit een technische uitdaging is, zit in de attention (aandacht), het rekenmechanisme waarmee een model bepaalt welke eerdere woorden relevant zijn voor het volgende woord dat het genereert. In de klassieke opzet van deze zogeheten transformer-architectuur moet elk token vergeleken worden met elk ander token in het venster. Verdubbel je de lengte van de tekst, dan verviervoudigt (in het slechtste geval) de benodigde rekenkracht en het geheugengebruik. Dit heet kwadratische schaling, en het is de kern van het probleem: een groter contextvenster kost onevenredig veel meer rekenkracht en werkgeheugen op de servers die het model draaien.
Daarnaast moet een model tijdens het genereren van tekst een soort aantekeningenblok bijhouden, de zogeheten key-value cache, met representaties van alle voorgaande tokens. Bij een venster van een miljoen tokens wordt die cache zo groot dat gespecialiseerde en dure grafische chips nodig zijn om hem in het geheugen te houden.
Wat wil men ermee bereiken?
Onderzoekers en bedrijven willen contextvensters vergroten omdat veel nuttige taken simpelweg meer tekst vereisen dan vroeger paste. Denk aan het samenvatten van een heel jaarverslag, het doorzoeken van een complete broncodebase van een softwareproject, het analyseren van een lang juridisch contract, of het voeren van een uren durend gesprek zonder dat het model eerdere afspraken vergeet.
Een langer contextvenster kan ook een alternatief zijn voor complexere technieken zoals retrieval-augmented generation (RAG), waarbij een systeem eerst relevante fragmenten uit een database opzoekt en die aan het model voedt. Als een model gewoon een heel document in één keer kan lezen, is zo'n tussenstap soms overbodig, wat het systeem eenvoudiger en minder foutgevoelig maakt.
Tot slot is contextlengte belangrijk voor de opkomst van AI-"agents": systemen die zelfstandig meerdere stappen uitvoeren, tools aanroepen en tussenresultaten moeten onthouden. Hoe langer die keten van acties, hoe groter het venster moet zijn om niets uit het oog te verliezen.
Voorbeelden uit de praktijk
De afgelopen jaren is de contextlengte van toonaangevende modellen sterk gegroeid. Een paar concrete stappen:
- GPT-4 Turbo (OpenAI, november 2023) introduceerde een venster van 128.000 tokens, destijds een grote sprong ten opzichte van de 8.000 tot 32.000 tokens van eerdere GPT-4-versies.
- Claude 2.1 (Anthropic, november 2023) ging naar 200.000 tokens, genoeg voor een boek van enkele honderden pagina's in één gesprek.
- Gemini 1.5 Pro (Google, 2024) haalde in reguliere versie 1 miljoen tokens en liet in demonstraties een experimentele versie van 2 miljoen tokens zien, waarmee bijvoorbeeld een uur video of tienduizenden regels code in één keer konden worden geanalyseerd.
- GPT-4.1 (OpenAI, april 2025) bracht een contextvenster van 1 miljoen tokens naar een breder toegankelijk model.
- Mistral 7B (Mistral AI, 2023), een relatief klein open-source model, gebruikte een slimme truc genaamd sliding window attention: het model kijkt alleen naar een beperkt, glijdend venster van recente tokens in plaats van naar alles tegelijk, waardoor langere teksten haalbaar bleven zonder de rekenkosten te laten exploderen.
Deze cijfers zijn vooral fabrieksopgaven; hoe goed een model die volledige lengte ook daadwerkelijk gebruikt, is een aparte vraag die hieronder aan bod komt.
Hoe ver is de techniek?
Het vergroten van het contextvenster is de afgelopen jaren snel gegaan, mede dankzij nieuwe technieken voor positie-informatie in tekst. Een model moet namelijk niet alleen weten wélke tokens er zijn, maar ook op welke plek ze staan. Methodes als RoPE (Rotary Position Embeddings, voorgesteld door onderzoekers rond Su e.a. in 2021) en ALiBi (Attention with Linear Biases, Press e.a., rond 2021-2022) maken het makkelijker om modellen te trainen die ook bij tekstlengtes werken die ze tijdens de training nauwelijks hebben gezien. Recenter onderzoek zoals LongRoPE probeert deze technieken verder op te rekken naar nog langere vensters.
Een tweede spoor is het slimmer verdelen van de rekenlast over meerdere chips, zoals bij Ring Attention, een methode die onderzoekers van UC Berkeley rond 2023 beschreven om de aandachtsberekening van zeer lange teksten te verdelen over een keten van grafische processoren.
Toch is een groter venster geen garantie voor beter begrip. Uit onderzoek met de zogeheten needle-in-a-haystack-test (populair gemaakt door onderzoeker Greg Kamradt in 2023), waarbij een specifiek feitje ergens verstopt wordt in een lange tekst, blijkt dat modellen informatie in het midden van een heel lang document vaker missen dan informatie aan het begin of einde. Een model dat "1 miljoen tokens" ondersteunt, benut die ruimte dus niet altijd even betrouwbaar. Ook blijft het geheugengebruik en de rekentijd een reëel obstakel: hoe langer het venster, hoe duurder en trager een antwoord in de praktijk kan worden, ook al is het technisch mogelijk.
Kortom: de maximale contextlengte groeit gestaag door naar miljoenen tokens bij sommige aanbieders, maar de effectieve, betrouwbare bruikbaarheid van die lengte loopt daar nog niet altijd synchroon mee. Dit blijft een actief onderzoeksgebied zonder dat er al een definitieve oplossing is.
Wie werken eraan?
De grote Amerikaanse AI-bedrijven zetten het meest zichtbare tempo: OpenAI (GPT-serie), Anthropic (Claude-serie) en Google DeepMind (Gemini-serie) concurreren onderling met steeds langere contextvensters als verkoopargument. Het Franse Mistral AI draagt bij vanuit de open-sourcehoek, met efficiënte technieken die ook op kleinere, lokaal te draaien modellen werken.
Ook Meta AI (met de Llama-modellen) publiceert onderzoek en modellen met steeds langere vensters, vaak vrij beschikbaar voor onderzoekers. Chinese bedrijven zoals Alibaba (Qwen-modellen) en gespecialiseerde spelers als MiniMax experimenteren eveneens met zeer lange contextvensters, soms met claims van miljoenen tokens, al zijn onafhankelijke, uitgebreide vergelijkingen van zulke claims schaarser dan bij de grote Amerikaanse spelers.
Op onderzoeksniveau spelen universiteiten een grote rol bij de onderliggende technieken: onder meer UC Berkeley (Ring Attention) en Microsoft Research (werk aan LongRoPE en efficiënte aandachtsmechanismen) publiceren regelmatig invloedrijke papers op dit gebied, vaak in samenwerking met of gevolgd door de grote AI-labs.