Chunking: hoe AI grote teksten leert doorzoeken in behapbare stukjes
Stel je voor dat je een hele bibliotheek aan een assistent geeft en vraagt: "Wat staat er in hoofdstuk 12 van dat ene rapport over stikstofuitstoot?" Een mens zou het boek pakken, de inhoudsopgave checken en naar de juiste bladzijde bladeren. Een taalmodel als ChatGPT kan dat niet zomaar, want het kan maar een beperkte hoeveelheid tekst tegelijk "lezen". Chunking is de truc waarmee grote documenten toch doorzoekbaar worden gemaakt voor AI: de tekst wordt in kleinere, behapbare stukken geknipt, zodat een computer precies dat ene relevante fragment kan opdiepen in plaats van het hele boek te moeten doornemen.
Het woord komt van het Engelse "chunk", een brok of stuk. In de context van kunstmatige intelligentie duikt de term vooral op bij zogeheten RAG-systemen (Retrieval-Augmented Generation, ofwel "generatie met opzoekhulp"): technologie die achter chatbots zit die vragen kunnen beantwoorden over jouw eigen documenten, een bedrijfshandboek of een verzameling nieuwsartikelen. Chunking bepaalt in feite hoe goed zo'n systeem "weet waar het moet zoeken" en is daarmee een van de minst zichtbare, maar meest bepalende onderdelen van moderne AI-toepassingen.
Wat is het precies?
Een taalmodel werkt met een zogeheten "contextvenster": de maximale hoeveelheid tekst die het in één keer kan verwerken, gemeten in tekstfragmentjes die "tokens" heten. Ook al zijn die vensters de laatste jaren flink gegroeid, een compleet jaarverslag, wetboek of archief past er meestal niet in, en zelfs als het wel past, wordt zoeken daarin trager en duurder. Daarom knippen ontwikkelaars grote teksten vooraf op in kleinere stukken.
Het proces verloopt doorgaans in een paar stappen. Eerst wordt een document opgedeeld, bijvoorbeeld per alinea, per paar honderd woorden, of op basis van natuurlijke grenzen zoals hoofdstukken en koppen. Vervolgens wordt elke chunk omgezet in een "embedding": een reeks getallen die de betekenis van die tekst wiskundig samenvat, zodat een computer kan berekenen welke stukken tekst inhoudelijk op elkaar lijken. Die embeddings worden opgeslagen in een vectordatabase, een soort supersnelle bibliotheekcatalogus voor betekenis in plaats van trefwoorden. Als een gebruiker een vraag stelt, wordt ook die vraag omgezet in een embedding, waarna het systeem de chunks opzoekt die er het meest op lijken. Alleen die paar relevante stukjes tekst worden vervolgens, samen met de vraag, aan het taalmodel gegeven om een antwoord te formuleren.
De kunst zit in de grootte en de plek van de knip. Chunks die te klein zijn, missen context: een zin over "de stijging" zonder te vermelden waar die over gaat, is voor een zoeksysteem waardeloos. Chunks die te groot zijn, verwateren juist de relevantie, omdat er te veel irrelevante tekst meekomt met het ene belangrijke zinnetje. Ontwikkelaars experimenteren daarom met vaste lengtes, overlappende stukken (zodat informatie niet precies op de knip verloren gaat) en "semantische" chunking, waarbij software probeert te knippen op plekken waar het onderwerp daadwerkelijk verandert.
Wat wil men ermee bereiken?
Het achterliggende doel is dat AI-systemen betrouwbaar kunnen antwoorden op basis van specifieke, actuele of private informatie, zonder dat een taalmodel dat allemaal uit het hoofd hoeft te kennen. Een taalmodel is getraind op een momentopname van het internet en verzint soms feiten die er overtuigend uitzien maar niet kloppen, een verschijnsel dat bekendstaat als "hallucineren". Door het model expliciet brokstukken echte tekst te geven om zijn antwoord op te baseren, wordt dat risico kleiner en wordt het bovendien mogelijk om te verwijzen naar de bron.
Daarnaast spelen praktische en financiële motieven mee. Elk stukje tekst dat aan een taalmodel wordt gevoerd, kost rekenkracht en dus geld, en vertraagt het antwoord. Door alleen de meest relevante chunks mee te sturen in plaats van een heel document, blijven AI-toepassingen betaalbaar en snel genoeg om bruikbaar te zijn in bijvoorbeeld klantenservice, juridisch onderzoek of medische naslagwerken.
Voorbeelden uit de praktijk
LangChain, een softwarebibliotheek die programmeur Harrison Chase in 2022 lanceerde, was een van de eerste gereedschapskisten die chunking (daar "text splitters" genoemd) toegankelijk maakte voor ontwikkelaars die AI-toepassingen bouwden. Het groeide snel uit tot een veelgebruikte standaard bij het bouwen van chatbots die met eigen documenten werken.
LlamaIndex, opgezet door Jerry Liu en aanvankelijk "GPT Index" genoemd, richt zich sinds eind 2022 specifiek op het slim indexeren van data voor taalmodellen, met verschillende chunkingstrategieën als kernfunctie.
Anthropic, het bedrijf achter de Claude-taalmodellen, publiceerde in september 2024 een methode die het "Contextual Retrieval" noemde. Daarbij wordt elke chunk voor het opslaan eerst automatisch verrijkt met een kort stukje context over waar die precies in het hele document vandaan komt, zodat losse fragmenten minder snel hun betekenis verliezen. Het bedrijf rapporteerde zelf aanzienlijke verbeteringen in de nauwkeurigheid van het terugvinden van relevante informatie, al zijn dat cijfers uit eigen onderzoek en geen onafhankelijk geverifieerde benchmark.
OpenAI voegde in 2023 aan zijn Assistants API een ingebouwde bestandszoekfunctie toe die automatisch documenten van gebruikers opknipt en doorzoekbaar maakt, zodat ontwikkelaars niet zelf een chunkingstrategie hoeven te bouwen.
Ook buiten de techwereld duikt chunking op: overheidsinstellingen en bedrijven die grote hoeveelheden interne documentatie doorzoekbaar willen maken voor personeel, gebruiken vergelijkbare pijplijnen, vaak gebouwd bovenop een vectordatabase zoals Pinecone of Weaviate.
Hoe ver is de techniek?
Chunking zelf is geen exotisch onderzoeksgebied met doorbraken die de krantenkoppen halen, maar een praktisch, snel evoluerend stukje techniek waaraan voortdurend wordt gesleuteld. De eerste generatie systemen knipte teksten simpelweg op een vast aantal woorden of tekens, vaak met een beetje overlap. Dat werkt, maar leidt regelmatig tot vreemde knippunten midden in een zin of gedachte.
Recentere aanpakken proberen slimmer te knippen: op basis van de structuur van een document (koppen, alinea's, tabellen), op basis van betekenisverandering, of zoals bij Anthropics aanpak, door chunks achteraf van extra context te voorzien. Er bestaat geen "beste" methode die voor elk type document werkt; een juridisch contract vraagt om een andere aanpak dan een reeks chatberichten of een wetenschappelijk artikel vol tabellen en voetnoten. Dat maakt chunking in de praktijk nog altijd behoorlijk arbeidsintensief: ontwikkelaars testen en verfijnen strategieën per toepassing.
Belangrijke obstakels zijn onder meer complexe documentopmaak (tabellen, afbeeldingen, voetnoten die de logische volgorde doorbreken), meertalige teksten, en het risico dat informatie die over meerdere chunks verspreid staat, niet goed wordt samengevoegd. Ook is er geen gestandaardiseerde manier om chunkingkwaliteit te meten; onderzoekers en bedrijven gebruiken uiteenlopende eigen testsets, wat vergelijken lastig maakt.
Wie werken eraan?
Naast de al genoemde spelers, zoals Anthropic, OpenAI, LangChain en LlamaIndex, houden ook Google DeepMind en Microsoft zich bezig met retrieval-technieken in hun eigen AI-producten, bijvoorbeeld in zoekfuncties en kantoorsoftware die documenten doorzoekbaar maken. Vectordatabasebedrijven zoals Pinecone (VS) en Weaviate (met Europese, mede Nederlandse wortels) leveren de infrastructuur waarop veel van deze chunkingpijplijnen draaien.
Op academisch vlak buigen onderzoeksgroepen aan onder meer Stanford University en de University of Washington zich over retrieval-technieken voor taalmodellen, vaak gepubliceerd via het open preprint-platform arXiv. Verder zijn er talloze kleinere start-ups en open-sourceprojecten die experimenteren met chunkingstrategieën, wat het een levendig maar ook versnipperd vakgebied maakt zonder één centrale standaardaanpak.