llms.txt: een leeswijzer voor AI-taalmodellen
Stel je voor dat er iedere dag duizenden bezoekers langskomen die razendsnel door je website bladeren, maar geen tijd hebben om menu's, advertenties of inlogschermen te ontcijferen. Ze willen alleen de kern: waar staat de belangrijkste informatie, en is die in een simpel, opgeruimd format te lezen? Voor dat soort bezoekers is llms.txt bedacht. Het is een klein tekstbestand dat een website op een vaste plek aanbiedt, speciaal geschreven voor taalmodellen (de AI-systemen achter chatbots zoals ChatGPT of Claude) in plaats van voor mensen.
De naam verraadt de verwantschap met een veel ouder bestand: robots.txt, dat zoekmachines al sinds de jaren negentig vertelt welke delen van een site ze wel en niet mogen doorzoeken. llms.txt doet iets anders: het geeft geen toestemming, maar een samenvatting. Het is te vergelijken met een inhoudsopgave of leeswijzer die een schrijver aan een journalist meegeeft: 'lees dit eerst, dit is waar het echt om gaat, en hier vind je de details.' Zo hoeft een AI-model niet zelf te puzzelen tussen navigatiebalken, cookiemeldingen en JavaScript-code om te snappen waar een pagina over gaat.
Wat is het precies?
Technisch gezien is llms.txt een gewoon tekstbestand in het Markdown-formaat, te vinden op het adres voorbeeld.nl/llms.txt. Markdown is een eenvoudige opmaaktaal waarmee je met tekens als # en * koppen en lijstjes maakt, zonder de rommelige code van een webpagina. Dat maakt het bestand licht en snel te verwerken, ook voor een taalmodel dat maar een beperkte hoeveelheid tekst tegelijk kan 'onthouden' tijdens een gesprek (dat beperkte werkgeheugen heet het context window).
De voorgestelde opbouw is strak: bovenaan een titel, direct gevolgd door een korte samenvatting in één alinea. Daarna mag een schrijver in gewone tekst wat extra achtergrond geven. Vervolgens komen kopjes met lijstjes van links, telkens naar een pagina in eenvoudige Markdown-vorm (vaak simpelweg dezelfde pagina met .md achter de URL). Een apart kopje 'Optional' bevat verwijzingen die minder essentieel zijn, zodat een AI-systeem met weinig ruimte die kan overslaan. Sommige sites bieden daarnaast een tweede, uitgebreider bestand aan: llms-full.txt, waarin de volledige inhoud van alle belangrijke pagina's al is samengevoegd in één document.
Er bestaat ook gereedschap omheen. Answer.AI, de makers van het voorstel, publiceerden een hulpprogramma genaamd llms_txt2ctx waarmee een kort llms.txt-bestand automatisch wordt 'uitgeklapt' tot de volledige tekst, klaar om in een chatgesprek te plakken. Het idee is dat een ontwikkelaar of chatbot eerst het korte overzicht leest en pas de gedetailleerde pagina's ophaalt die echt relevant zijn voor de vraag die gesteld wordt.
Wat wil men ermee bereiken?
Het achterliggende probleem is simpel: gewone webpagina's zijn gebouwd voor menselijke ogen en een browser, met menu's, stijlbladen en interactieve elementen. Voor een taalmodel is dat grotendeels ruis. Al die overbodige tekst kost onnodig veel 'tokens' — de stukjes tekst waarin een taalmodel taal verwerkt en waarvoor gebruikers vaak ook betalen bij API-gebruik. Minder ruis betekent in theorie nauwkeurigere antwoorden, minder kans dat een model iets verzint (hallucineert) en lagere kosten.
Voor bedrijven en auteurs is er nog een tweede motief, dat sterk lijkt op zoekmachineoptimalisatie (SEO): grip houden op hoe je door AI wordt weergegeven. Net zoals bedrijven ooit hun website optimaliseerden om goed te scoren in Google, hopen sommigen nu met een opgeruimd llms.txt-bestand te zorgen dat een chatbot hun product, documentatie of standpunt correct en volledig citeert. Dit terrein krijgt inmiddels namen als GEO (generative engine optimization) of AEO (answer engine optimization), al zijn dat nog geen gevestigde vakgebieden.
Belangrijk om te beseffen: llms.txt is een voorstel, geen garantie. Er is geen instantie die AI-bedrijven verplicht het bestand te gebruiken. Het is eerder een uitgestoken hand — 'hier is alvast een opgeruimde versie, mocht je hem willen'.
Voorbeelden uit de praktijk
Het idee werd in september 2024 gelanceerd door Jeremy Howard, mede-oprichter van het onderzoeks- en ontwikkelbedrijf Answer.AI en van het bekende onderwijsplatform fast.ai. Hij publiceerde de specificatie op de site llmstxt.org en de bijbehorende code op GitHub, met de oproep aan de gemeenschap om mee te denken en het uit te proberen.
Answer.AI paste het meteen zelf toe op de documentatie van eigen open source-projecten, zoals het webframework FastHTML, als praktijkvoorbeeld voor andere ontwikkelaars.
Een belangrijke versneller was Mintlify, een populair platform waarop veel techbedrijven hun documentatiesites laten hosten. Mintlify begon automatisch een llms.txt-bestand te genereren voor elke site die op het platform draait, waardoor honderden bedrijven het bestand van de ene op de andere dag beschikbaar kregen zonder er zelf iets voor te hoeven doen. Documentatiesites die op Mintlify draaien, zoals die van Anthropic, kregen hierdoor eveneens automatisch een llms.txt.
Ook infrastructuurbedrijf Cloudflare, dat een groot deel van het internetverkeer afhandelt, publiceerde eind 2024 gereedschap en een uitleg waarmee sitebeheerders eenvoudig een llms.txt-bestand kunnen laten genereren via het edge-netwerk van het bedrijf.
Verder namen tal van individuele open source-projecten en documentatiesites, vooral in de ontwikkelaarswereld, het bestand handmatig over na het oorspronkelijke voorstel, als een low-effort manier om 'AI-vriendelijker' te worden.
Hoe ver is de techniek?
Belangrijk voor een eerlijk beeld: llms.txt is geen officiële internetstandaard. Er is geen standaardisatieorgaan zoals het W3C of de IETF bij betrokken, zoals dat bijvoorbeeld wel gebeurde met HTML of HTTP. Het is een informeel voorstel dat zijn kracht vooral ontleent aan vrijwillige navolging.
En daar zit meteen de grootste onzekerheid: het is niet publiekelijk bevestigd dat de grote AI-bedrijven hun systemen structureel laten controleren op een llms.txt-bestand. Google-woordvoerder John Mueller liet in reacties op vragen van webontwikkelaars weten dat Google het bestand niet gebruikt voor zijn zoekmachine of AI-functies. Of OpenAI en Anthropic hun crawlers of chatbots wel automatisch llms.txt laten raadplegen, is niet eenduidig gedocumenteerd; het voordeel treedt vooral op wanneer een ontwikkelaar het bestand zelf, handmatig, aan een chatgesprek toevoegt, of wanneer een AI-agent daar expliciet voor is gebouwd.
Er is bovendien concurrentie vanuit een andere hoek: het Model Context Protocol (MCP), eind 2024 geïntroduceerd door Anthropic, biedt AI-systemen een manier om dynamisch en interactief met externe data en tools te communiceren, in plaats van een statisch tekstbestand te lezen. Sommige waarnemers zien MCP als een krachtigere, toekomstvastere opvolger voor precies dit soort problemen, terwijl llms.txt vooral aantrekkelijk blijft vanwege zijn simpelheid.
Een ander punt van zorg is misbruikgevoeligheid: net zoals SEO ooit leidde tot keyword-stuffing en spam, bestaat het risico dat llms.txt-bestanden gebruikt gaan worden om AI-modellen te sturen richting bepaalde claims of producten, zonder dat dit voor de eindgebruiker zichtbaar is. Toezicht daarop bestaat vooralsnog niet.
Kortom: de techniek zelf is simpel en werkt zoals bedoeld, maar de daadwerkelijke invloed ervan op hoe AI-systemen het web lezen, is nog grotendeels onbewezen en hangt af van vrijwillige adoptie aan beide kanten van de lijn.
Wie werken eraan?
De kern van het initiatief ligt bij Jeremy Howard en het team van Answer.AI, het bedrijf dat hij samen met onder anderen Eric Ries oprichtte na zijn eerdere werk bij fast.ai. Zij onderhouden de specificatie en het bijbehorende gereedschap als open source-project op GitHub, waar ontwikkelaars van over de hele wereld suggesties en verbeteringen kunnen indienen.
Daarnaast zijn het vooral bedrijven uit de ontwikkelaarstools- en documentatie-industrie die het voorstel praktisch hebben opgepikt, met Mintlify en Cloudflare als meest zichtbare voorbeelden. Van de grote AI-labs zelf — OpenAI, Google DeepMind, Anthropic — is geen van allen officieel als mede-ontwikkelaar van de standaard opgetreden; hun rol blijft vooralsnog die van (mogelijke) lezer, niet van opsteller.