Gemini zoekt zelf naar relevante scènes in video en bespaart tot 88% tokens

Google rolt een nieuwe manier van video-analyse uit voor de nieuwste Gemini Flash-modellen: Gemini 3.7 Flash, 3.6 Flash en 3.5 Flash-Lite. In plaats van een video standaard met één beeld per seconde te doorlopen, laat het bedrijf het model zelf beslissen welke fragmenten relevant zijn. Dat gebeurt via agentic AI: het model redeneert over de vraag die gesteld wordt en gaat vervolgens gericht op zoek in het beeldmateriaal, in plaats van blindelings alles te verwerken.

Van vast frame-tempo naar gericht zoeken

Tot voor kort werkte Gemini bij video's met een vaste bemonsteringsfrequentie: elke seconde werd een los beeld geanalyseerd, aangevuld met een transcriptie van de audio. Dat werkt, maar is inefficiënt bij lange video's van tien minuten tot enkele uren. Elk beeld kost namelijk rekenkracht, uitgedrukt in tokens, de rekeneenheden waarmee AI-modellen tekst, beeld en geluid verwerken. Bij lange opnames liep dat aantal snel op, waardoor ontwikkelaars moesten kiezen tussen hoge kosten of het overslaan van belangrijke details.

De nieuwe aanpak keert dat om. Het model doorzoekt de video actief, in een lus van redeneren, een fragment ophalen en het resultaat beoordelen. Het kan daarbij zelf kiezen of het naar losse beelden kijkt, naar de audio luistert of de transcriptie raadpleegt, en past de snelheid aan waarmee het beeld bekijkt. Verdachte momenten worden opnieuw en preciezer bekeken, waardoor het model ook veranderingen van minder dan een seconde kan opmerken, zoals een harde cut of een plotselinge statuswijziging in beeld.

Minder kosten, hogere nauwkeurigheid

Op interne testen van Google, waaronder de benchmarks 1H-VideoQA en LVBench, daalt het tokengebruik met tot 88 procent, terwijl de nauwkeurigheid van de antwoorden juist licht toeneemt. Google zegt dat de kosten voor ontwikkelaars daarmee tot 66 procent kunnen dalen. De techniek bouwt voort op 'agentic vision', een functie die het bedrijf in januari introduceerde voor los beeldmateriaal. Daarbij kon een multimodaal AI-model al zelfstandig inzoomen, bijsnijden en beeld annoteren voordat het een antwoord gaf.

De functie is vanaf nu beschikbaar via de Gemini API, zowel voor geüploade video's als YouTube-video's, in Google AI Studio en op het Gemini Enterprise Agent Platform. Ontwikkelaars zetten simpelweg de verwerkingsmodus op 'agentic' en betalen de gebruikelijke tarieven per token, zonder toeslag. Google kondigt aan de techniek ook naar consumentenproducten te brengen: gebruikers van de Gemini-app met Flash-modellen krijgen de functie binnenkort, en de komende maanden moet ze ook de 'Ask YouTube'-functie op het afspeelscherm van YouTube slimmer maken, zodat antwoorden beter aansluiten bij wat daadwerkelijk in de video te zien is.