Contrastive learning: leren door vergelijken
Stel je voor dat je een peuter leert wat een hond is, niet door een definitie op te lezen, maar door steeds te zeggen: "dit is een hond, en dat daar is geen hond, dat is een kat." Na genoeg voorbeelden van gelijkenissen en verschillen pikt het kind het patroon op. Contrastive learning (Nederlands: contrastief leren) werkt voor computers op een vergelijkbare manier: een AI-systeem leert niet door labels te onthouden, maar door te ontdekken welke dingen bij elkaar horen en welke niet.
Concreet: een algoritme krijgt twee lichtjes bewerkte versies van dezelfde foto te zien (bijvoorbeeld een iets uitgesneden of gespiegelde variant) en leert dat die twee 'bij elkaar horen'. Tegelijk krijgt het allerlei andere, niet-verwante foto's te zien en leert het dat die juist 'niet bij elkaar horen'. Door miljoenen van zulke vergelijkingen te maken, bouwt het systeem een soort innerlijke kaart op waarin gelijkende dingen dicht bij elkaar liggen en verschillende dingen ver uit elkaar. Het bijzondere is dat dit kan zonder dat iemand van tevoren heeft opgeschreven wat er op de foto staat.
Wat is het precies?
Contrastive learning is een vorm van zelfgesuperviseerd leren: de computer heeft geen door mensen aangebrachte labels nodig (zoals "dit is een kat"), maar haalt zijn lesmateriaal uit de data zelf. Dat werkt in een paar stappen.
Eerst maakt het systeem van één stuk data, zeg een foto, twee of meer 'views' of aanzichten. Dat gebeurt door de foto een beetje te veranderen: bijbijsnijden, kleuren aanpassen, spiegelen of vervagen. Deze bewerkte versies heten in vaktaal augmentaties. Omdat ze van dezelfde oorspronkelijke foto afstammen, weet het systeem zeker dat ze bij elkaar horen; dit noemt men een positief paar.
Vervolgens worden er ook willekeurige andere foto's uit de dataset bij gehaald. Deze vormen samen met de oorspronkelijke foto zogeheten negatieve paren: voorbeelden die niet bij elkaar horen.
Het systeem, meestal een neuraal netwerk, zet elke foto om in een rij getallen, een zogeheten embedding of vector. Die vector is een soort compacte vingerafdruk van de inhoud. Tijdens het trainen stuurt een wiskundige functie (de contrastive loss, vaak een variant genaamd InfoNCE) het netwerk aan om de vingerafdrukken van positieve paren dichter bij elkaar te duwen, en die van negatieve paren verder weg.
Na genoeg van dit soort oefeningen ontstaat een ruimte van vingerafdrukken waarin gelijkende beelden (twee foto's van honden, bijvoorbeeld) automatisch bij elkaar clusteren, zonder dat het woord 'hond' ooit is genoemd. Die ruimte kan daarna worden hergebruikt voor concrete taken, zoals het herkennen van objecten, het zoeken naar gelijkende afbeeldingen, of het koppelen van tekst aan beeld.
Wat wil men ermee bereiken?
De belangrijkste belofte van contrastive learning is dat AI-systemen minder afhankelijk worden van dure, met de hand gelabelde datasets. Het labelen van miljoenen foto's of geluidsopnames door mensen kost veel tijd en geld, en is foutgevoelig. Als een systeem zelf kan leren van ruwe, ongelabelde data, zoals de enorme hoeveelheid foto's en teksten die al op internet staan, wordt AI-ontwikkeling potentieel goedkoper en toegankelijker.
Een tweede doel is betere generalisatie: representaties die zijn geleerd door te vergelijken in plaats van te classificeren, blijken vaak robuuster. Ze werken beter op nieuwe, niet eerder gezien situaties, en kunnen met relatief weinig extra gelabelde voorbeelden worden 'bijgeschaafd' (fine-tuning) voor een specifieke taak.
Tenslotte is er de ambitie om verschillende soorten data (tekst, beeld, geluid) in dezelfde 'taal' van vectoren te leren spreken. Als een zin en een bijpassende foto in dezelfde ruimte dicht bij elkaar belanden, ontstaan systemen die bijvoorbeeld afbeeldingen kunnen zoeken op basis van een tekstuele beschrijving, of omgekeerd.
Voorbeelden uit de praktijk
SimCLR (Google Research, 2020) was een van de eerste systemen die liet zien dat je met louter contrastief leren en zware databewerkingen (augmentaties) beeldherkenners kon trainen die qua prestatie dicht bij traditioneel gesuperviseerde modellen kwamen, zonder labels te gebruiken tijdens de voortraining.
MoCo (Momentum Contrast, Meta AI/Facebook AI Research, 2019-2020) loste een praktisch probleem op: om goed te contrasteren heb je veel negatieve voorbeelden nodig, maar die allemaal tegelijk verwerken kost enorm veel rekengeheugen. MoCo gebruikte een slim geheugen-mechanisme om dat te omzeilen.
CLIP (Contrastive Language-Image Pre-training, OpenAI, 2021) is wellicht het bekendste voorbeeld. CLIP leerde van honderden miljoenen foto's met bijschriften van het internet om beeld en tekst in dezelfde vectorruimte te plaatsen. Het resultaat is een systeem dat, zonder specifiek getraind te zijn op een bepaalde taak, foto's kan herkennen aan de hand van een willekeurige tekstuele beschrijving. CLIP vormt de basis voor veel latere beeldgeneratiesystemen, waaronder onderdelen van DALL-E.
Wav2vec 2.0 (Meta AI, 2020) past een vergelijkbaar contrastief principe toe op spraak: het systeem leert nuttige representaties van audio zonder transcripties, wat spraakherkenning voor talen met weinig gelabelde data toegankelijker maakt.
SimCSE (2021, onderzoek verbonden aan Princeton/Tsinghua) liet zien dat contrastief leren ook goed werkt voor zinsrepresentaties in taalverwerking, door subtiele variaties van dezelfde zin (bijvoorbeeld via verschillende dropout-ruis) als positief paar te gebruiken.
Hoe ver is de techniek?
Contrastive learning wordt inmiddels breed toegepast en is geen experimentele curiositeit meer; het zit verwerkt in praktische systemen voor beeldzoekmachines, aanbevelingssystemen en als voortrainingsstap voor grotere AI-modellen. Sinds de doorbraken van SimCLR, MoCo en CLIP rond 2020-2021 is het tempo van verbeteringen hoog geweest, al is de aandacht in de bredere AI-wereld recent verschoven naar generatieve modellen (zoals grote taalmodellen en beeldgeneratoren), die vaak gebruikmaken van contrastief geleerde bouwstenen maar er niet meer de hoofdrolspeler van zijn.
Een blijvend obstakel is de behoefte aan grote hoeveelheden data en rekenkracht: goede contrastieve voortraining vraagt doorgaans om zeer grote datasets en zware GPU-clusters, wat de techniek minder toegankelijk maakt voor kleinere partijen. Daarnaast is er onzekerheid over hoeveel van de 'intelligentie' van systemen als CLIP werkelijk voortkomt uit het contrastieve leerprincipe, en hoeveel simpelweg schaal van data is; onderzoekers zijn het hier nog niet over eens. Ook blijft het kiezen van goede augmentaties (welke bewerkingen tellen als 'dezelfde inhoud'?) voor een deel handwerk en taakafhankelijk, wat de methode minder universeel maakt dan soms wordt gesuggereerd.
Wie werken eraan?
Grote techbedrijven met eigen AI-onderzoekslabs lopen voorop: Google DeepMind en Google Research (SimCLR en opvolgers), Meta AI/FAIR (MoCo, wav2vec), en OpenAI (CLIP) hebben de belangrijkste doorbraken geleverd of sterk beïnvloed. Daarnaast draagt Microsoft Research bij aan toepassingen in taal- en multimodale modellen.
Op academisch vlak zijn universiteiten als Stanford, Berkeley, Princeton en Tsinghua University actief betrokken bij fundamenteel onderzoek naar de wiskundige eigenschappen en toepassingen van contrastieve methoden. Conferenties als NeurIPS, ICML en CVPR zijn de belangrijkste podia waar nieuw onderzoek op dit gebied wordt gepresenteerd. Het veld is internationaal: naast de Verenigde Staten (waar de meeste grote labs zitten) leveren ook Chinese instituten en universiteiten een substantiële bijdrage aan publicaties over dit onderwerp.