Feedbacklus
Een feedbacklus is een terugkoppelmechanisme: de uitkomst van een proces beïnvloedt datzelfde proces opnieuw, waardoor een keten van oorzaak en gevolg ontstaat die zichzelf in stand houdt of juist afremt. Denk aan de thermostaat in huis: zodra de temperatuur boven de ingestelde waarde komt, meet de thermostaat dat en schakelt de verwarming uit. Zakt de temperatuur weer, dan gaat de verwarming aan. De uitkomst (de kamertemperatuur) stuurt dus de oorzaak (de verwarming) aan. Dat is een feedbacklus in de eenvoudigste vorm.
Feedbacklussen komen overal voor: in elektronica, in het menselijk lichaam (bloedsuikerregulatie), in het klimaat, en steeds nadrukkelijker in kunstmatige intelligentie, waar systemen leren van de reacties die ze zelf uitlokken. Een bekend en hoorbaar voorbeeld is het rondzingen van een microfoon die te dicht bij een luidspreker staat: het geluid uit de luidspreker wordt weer opgepikt door de microfoon, versterkt, opnieuw uitgezonden, en binnen seconden ontstaat een oorverdovende piep. Dat laatste voorbeeld laat meteen zien dat feedbacklussen niet altijd stabiliserend werken — soms versterken ze zichzelf juist tot het misgaat. Dat onderscheid staat centraal in dit artikel.
Wat is het precies?
Een feedbacklus bestaat uit drie basisonderdelen: een sensor die iets meet, een vergelijking met een gewenste waarde (de zogeheten setpoint), en een actuator die op basis daarvan ingrijpt. Deze drie stappen herhalen zich voortdurend, in een lus (Engels: loop).
Er zijn twee hoofdtypen. Bij negatieve feedback werkt de terugkoppeling het oorspronkelijke effect tegen, zodat het systeem naar een stabiele waarde toe beweegt. De thermostaat is hiervan het schoolvoorbeeld: te warm leidt tot uitschakelen, te koud tot inschakelen, en het geheel pendelt rond een evenwicht. De meeste regeltechniek — van cruise control in auto's tot de temperatuurregeling in serverruimtes — steunt op dit principe.
Bij positieve feedback versterkt de terugkoppeling juist het oorspronkelijke effect, waardoor een verandering steeds groter wordt in plaats van kleiner. Het rondzingende microfoonsysteem is hiervan een voorbeeld, net als een sneeuwbal die van een berghelling rolt en groeit. Positieve feedback kan nuttig zijn — bijvoorbeeld om een systeem snel op te starten — maar zonder rem loopt het vaak uit de hand: dat heet in de techniek en de natuurkunde een op hol geslagen lus (runaway loop).
In digitale systemen, zoals aanbevelingsalgoritmes van sociale media, werkt hetzelfde principe abstracter: het gedrag van gebruikers (kliks, kijktijd) is de sensor, het algoritme vergelijkt dat met wat 'succesvolle' content is, en de actuator is de content die vervolgens wordt getoond. Ook hier kan de lus stabiliserend werken (relevante aanbevelingen) of juist versterkend (steeds extremere content om aandacht vast te houden).
Wat wil men ermee bereiken?
In de regeltechniek is het doel van feedbacklussen vooral stabiliteit en betrouwbaarheid: een vliegtuig dat op koers blijft ondanks windvlagen, een elektriciteitsnet dat spanning constant houdt, of een chemische fabriek die een reactie binnen veilige grenzen houdt. Zonder feedback zou elk klein verstoringetje zich ongecontroleerd kunnen opstapelen.
In de klimaatwetenschap bestudeert men feedbacklussen vooral om risico's in te schatten. Sommige lussen in het klimaatsysteem zijn zelfversterkend en kunnen opwarming aanjagen; het in kaart brengen ervan helpt te begrijpen hoe snel en hoe ernstig veranderingen kunnen verlopen, en of er zogeheten kantelpunten bestaan — grenzen waarna een verandering moeilijk terug te draaien is.
In de kunstmatige intelligentie wil men feedbacklussen juist bewust inzetten om systemen te verbeteren: door een taalmodel te laten leren van menselijke beoordelingen van zijn antwoorden, wordt het model geleidelijk aan bruikbaarder en veiliger. Tegelijk wil men ongewenste feedbacklussen — zoals algoritmes die mensen onbedoeld naar steeds extremere content duwen — juist herkennen en afremmen.
Voorbeelden uit de praktijk
Een van de oudste technische toepassingen is de centrifugaalregelaar die de Schotse ingenieur James Watt in 1788 toevoegde aan zijn stoommachine. Twee ronddraaiende gewichten registreerden de snelheid van de machine; draaide deze te snel, dan zwaaiden de gewichten verder naar buiten en sloot een klep de stoomtoevoer iets af. Dit wordt vaak genoemd als een van de eerste bewust ontworpen negatieve feedbacklussen in de techniek.
In het klimaatsysteem is de ijs-albedo-terugkoppeling in de Arctis een veelbestudeerd voorbeeld. Sneeuw en zee-ijs weerkaatsen zonlicht (hoge albedo, oftewel weerkaatsingsvermogen). Smelt het ijs, dan komt donker zee- of landoppervlak bloot te liggen dat juist warmte absorbeert, wat verdere opwarming en verder smelten in de hand werkt. Satellietmetingen van onder meer NASA en het Amerikaanse National Snow and Ice Data Center laten al decennia een krimpende zomerse ijsbedekking in de Arctis zien.
Een verwant, nog onzekerder voorbeeld is de permafrost-koolstoflus: bevroren bodem in het hoge noorden bevat grote hoeveelheden organisch materiaal. Ontdooit deze bodem, dan breken micro-organismen dat materiaal af en komt kooldioxide en methaan vrij, broeikasgassen die de opwarming weer verder kunnen aanjagen. De precieze omvang en snelheid van dit effect is nog onderwerp van lopend onderzoek, onder meer samengevat in rapporten van het IPCC (het klimaatpanel van de Verenigde Naties).
In de digitale wereld werd rond 2018 breed onderzoek gepubliceerd — onder meer aangehaald in Amerikaanse Congreshoorzittingen en journalistiek onderzoek naar YouTube — dat liet zien hoe aanbevelingsalgoritmes gebruikers via een feedbacklus van klikgedrag geleidelijk naar steeds specifiekere of prikkelendere content konden leiden, ook wel de 'rabbit hole'-werking genoemd.
Een recenter voorbeeld uit de AI is Reinforcement Learning from Human Feedback (RLHF, letterlijk: leren via beloning op basis van menselijke feedback). OpenAI beschreef in 2022 in het InstructGPT-onderzoek hoe menselijke beoordelaars antwoorden van een taalmodel rangschikten; die beoordelingen werden gebruikt om het model bij te sturen. Dezelfde aanpak lag mede ten grondslag aan ChatGPT, dat eind 2022 werd gelanceerd.
Hoe ver is de techniek?
Klassieke regeltechniek met feedbacklussen is een volwassen vakgebied: de wiskundige basis (regeltheorie) staat al decennia vast en wordt dagelijks toegepast, van wasmachines tot ruimtevaart. Hier liggen nauwelijks fundamentele onzekerheden meer, al blijft het ontwerpen van lussen voor zeer complexe systemen, zoals zelfrijdende auto's, technisch uitdagend.
Klimaatfeedbacklussen zijn wetenschappelijk grotendeels erkend qua bestaan, maar de precieze omvang, snelheid en drempelwaarden zijn nog met onzekerheid omgeven. Het IPCC rapporteert bandbreedtes in plaats van exacte getallen, juist omdat lussen als de permafrostterugkoppeling lastig te meten en te modelleren zijn. Dat is geen reden om het onderwerp te bagatelliseren, maar wel om voorzichtig te zijn met stellige uitspraken over exacte kantelpunten.
Feedbacklussen in AI-systemen ontwikkelen zich snel, maar kennen bekende problemen. Bij RLHF kan zogeheten reward hacking optreden: een model leert antwoorden te geven die door de beoordeling goed scoren, zonder dat ze inhoudelijk correct of nuttig zijn. Bij aanbevelingsalgoritmes blijft het spanningsveld tussen relevantie en verslavende versterking (filterbubbels, polarisatie) een actief onderzoeksterrein, met wisselend succes van tegenmaatregelen zoals aangepaste aanbevelingsregels bij grote platforms.
Wie werken eraan?
Op het gebied van AI en feedbacklussen zijn onder meer OpenAI, Google DeepMind en Anthropic toonaangevend, met onderzoek naar RLHF en breder naar AI-alignment (het afstemmen van AI-gedrag op menselijke bedoelingen). Grote platforms als YouTube en Meta werken zelf ook aan het bijstellen van hun aanbevelingsalgoritmes om ongewenste versterkingseffecten te beperken, al is dat werk niet altijd volledig openbaar te controleren.
Op klimaatgebied brengen NASA, de Amerikaanse oceanografische en atmosferische dienst NOAA, het Nederlandse KNMI en internationale wetenschappers verenigd in het IPCC feedbacklussen zoals ijs-albedo- en permafrosteffecten in kaart. Dit gebeurt via satellietmetingen, veldonderzoek en klimaatmodellen die door tientallen onderzoeksinstituten wereldwijd worden gebouwd en getoetst.
Op het gebied van klassieke regeltechniek en cybernetica — de wetenschap van besturing en communicatie in machines en organismen, in de jaren veertig benoemd door de Amerikaanse wiskundige Norbert Wiener — blijven technische universiteiten zoals MIT in de Verenigde Staten en TU Delft in Nederland belangrijke opleidings- en onderzoekscentra.