Nieuw algoritme legt uit waarom zelfrijdende auto's soms verkeerd beslissen

Zelfrijdende auto's nemen honderden beslissingen per minuut: afremmen, uitwijken, optrekken. Maar wat er in het hoofd van zo'n auto omgaat, blijft voor de bestuurder meestal een raadsel. Stopt de auto omdat er echt een voetganger oversteekt, of ziet het systeem een schaduw aan voor een obstakel? Die onzekerheid is een bekend probleem in de ontwikkeling van autonome voertuigen, en het heeft directe gevolgen voor de veiligheid: een mens die niet begrijpt waarom een auto ingrijpt, weet ook niet wanneer hij zelf moet ingrijpen.

Het zwarte-doosprobleem van zelfrijdende auto's

De kern van het probleem zit in de manier waarop deze systemen zijn gebouwd. Zelfrijdende auto's gebruiken diepe neurale netwerken die camerabeelden en sensordata omzetten in stuur- en remcommando's. Die netwerken zijn extreem goed in patroonherkenning, maar hun interne rekenproces bestaat uit miljoenen wiskundige gewichten die voor mensen niet te doorgronden zijn. Onderzoekers noemen dit het zwarte-doosmodel: je ziet de uitkomst, maar niet de redenering erachter. Voor een bestuurder die moet inschatten of hij een ingreep van de auto kan vertrouwen, is dat een lastige positie.

Concepten in plaats van cijfers

De Amerikaanse onderzoeker Eoin Kenny, destijds postdoc aan het MIT en inmiddels onderzoeker bij J.P. Morgan Chase, ontwikkelde CW-Net samen met collega's van het MIT en het zelfrijdende-taxibedrijf Motional, onder wie MIT-hoogleraar Julie Shah en Motional-onderzoeker Momchil Tomov. Het algoritme vertaalt de beslissing van een zelfrijdende auto naar herkenbare begrippen in plaats van onnavolgbare getallen. In plaats van alleen te zeggen 'rem nu', laat het systeem zien welke elementen die keuze bepaalden, bijvoorbeeld 'voetganger op het trottoir' of 'auto rijdt in tegenovergestelde richting'. Deze aanpak bouwt voort op het zogeheten concept-bottleneck-model, waarbij een AI-systeem eerst in tussenstappen van begrijpelijke concepten redeneert voordat het een uiteindelijke beslissing neemt. Dat maakt het mogelijk om achteraf precies te zien welk concept de doorslag gaf. Het systeem werd getraind op een dataset van 130 miljoen gelabelde scènes uit zelfrijdende auto's, zodat het concepten in uiteenlopende verkeerssituaties betrouwbaar kan herkennen.

Beter voorspellen, ook bij fouten

Om te testen of dit werkt, zetten de onderzoekers CW-Net eerst in op een echte zelfrijdende testauto, een robotaxi van Motional, op een afgesloten testcircuit met een veiligheidschauffeur achter het stuur. Daarnaast lieten ze in een grotere online proef gewone proefpersonen voorspellen wat een zelfrijdende auto in een gegeven situatie zou doen, aan de hand van echte rijscenario's uit Las Vegas. In beide onderzoeken waren groepen die de uitleg van CW-Net te zien kregen aanzienlijk beter in staat om het gedrag van de auto te voorspellen dan groepen zonder die uitleg. Opvallend is dat dit voordeel ook gold in situaties waarin het systeem een fout maakte, bijvoorbeeld wanneer het een onschuldig object aanzag voor een gevaar en als het ware ging hallucineren. Op het testcircuit remde de auto bijvoorbeeld consequent af bij het naderen van een fietser, en de veiligheidschauffeur ging er logischerwijs van uit dat het systeem de fietser had opgemerkt. De uitleg van CW-Net onthulde echter dat het model niet goed was ingesteld om de fietser te herkennen en een koers had gekozen die tot een aanrijding zou hebben geleid; de auto remde uiteindelijk alleen omdat de noodstopprocedure op het laatste moment inschoot. Met die kennis kon de chauffeur in vergelijkbare situaties eerder afremmen of zelf ingrijpen, en konden de onderzoekers de fout in het model opsporen. Doordat gebruikers zagen welk concept de fout veroorzaakte, konden ze sneller inschatten dat er iets niet klopte. Voor de acceptatie en veiligheid van zelfrijdende technologie is dat een belangrijke stap: niet feilloze AI, maar AI waarvan de fouten navolgbaar zijn, blijkt het vertrouwen van mensen te vergroten.