AI-chatbot kraakt in 13 minuten dobbelsteenraadsel dat tien jaar duurde

Wiskundigen zochten meer dan tien jaar naar vijf dobbelstenen die, hoe je ze ook combineert, altijd evenveel winstkans geven en nooit gelijkspel opleveren. Vorig jaar lukte dat eindelijk, met dank aan onder anderen Eric Harshbarger van Auburn University in Alabama. Een journalist van New Scientist vroeg zich af of hetzelfde kon voor zes spelers met zes dobbelstenen. Omdat er meer mogelijke ontwerpen zijn dan atomen in het heelal, was met de hand rekenen geen optie.

Chatbot doet het werk

De journalist beschreef het probleem in gewone taal aan ChatGPT, stelde twee verduidelijkende vragen en liet het model dertien minuten rekenen. Het resultaat: een werkende set van zes dobbelstenen, waarvan er vijf 720 zijden hebben en één er 20. Harshbarger controleerde de getallen handmatig en bevestigde dat de oplossing klopt. Fraai is anders: een dobbelsteen met 720 zijden bestaat in de praktijk niet, en spelers zouden zo'n scheve set nooit als eerlijk accepteren. Harshbarger en collega Paul Meyer van Google hadden intussen zelf al een elegantere oplossing met dobbelstenen van 360 zijden klaarliggen, maar nog niet gepubliceerd.

Hergebruikte kennis of eigen inzicht?

Meyer vroeg zich af of de chatbot de oplossing simpelweg ergens online had gevonden. Een zoektocht leverde niets op. Wel staat op de website die de onderzoekers gebruiken een beschrijving van de vijf-dobbelstenenoplossing, samen met een methode om daaruit een oplossing voor meer dobbelstenen af te leiden. De meest waarschijnlijke verklaring is dat het taalmodel die bouwstenen vond en de ontbrekende stap zelf invulde. Harshbarger noemt dat indrukwekkend: een leek zou dat zonder AI niet voor elkaar krijgen. Toch benadrukt hij dat het hem niet uitmaakt hoe een oplossing tot stand komt, zolang die maar klopt.

Wat betekent dit voor wiskundig onderzoek?

Sébastien Bubeck, wiskundige bij OpenAI, verwacht dat AI-modellen de komende jaren nog grote stappen zetten in de wiskunde, al kunnen ze nog geen volledig nieuwe theorieën bedenken. Die vaardigheid, zegt hij, is wel op komst. Het incident staat niet op zichzelf: deze week meldde New Scientist ook dat AI-systemen Fermats laatste stelling wisten te formaliseren, waarbij een wiskundig bewijs in een taal wordt gezet die een computer kan controleren. Tegelijk waarschuwen experts voor een tegenovergesteld risico: mensen die worden ingehuurd om AI-modellen te trainen via gesprekken, blijken soms zelf chatbots in te zetten om die gesprekken te voeren. Dat kan leiden tot een vorm van modelcollaps, waarbij AI steeds meer van AI leert in plaats van van mensen, met als risico dat toekomstige modellen juist minder betrouwbaar worden. Voor wiskundigen roept dit soort AI-doorbraken ongemakkelijke vragen op: wat betekent het voor het plezier van puzzelen als een gratis chatbot in een kwartier oplost waar mensen jaren op vastliepen? Op benchmarks voor wiskundige vaardigheid scoren nieuwe modellen intussen steeds hoger, wat erop wijst dat dit soort verhalen de komende tijd vaker zal opduiken.