Muon-optimalisatie: sneller en zuiniger AI-modellen trainen
Muon-optimalisatie is geen natuurkundig begrip over subatomaire deeltjes, maar de naam van een relatief nieuwe methode om kunstmatige-intelligentiemodellen te trainen. Als een AI-model als ChatGPT leert, past het miljarden interne "knoppen" (gewichten genoemd) telkens een beetje aan om minder fouten te maken. Een optimizer is het stukje software dat bepaalt hoe groot en in welke richting die aanpassingen zijn. Muon is zo'n optimizer, en hij belooft dat trainingsproces efficiënter te maken.
Een vergelijking maakt het concreet. Stel je voert een team aan dat samen een zwaar object vooruit moet duwen. Als iedereen op zijn eigen manier en met wisselende kracht duwt, gaat het object schokkerig en inefficiënt vooruit: soms te hard naar links, dan weer te zwak naar rechts. Muon zorgt er in essentie voor dat alle "duwkracht" gelijkmatig verdeeld wordt over alle richtingen tegelijk, zodat elke stap even doeltreffend is. Dat klinkt technisch, maar het resultaat is simpel: een AI-model heeft minder rekentijd en minder stroom nodig om hetzelfde leerresultaat te bereiken.
Wat is het precies?
Om te snappen wat Muon anders doet, helpt het om eerst het gangbare alternatief te kennen. De meeste AI-modellen worden vandaag getraind met een optimizer genaamd AdamW, die voor elk afzonderlijk gewicht bijhoudt hoe groot de aanpassing moet zijn. Dat werkt goed, maar behandelt gewichten die samen een grotere matrix (een rooster van getallen) vormen enigszins los van elkaar, terwijl ze eigenlijk een gezamenlijke rol spelen in het netwerk.
Muon, ontwikkeld door onderzoeker Keller Jordan in 2024, pakt dit anders aan voor die matrix-gewichten. De naam staat voor "MomentUm Orthogonalized by Newton-schulz". Het proces verloopt stapsgewijs: eerst wordt, net als bij klassieke methodes, een gemiddelde bijgehouden van eerdere aanpassingen (het "momentum", vergelijkbaar met de traagheid van een rijdende fiets die niet bij elke windvlaag van koers verandert). Vervolgens wordt die voorgestelde aanpassing "georthogonaliseerd": wiskundig herschaald zodat de update in elke richting van de matrix ongeveer even sterk is, in plaats van sterk in de ene richting en zwak in de andere.
Die herschaling gebeurt met een rekentruc die Newton-Schulz-iteratie heet: een korte reeks matrixvermenigvuldigingen die snel een goede benadering geeft van wat wiskundig een volledige matrixontbinding (singuliere waardenontbinding, SVD) zou vergen. Die exacte methode is te traag voor praktisch gebruik bij grote AI-modellen; de Newton-Schulz-benadering is een compromis tussen nauwkeurigheid en snelheid.
Belangrijk is dat Muon niet overal wordt toegepast. Het werkt alleen goed op de tweedimensionale gewichtsmatrices in de "verborgen lagen" van een neuraal netwerk. Voor andere onderdelen, zoals de invoerlaag die woorden omzet in getallen (embeddings), de uitvoerlaag, en kleine bias-parameters, gebruiken ontwikkelaars nog gewoon AdamW. Muon is dus in de praktijk een hybride aanpak, geen volledige vervanging van bestaande methodes.
Wat wil men ermee bereiken?
Het trainen van grote taalmodellen is peperduur. Grote techbedrijven geven tientallen tot honderden miljoenen euro's uit aan rekenkracht (gespecialiseerde chips, GPU's genoemd) en de bijbehorende elektriciteit om één groot model te trainen. Elke procent efficiëntiewinst in de optimizer scheelt dus direct geld, tijd en energieverbruik.
Het doel van onderzoek naar optimizers zoals Muon is drieledig: modellen sneller trainen (minder rekenstappen nodig voor hetzelfde resultaat), modellen goedkoper trainen (minder GPU-uren, dus lagere kosten en CO2-uitstoot), en mogelijk stabielere training bij zeer grote modellen, waar trainingsprocessen soms vastlopen of ontsporen. Dit sluit aan bij een breder onderzoeksveld waarin de afgelopen jaren tal van alternatieve optimizers zijn voorgesteld, zoals Lion en Sophia, allemaal met als inzet: hetzelfde of beter resultaat met minder rekenwerk.
Het is dus geen doel op zich om "slimmere" AI te maken, maar om de weg ernaartoe praktischer en duurzamer te maken. Voor kleinere onderzoeksgroepen en bedrijven die niet over de rekenbudgetten van de grootste techbedrijven beschikken, kan een efficiëntere optimizer het verschil maken tussen wel of niet zelf een groot model kunnen trainen.
Voorbeelden uit de praktijk
Muon werd voor het eerst zichtbaar in het project modded-nanogpt, een door Keller Jordan gecoördineerde "speedrun"-competitie waarin onderzoekers wedijveren om een GPT-2-achtig taalmodel zo snel mogelijk tot een vastgestelde kwaliteitsdrempel te trainen. Vanaf 2024 leverden versies van Muon herhaaldelijk nieuwe snelheidsrecords op in dit project, doordat minder trainingsstappen nodig waren om dezelfde nauwkeurigheid te halen.
Een opvallender stap volgde in 2025, toen het Chinese AI-lab Moonshot AI naar verluidt een aangepaste versie van Muon (aangeduid als "MuonClip") gebruikte om Kimi K2 te trainen, een groot taalmodel met een mixture-of-experts-architectuur (waarbij het model per taak slechts een deel van zijn totale parameters inzet) en een totaal parameteraantal in de orde van grootte van ongeveer duizend miljard. Dit gold als een van de eerste keren dat een Muon-variant werd ingezet voor de training van een model op productieschaal, in plaats van alleen in onderzoeksexperimenten.
Daarnaast is er een groeiende reeks academische vervolgstudies die Muon theoretisch onderbouwen, onder meer door het te koppelen aan het wiskundige begrip "steilste afdaling onder de spectraalnorm", en aan varianten en uitbreidingen die door verschillende onderzoeksgroepen op GitHub en in preprints worden gedeeld. Ook zijn er experimenten waarbij de gemeenschap Muon toepast op andere typen modellen dan taalmodellen, zoals beeldherkenningsnetwerken, om te testen hoe algemeen bruikbaar de aanpak is.
Hoe ver is de techniek?
Muon-optimalisatie is nog een jong onderzoeksgebied: het ontstond pas in 2024 en heeft in ruim een jaar tijd relatief snel aan aandacht gewonnen. De bewezen resultaten komen vooral uit gecontroleerde omgevingen, zoals de nanoGPT-speedruns op relatief bescheiden modelgroottes. Dat de techniek ook is gebruikt voor de training van een veel groter, praktisch ingezet model zoals Kimi K2, wordt gezien als een belangrijke aanwijzing dat de aanpak opschaalt, maar onafhankelijke, herhaalde bevestiging op vergelijkbare schaal door andere labs is nog beperkt.
Een reëel obstakel is dat de Newton-Schulz-berekeningen zelf ook rekentijd kosten. De winst in het aantal benodigde trainingsstappen is dus niet één-op-één een winst in werkelijke kloktijd; in de praktijk is de nettowinst kleiner dan de ruwe stap-voor-stap-vergelijking doet vermoeden. Ook blijft AdamW de facto standaard in de meeste trainingsraamwerken en tutorials, en is Muon vooralsnog geen standaardoptie die "out of the box" in elk platform zit, al zijn er inmiddels losse implementaties beschikbaar.
Onzeker is verder hoe Muon zich verhoudt tot AdamW bij extreem grote modellen (nog groter dan Kimi K2), bij andere architecturen dan taalmodellen, en op de allernieuwste generaties AI-chips. Dit soort vragen wordt momenteel onderzocht, maar eenduidige, breed gedragen conclusies zijn er nog niet.
Wie werken eraan?
De basis van Muon is gelegd door Keller Jordan, een onafhankelijke AI-onderzoeker die bekendstaat om zijn werk aan trainingsefficiëntie en het nanoGPT-speedrunproject. Zijn werk wordt openlijk gedeeld en verder ontwikkeld door een brede, informele gemeenschap van onderzoekers via open-sourceplatforms.
Op het gebied van praktische, grootschalige toepassing is vooral Moonshot AI, een Chinees AI-bedrijf, naar voren gekomen als vroege gebruiker binnen een productiemodel. Daarnaast volgen grotere AI-labs zoals OpenAI, Google DeepMind en Meta de ontwikkelingen rond alternatieve optimizers op de voet, al communiceren zij niet altijd in detail welke interne experimenten zij daarmee uitvoeren. Academische groepen, onder meer verbonden aan Amerikaanse en Europese universiteiten, dragen bij met theoretische analyses die verklaren waarom orthogonalisatie van gradiënten werkt en onder welke voorwaarden.