Skild AI lanceert robotbrein S1 dat taken leert uit één video

Het Amerikaanse bedrijf Skild AI heeft zijn nieuwste foundation model voor robots gepresenteerd: S1. Volgens het bedrijf kan een robot die op dit model draait een nieuwe, complexe taak leren door simpelweg een video te bekijken van een mens die de taak uitvoert. Skild AI is sinds de oprichting in 2023 goed voor bijna 1,7 miljard dollar aan investeringen, wat het tot een van de best gefinancierde robotica-startups ter wereld maakt.

Leren van één video

Waar robots doorgaans opnieuw getraind moeten worden voor elke nieuwe taak, gebruikt S1 een techniek die in-context leren heet. Medeoprichter en topman Deepak Pathak legt uit dat je simpelweg een video van een mens toevoegt aan de prompt, de invoer die het model krijgt, waarna de robot het gedrag kan overnemen. Volgens Pathak gaat het niet om simpele taken van een paar seconden, maar om complexe handelingen die tot tien minuten kunnen duren, zoals een plant verpotten, koffie zetten of pannenkoeken bakken.

Een opvallend voorbeeld: toen de robot voor het eerst een pannenkoek omdraaide, controleerde het team alle trainingsdata op vergelijkbare voorbeelden. Die bleken er niet te zijn. Het model had het omdraaien zelf bedacht door te kijken hoe een spatel bewoog tijdens het bakken.

Vier databronnen samengevoegd

Robots leren doorgaans op vier manieren: door teleoperatie, waarbij een mens de robot rechtstreeks bestuurt; door menselijke video's te bekijken; door simulaties op een computer; en met speciale datahandschoenen die menselijke bewegingen vastleggen. Elke methode heeft voor- en nadelen. Teleoperatie levert data van hoge kwaliteit op, maar is traag en weinig gevarieerd. Video's zijn overvloedig aanwezig, maar lastig te vertalen naar robotbewegingen. Simulaties zijn goedkoop op te schalen, maar wijken af van de echte wereld.

Waar veel bedrijven zich volgens Pathak op één van deze bronnen richten, combineert Skild AI ze allemaal. De zwakke punten van de ene bron worden zo gecompenseerd door de sterke punten van een andere, stelt hij.

Nog geen ChatGPT-moment

Skild AI vergelijkt de ontwikkeling met de doorbraak van ChatGPT bij taalmodellen. Vóór die doorbraak moesten taalmodellen voor elke nieuwe taak apart worden bijgetraind. Sindsdien volstaat het om een instructie in gewone taal te geven. Pathak ziet S1 als een eerste stap in die richting voor robotica, maar benadrukt dat de technologie nog niet klaar is om zomaar bij mensen thuis te worden ingezet.

Het model is bovendien niet gebonden aan één type robot: het werkt op onder meer vierpotige robots, humanoïde robots en vaste robotarmen. Skild wil de komende tijd vooral de prestaties op humanoïde robots verbeteren. Om de technologie ook daadwerkelijk bij klanten te krijgen, nam het bedrijf onlangs branchegenoot Fetch Robotics over. Volgens Pathak gaat het daarbij vooral om het binnenhalen van kennis over het opschalen en uitrollen van robots bij bedrijven.