En simulation, des robots s'entraînent aux tâches délicates : NVIDIA et ses partenaires présentent leurs travaux à la CoRL
À la Conférence on Robot Learning (CoRL) d'Austin, au Texas, NVIDIA présente de nouvelles technologies open source de robotique : des modèles d'action du monde, des outils de simulation, des benchmarks et des workflows agentiques. Le modèle phare, GR00T 2, est un modèle d'action du monde construit sur NVIDIA Cosmos. Il a été entraîné sur des données robotiques et humaines variées, dont 100 000 heures de vidéos égocentriques humaines en accès libre. Il a mené à bien au moins une fois 40 des 50 tâches évaluées sans démonstration spécifique. Avec une seule démonstration par tâche, il atteint 71 % de réussite moyenne, et 95 % avec cinq. Il apprend aussi à partir de démonstrations humaines et transfère ses compétences d'un corps de robot à un autre. Des agents d'IA peuvent enfin l'piloter par son API pour enchaîner des compétences et se remettre d'une erreur. GR00T 2 figure parmi les trois meilleurs modèles des benchmarks RoboCasa365, RoboLab, RoboDojo et MolmoSpaces, avec plusieurs premières places. Deux articles de NVIDIA sont en outre parmi les six finalistes du prix du meilleur article, sur plusieurs milliers de soumissions : GRAIL, un pipeline de génération d'actifs 3D et de scènes prêtes pour la simulation, et RoboTTT, un modèle qui étend le contexte visuomoteur de trois ordres de grandeur par rapport à l'état de l'art, sans allonger la latence d'inférence.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de NVIDIA AI Blog. Lire l'article original →
Ces avancées comptent parce que la simulation, longtemps cantonnée à la locomotion (marcher, rouler, sauter), sert désormais à répéter des gestes délicats comme aligner des engrenages, brancher des câbles ou assembler de petites pièces. Pour les industriels, c'est un pas vers le passage de la démonstration de laboratoire au déploiement en usine. Les premiers usages le montrent : Nexuni teste GR00T 2 pour la manutention de linge, Foxconn l'applique à l'automatisation de la fabrication de serveurs, et Siemens l'évalue sur plusieurs cas industriels. MicroAGI, de son côté, utilise le modèle, post-entraîné par apprentissage par renforcement, pour permuter des câbles Ethernet avec un bras robotique YAM. Son approche agentique automatise la création et le calibrage des environnements de simulation avec Isaac Lab 3.0 et Newton, où la politique est entraînée.
Cette annonce s'inscrit dans l'essor de la robotique agentique, un paradigme où des agents de pointe produisent du code interprétable pour piloter des systèmes physiques. Le principal obstacle reste le besoin de données variées. NVIDIA propose donc des outils ouverts de collecte et d'annotation, dont un workflow « Video to Data » qui transforme des vidéos humaines en démonstrations robotiques simulées. Le groupe s'appuie sur un large réseau de partenaires : Ambi Robotics, Bosch Research, Dexmate, Dyna Robotics, FieldAI, Flexion, Noitom Robotics, Siemens, Skild AI, RLWRLD, Walden Robotics, ainsi que l'UC Berkeley et l'Université de Washington. Le workflow agentique sera démontré pendant la conférence. NVIDIA veut ainsi s'imposer comme la plateforme de référence de la robotique physique, face à des concurrents qui développent eux aussi leurs propres modèles fondation.
Siemens et Bosch Research, acteurs industriels européens, évaluent ou participent à ces modèles de robotique, ce qui concerne l'industrie manufacturière européenne.