NVIDIA Research fait progresser la robotique de la simulation au monde réel

Semaine nationale de la robotique : dernières avancées en IA physique et ressources

À l'occasion de la Semaine nationale de la robotique aux États-Unis, NVIDIA met en avant ses avancées dans le domaine de l'intelligence artificielle physique, c'est-à-dire l'IA appliquée à des robots capables d'agir dans le monde réel. L'entreprise présente cette semaine une série de technologies couvrant la simulation, la génération de données synthétiques et l'apprentissage automatique pour robots, destinées aux développeurs qui souhaitent concevoir des machines autonomes opérationnelles dans des environnements complexes. L'enjeu est considérable : ces outils permettent de réduire drastiquement le temps nécessaire pour passer de l'entraînement en environnement virtuel au déploiement sur le terrain. Concrètement, un robot peut aujourd'hui apprendre à naviguer, saisir des objets ou réagir à des imprévus dans un simulateur NVIDIA avant d'être testé dans une usine, une serre agricole ou une centrale énergétique. Ce raccourci entre simulation et réalité est l'un des verrous techniques les plus critiques de la robotique industrielle. NVIDIA se positionne comme la colonne vertébrale de cette transition, en proposant des plateformes intégrées qui couvrent l'ensemble de la chaîne de développement robotique. La compétition dans ce secteur s'intensifie, avec des acteurs comme Boston Dynamics, Figure AI ou Agility Robotics qui cherchent eux aussi à industrialiser leurs solutions. La Semaine de la robotique sert ici de vitrine stratégique pour NVIDIA, qui entend s'imposer comme fournisseur incontournable d'infrastructure IA pour la prochaine génération de robots autonomes dans l'industrie, l'agriculture et l'énergie.

💬 Le vrai sujet ici, c'est pas la Semaine de la robotique, c'est NVIDIA qui s'impose discrètement comme le AWS de la robotique industrielle. La réduction du gap sim-to-real, c'est le verrou qui bloquait tout depuis des années, et là ils ont une vraie réponse technique. Reste à voir si les industriels européens vont jouer le jeu ou rester dépendants d'une stack américaine de plus.

SARM : une modélisation des récompenses adaptée aux étapes pour la manipulation robotique à long terme

Des chercheurs ont publié SARM (Stage-Aware Reward Modeling), un nouveau cadre d'apprentissage destiné aux robots manipulateurs, conçu pour résoudre des tâches longues et complexes impliquant des objets déformables. Le système repose sur un modèle de récompense vidéo qui prédit simultanément l'étape courante d'une tâche et la progression fine du robot, en s'appuyant sur des annotations en langage naturel pour découper les démonstrations en sous-tâches cohérentes. À partir de ce modèle, les auteurs introduisent le Reward-Aligned Behavior Cloning (RA-BC), une méthode qui filtre et repondère les démonstrations d'entraînement selon leur qualité estimée. Sur la tâche de pliage de t-shirt, SARM atteint un taux de réussite de 83 % à partir d'un état aplati et de 67 % à partir d'un état froissé, contre seulement 8 % et 0 % avec le clonage comportemental classique. Ces résultats représentent un bond considérable pour la robotique manipulation, un domaine où les objets déformables comme les vêtements posaient jusqu'ici des problèmes quasi insolubles aux systèmes automatisés. Le principal apport de SARM est sa robustesse face à la variabilité des démonstrations humaines : plutôt que d'indexer les étapes par numéro de frame (une approche fragile dès que les durées varient), le modèle comprend sémantiquement où en est le robot dans la tâche. Cela rend le système directement utilisable dans des environnements réels, sans calibration fine pour chaque nouvelle variante du problème. L'apprentissage par imitation à grande échelle est au coeur de la robotique moderne, portée par des laboratoires comme Google DeepMind, Stanford ou Carnegie Mellon, ainsi que des startups comme Physical Intelligence. Le défi persistant est la qualité inconsistante des données de démonstration collectées sur des tâches longues : un seul geste maladroit peut corrompre tout un exemple d'entraînement. SARM aborde ce problème en amont, au niveau de la supervision, plutôt qu'en collectant toujours plus de données. Cette approche, à la fois économe en annotations et généralisable hors distribution, pourrait devenir un composant standard des pipelines de robot learning dans les prochaines années.

Apprentissage des intentions humaines à partir de démonstrations massives pour la manipulation robotique

Des chercheurs ont publié MoT-HRA, un nouveau cadre d'apprentissage robotique capable d'extraire des intentions humaines à partir de vidéos brutes pour les transférer à des bras robotiques. Pour entraîner le système, l'équipe a constitué HA-2.2M, un jeu de données massif de 2,2 millions d'épisodes reconstruit à partir de vidéos hétérogènes d'humains en train de manipuler des objets. Ces données ont été traitées via un pipeline en quatre étapes : filtrage centré sur les mains, reconstruction spatiale 3D, segmentation temporelle et alignement avec du langage naturel. Le modèle décompose ensuite la manipulation en trois experts couplés : un expert vision-langage qui prédit une trajectoire 3D indépendante du corps, un expert d'intention qui modélise le mouvement de la main selon le format MANO comme prior latent, et un expert fin qui traduit cette représentation en séquences d'actions concrètes pour le robot. L'enjeu est de taille : les robots peinent aujourd'hui à généraliser leurs apprentissages hors des conditions d'entraînement, un problème connu sous le nom de "distribution shift". MoT-HRA améliore significativement la plausibilité des mouvements générés et la robustesse du contrôle précisément dans ces situations dégradées, là où les approches classiques échouent. En apprenant non pas ce que fait la main, mais pourquoi elle le fait, le système produit des comportements plus cohérents et transférables à différents robots sans nécessiter de réentraînement spécifique par plateforme. Ce travail s'inscrit dans une tendance forte de la robotique actuelle : exploiter les milliards d'heures de vidéos humaines disponibles sur internet pour former des politiques de contrôle sans recourir à des démonstrations téléopérées coûteuses. Le défi technique central est de séparer dans ces vidéos ce qui relève de l'intention (invariant au corps) de ce qui relève de la mécanique propre à chaque main ou bras. Le mécanisme de partage d'attention et de transfert clé-valeur en lecture seule utilisé dans MoT-HRA est une réponse architecturale directe à ce problème d'interférence. Les résultats sur des tâches réelles ouvrent la voie à des robots capables d'apprendre depuis YouTube autant que depuis un laboratoire.

GEN-1 : le modele robotique passe de 99 % de fiabilite, du pliage de cartons a la reparation d aspirateurs

La startup Generalist a dévoilé GEN-1, un modèle d'intelligence artificielle physique capable d'accomplir une large gamme de tâches manuelles avec un taux de fiabilité atteignant 99 %. Pliage de cartons, réparation d'aspirateurs, manipulation d'objets fragiles : autant de gestes qui nécessitaient jusqu'ici la dextérité propre aux mains humaines. GEN-1 se distingue également par sa capacité à improviser face aux imprévus, en combinant des connaissances issues de domaines différents pour résoudre des problèmes inédits en temps réel. Ce niveau de fiabilité marque un tournant dans la robotique industrielle. Atteindre les 99 % sur des tâches physiques variées, c'est franchir le seuil qui sépare un prototype de démonstration d'un système déployable en conditions réelles. Pour les entreprises manufacturières, logistiques ou de maintenance, cela ouvre la voie à une automatisation de tâches jusque-là réservées aux opérateurs humains, sans pour autant exiger des environnements ultra-contrôlés. L'impact potentiel touche aussi bien les chaînes d'assemblage que les services de réparation à domicile. GEN-1 s'appuie sur le modèle précédent de Generalist, GEN-0, présenté en novembre dernier comme une preuve de concept démontrant que les lois de mise à l'échelle -- bien connues dans le domaine des grands modèles de langage -- s'appliquent aussi à la robotique : plus de données et de calcul en pré-entraînement améliorent les performances post-entraînement. Mais contrairement aux LLM, qui ont pu s'alimenter de milliards de textes disponibles sur Internet, les modèles robotiques manquent de données sur la manipulation d'objets. Pour combler ce vide, Generalist a développé des "data hands", des pinces portables qui capturent les micro-mouvements et les informations visuelles lors de tâches manuelles réalisées par des humains. La société affirme avoir ainsi collecté plus d'un demi-million d'heures d'interactions physiques, représentant des pétaoctets de données d'entraînement.