RobotiqueMicrosoft Research6sem

GroundedPlanBench : planification de tâches longues horizon pour la manipulation robotique avec ancrage spatial

Résumé IASource uniqueImpact UE

Les modèles de vision-langage (VLM) peinent à piloter des robots sur des tâches longues et complexes : générer un plan en langage naturel puis le traduire en actions concrètes en deux étapes distinctes crée des ambiguïtés et des hallucinations qui font échouer la chaîne de commandes. Des chercheurs proposent GroundedPlanBench, un benchmark inédit qui évalue la capacité des VLM à décider simultanément quoi faire et où le faire — ce qu'ils appellent la planification avec ancrage spatial.

L'enjeu dépasse la robotique académique. Si les systèmes actuels divisent raisonnement et localisation spatiale en modules séparés, les erreurs d'une étape se propagent inévitablement à la suivante. En forçant les modèles à ancrer chaque action sur une zone précise de l'image (une boîte délimitant l'objet à saisir ou l'endroit où le déposer), l'approche proposée vise à rendre les plans directement exécutables par un robot réel, sans couche d'interprétation supplémentaire.

GroundedPlanBench s'appuie sur 308 scènes issues du dataset DROID (Distributed Robot Interaction Dataset), un corpus de vidéos de robots en action. Les chercheurs en ont extrait 1 009 tâches structurées en quatre actions fondamentales — saisir, poser, ouvrir, fermer — rédigées en deux styles (instructions explicites ou implicites), avec des séquences allant de 1 à 26 actions. Pour entraîner les modèles, le framework V2GP (Video-to-Spatially Grounded Planning) automatise la création de données d'entraînement : il détecte les interactions robot-objet via les signaux de préhension, segmente les objets avec le modèle SAM3 de Meta, et reconstruit des plans ancrés spatialement — produisant ainsi 43 000 exemples annotés.

Les évaluations sur des VLM open- et closed-source confirment que la planification ancrée reste difficile pour les tâches longues, mais que V2GP améliore à la fois la précision des plans et la localisation spatiale, avec des gains validés en conditions réelles sur des robots physiques. Cette approche ouvre une voie vers des systèmes de manipulation robotique plus robustes, capables de traiter des consignes ambiguës dans des environnements non contrôlés.

Dans nos dossiers

Meta IA

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

1arXiv cs.RO

Apprentissage des intentions humaines à partir de démonstrations massives pour la manipulation robotique

Des chercheurs ont publié MoT-HRA, un nouveau cadre d'apprentissage robotique capable d'extraire des intentions humaines à partir de vidéos brutes pour les transférer à des bras robotiques. Pour entraîner le système, l'équipe a constitué HA-2.2M, un jeu de données massif de 2,2 millions d'épisodes reconstruit à partir de vidéos hétérogènes d'humains en train de manipuler des objets. Ces données ont été traitées via un pipeline en quatre étapes : filtrage centré sur les mains, reconstruction spatiale 3D, segmentation temporelle et alignement avec du langage naturel. Le modèle décompose ensuite la manipulation en trois experts couplés : un expert vision-langage qui prédit une trajectoire 3D indépendante du corps, un expert d'intention qui modélise le mouvement de la main selon le format MANO comme prior latent, et un expert fin qui traduit cette représentation en séquences d'actions concrètes pour le robot. L'enjeu est de taille : les robots peinent aujourd'hui à généraliser leurs apprentissages hors des conditions d'entraînement, un problème connu sous le nom de "distribution shift". MoT-HRA améliore significativement la plausibilité des mouvements générés et la robustesse du contrôle précisément dans ces situations dégradées, là où les approches classiques échouent. En apprenant non pas ce que fait la main, mais pourquoi elle le fait, le système produit des comportements plus cohérents et transférables à différents robots sans nécessiter de réentraînement spécifique par plateforme. Ce travail s'inscrit dans une tendance forte de la robotique actuelle : exploiter les milliards d'heures de vidéos humaines disponibles sur internet pour former des politiques de contrôle sans recourir à des démonstrations téléopérées coûteuses. Le défi technique central est de séparer dans ces vidéos ce qui relève de l'intention (invariant au corps) de ce qui relève de la mécanique propre à chaque main ou bras. Le mécanisme de partage d'attention et de transfert clé-valeur en lecture seule utilisé dans MoT-HRA est une réponse architecturale directe à ce problème d'interférence. Les résultats sur des tâches réelles ouvrent la voie à des robots capables d'apprendre depuis YouTube autant que depuis un laboratoire.

RobotiquePaper

1 source

2arXiv cs.RO

SARM : une modélisation des récompenses adaptée aux étapes pour la manipulation robotique à long terme

Des chercheurs ont publié SARM (Stage-Aware Reward Modeling), un nouveau cadre d'apprentissage destiné aux robots manipulateurs, conçu pour résoudre des tâches longues et complexes impliquant des objets déformables. Le système repose sur un modèle de récompense vidéo qui prédit simultanément l'étape courante d'une tâche et la progression fine du robot, en s'appuyant sur des annotations en langage naturel pour découper les démonstrations en sous-tâches cohérentes. À partir de ce modèle, les auteurs introduisent le Reward-Aligned Behavior Cloning (RA-BC), une méthode qui filtre et repondère les démonstrations d'entraînement selon leur qualité estimée. Sur la tâche de pliage de t-shirt, SARM atteint un taux de réussite de 83 % à partir d'un état aplati et de 67 % à partir d'un état froissé, contre seulement 8 % et 0 % avec le clonage comportemental classique. Ces résultats représentent un bond considérable pour la robotique manipulation, un domaine où les objets déformables comme les vêtements posaient jusqu'ici des problèmes quasi insolubles aux systèmes automatisés. Le principal apport de SARM est sa robustesse face à la variabilité des démonstrations humaines : plutôt que d'indexer les étapes par numéro de frame (une approche fragile dès que les durées varient), le modèle comprend sémantiquement où en est le robot dans la tâche. Cela rend le système directement utilisable dans des environnements réels, sans calibration fine pour chaque nouvelle variante du problème. L'apprentissage par imitation à grande échelle est au coeur de la robotique moderne, portée par des laboratoires comme Google DeepMind, Stanford ou Carnegie Mellon, ainsi que des startups comme Physical Intelligence. Le défi persistant est la qualité inconsistante des données de démonstration collectées sur des tâches longues : un seul geste maladroit peut corrompre tout un exemple d'entraînement. SARM aborde ce problème en amont, au niveau de la supervision, plutôt qu'en collectant toujours plus de données. Cette approche, à la fois économe en annotations et généralisable hors distribution, pourrait devenir un composant standard des pipelines de robot learning dans les prochaines années.

RobotiqueOpinion

1 source

3arXiv cs.RO

Approcher puis agir : séquençage comportemental pour une manipulation robotique humanoïde

Des chercheurs ont publié Move-Then-Operate (MTO), un nouveau cadre d'apprentissage pour la manipulation robotique qui s'inspire directement du fonctionnement du cerveau humain. L'approche sépare explicitement chaque geste robotique en deux phases distinctes : une phase de déplacement grossier vers la cible (move), puis une phase d'interaction de précision avec l'objet (operate). Pour orchestrer ce découpage, le système utilise une architecture à double expert, pilotée par un sélecteur de phase entraînable. Les étiquettes de phase sont générées automatiquement via un pipeline basé sur un modèle de langage multimodal, qui analyse des indicateurs contextuels légers comme la vitesse de l'effecteur terminal et la décomposition des sous-tâches. Sur le benchmark RoboTwin2, MTO atteint un taux de réussite moyen de 68,9 %, surpassant le modèle de référence monolithique pi zéro de 24 points de pourcentage, tout en atteignant ses performances maximales en 40 % moins d'étapes d'entraînement. Ces résultats ont une portée significative pour la robotique industrielle et domestique. En isolant structurellement la phase de navigation de la phase de manipulation fine, MTO parvient à égaler, voire dépasser, des modèles entraînés sur dix fois plus de données. Cette efficacité d'apprentissage représente un avantage économique et pratique considérable : moins de données coûteuses à collecter, des cycles d'entraînement plus courts, et des robots capables de tâches de haute précision comme assembler des composants délicats, manipuler des objets fragiles ou effectuer des gestes médicaux assistés. La robotique moderne bute depuis des années sur le problème des politiques monolithiques, ces systèmes qui tentent d'apprendre tous les comportements moteurs dans un seul modèle unifié, sans distinguer les régimes dynamiques fondamentalement différents que sont le déplacement et la manipulation précise. Des frameworks comme pi zéro de Physical Intelligence ont marqué des avancées, mais restent limités par cette indifférenciation. MTO s'inscrit dans une tendance plus large visant à introduire des biais structurels inspirés de la cognition humaine dans les architectures robotiques. Les prochaines étapes naturelles incluent la validation sur des robots physiques réels et l'extension à des environnements non structurés, là où la généralisation reste le défi central du domaine.

RobotiqueOpinion

1 source

4arXiv cs.RO

Synthèse de démonstrations réelles pour la manipulation bimmanuelle à grande échelle

Des chercheurs ont développé BiDemoSyn, un système capable de générer automatiquement des milliers de démonstrations d'entraînement pour des robots à deux bras à partir d'un seul exemple réel. Présenté dans un article publié sur arXiv (arXiv:2512.09297), le framework décompose chaque tâche en deux composantes : des blocs de coordination invariants, communs à toutes les exécutions, et des ajustements variables selon la forme et la position des objets manipulés. En combinant un alignement guidé par vision artificielle et une optimisation légère des trajectoires, le système produit des données d'entraînement riches en contacts physiques et réalistes, le tout en quelques heures, sans nécessiter des sessions répétées de téléopération humaine. Les expériences couvrent six tâches différentes impliquant deux bras robotiques simultanés. L'enjeu est considérable : entraîner des robots capables de manipuler des objets avec les deux mains de façon habile reste l'un des défis les plus difficiles de la robotique d'apprentissage par imitation. Jusqu'ici, les équipes devaient choisir entre la téléopération, précise mais extrêmement coûteuse en temps humain, et la simulation, scalable mais souvent déconnectée de la réalité physique. BiDemoSyn court-circuite ce compromis : les politiques entraînées sur ses données généralisent à de nouvelles poses et formes d'objets inédits, surpassant nettement les méthodes de référence existantes. Plus remarquable encore, ces politiques réalisent un transfert zéro-shot vers d'autres plateformes robotiques, sans réentraînement, grâce à une représentation centrée sur les objets et une action en six degrés de liberté découplée de la mécanique propre à chaque robot. Ce travail s'inscrit dans une course intense à la scalabilité des données robotiques, un goulot d'étranglement majeur qui freine le déploiement de robots polyvalents dans des environnements industriels et domestiques. Des acteurs comme Google DeepMind, Physical Intelligence ou Tesla Optimus investissent massivement dans cette problématique. BiDemoSyn propose une voie intermédiaire pragmatique : ancrer les données dans le réel dès la première démonstration, puis les amplifier algorithmiquement. L'extension naturelle en mode few-shot, également démontrée dans l'article, ouvre la perspective d'une diversification encore plus large avec un effort humain minimal, rapprochant l'apprentissage par imitation d'une industrialisation viable.

RobotiqueOpinion

1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour