GroundedPlanBench : planification de tâches longues horizon pour la manipulation robotique avec ancrage spatial
Des chercheurs ont publié GroundedPlanBench, un nouveau benchmark conçu pour évaluer la capacité des modèles de vision-langage (VLM) à planifier des séquences d'actions robotiques tout en déterminant précisément où chaque action doit s'effectuer dans l'espace. Le benchmark s'appuie sur 308 scènes de manipulation robotique issues du dataset DROID, à partir desquelles des experts ont défini 1 009 tâches allant de séquences courtes (1 à 4 actions) à des chaînes longues et complexes (jusqu'à 26 actions). Chaque tâche est formulée selon deux styles d'instruction : explicite ("poser une cuillère sur l'assiette blanche") ou implicite ("ranger la table"). Pour accompagner ce benchmark, l'équipe a également développé V2GP (Video-to-Spatially Grounded Planning), un framework qui convertit des vidéos de démonstration robotique en données d'entraînement spatialement ancrées, en exploitant notamment SAM3, le modèle de segmentation vidéo open-vocabulary de Meta, pour suivre les objets manipulés image par image. Ce processus a permis de générer 43 000 plans ancrés.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de Microsoft Research. Lire l'article original →
L'enjeu est de taille : aujourd'hui, la plupart des systèmes robotiques fonctionnent en deux temps séparés, un VLM génère un plan en langage naturel, puis un second modèle le traduit en actions exécutables. Cette approche découplée introduit des erreurs en cascade, car le langage naturel reste ambigu ou halluciné lorsqu'il s'agit de préciser à la fois ce qu'il faut faire et à quel endroit. GroundedPlanBench force les modèles à traiter ces deux dimensions simultanément, ce que les VLMs actuels, qu'ils soient open-source ou propriétaires, peinent à faire sur des tâches longues. Les résultats montrent que l'approche de planification ancrée améliore à la fois le taux de réussite des tâches et la précision des actions, surpassant les architectures découplées aussi bien sur le benchmark qu'en conditions réelles avec de vrais robots.
Ce travail s'inscrit dans un mouvement plus large visant à doter les robots d'une compréhension spatiale fine du monde réel, au-delà de la simple compréhension sémantique. Les VLMs ont transformé la planification robotique en rendant possible l'interprétation d'instructions en langage naturel, mais l'ancrage spatial, savoir précisément sur quel objet agir et où le déposer, reste un verrou majeur pour les tâches du quotidien. En proposant à la fois un protocole d'évaluation standardisé et une méthode pour générer automatiquement des données d'entraînement à partir de vidéos de démonstration existantes, cette contribution pourrait accélérer le développement de robots manipulateurs capables d'opérer de façon autonome dans des environnements non contrôlés. Les prochaines étapes probables concerneront l'extension à des scènes encore plus dynamiques et à des instructions encore plus ambiguës, là où la frontière entre compréhension linguistique et raisonnement spatial est la plus ténue.
Pas d'impact direct sur la France/UE