L'apprentissage par démonstration avec détection d'échecs pour la navigation sécurisée des robots

Apprentissage des intentions humaines à partir de démonstrations massives pour la manipulation robotique

Des chercheurs ont publié MoT-HRA, un nouveau cadre d'apprentissage robotique capable d'extraire des intentions humaines à partir de vidéos brutes pour les transférer à des bras robotiques. Pour entraîner le système, l'équipe a constitué HA-2.2M, un jeu de données massif de 2,2 millions d'épisodes reconstruit à partir de vidéos hétérogènes d'humains en train de manipuler des objets. Ces données ont été traitées via un pipeline en quatre étapes : filtrage centré sur les mains, reconstruction spatiale 3D, segmentation temporelle et alignement avec du langage naturel. Le modèle décompose ensuite la manipulation en trois experts couplés : un expert vision-langage qui prédit une trajectoire 3D indépendante du corps, un expert d'intention qui modélise le mouvement de la main selon le format MANO comme prior latent, et un expert fin qui traduit cette représentation en séquences d'actions concrètes pour le robot. L'enjeu est de taille : les robots peinent aujourd'hui à généraliser leurs apprentissages hors des conditions d'entraînement, un problème connu sous le nom de "distribution shift". MoT-HRA améliore significativement la plausibilité des mouvements générés et la robustesse du contrôle précisément dans ces situations dégradées, là où les approches classiques échouent. En apprenant non pas ce que fait la main, mais pourquoi elle le fait, le système produit des comportements plus cohérents et transférables à différents robots sans nécessiter de réentraînement spécifique par plateforme. Ce travail s'inscrit dans une tendance forte de la robotique actuelle : exploiter les milliards d'heures de vidéos humaines disponibles sur internet pour former des politiques de contrôle sans recourir à des démonstrations téléopérées coûteuses. Le défi technique central est de séparer dans ces vidéos ce qui relève de l'intention (invariant au corps) de ce qui relève de la mécanique propre à chaque main ou bras. Le mécanisme de partage d'attention et de transfert clé-valeur en lecture seule utilisé dans MoT-HRA est une réponse architecturale directe à ce problème d'interférence. Les résultats sur des tâches réelles ouvrent la voie à des robots capables d'apprendre depuis YouTube autant que depuis un laboratoire.

ESPADA : accélération de l'apprentissage par imitation via sous-échantillonnage sémantique des démonstrations

Des chercheurs ont publié ESPADA, un système conçu pour accélérer les robots apprenants par imitation sans sacrifier leur précision. Présenté dans un article arXiv (2512.07371), le cadre analyse les démonstrations humaines enregistrées grâce à un pipeline combinant un grand modèle de vision (VLM) et un grand modèle de langage (LLM), qui segmente chaque séquence de mouvement en phases critiques et non critiques en tenant compte des relations spatiales 3D entre la pince du robot et les objets manipulés. Les segments jugés non essentiels sont fortement sous-échantillonnés, ce qui réduit les délais d'exécution, tandis que les phases de précision restent intactes. Pour étendre cette annotation d'un seul épisode à l'ensemble d'un jeu de données, ESPADA propage automatiquement les étiquettes via le Dynamic Time Warping (DTW) appliqué aux caractéristiques dynamiques. Testée sur deux architectures de référence, ACT et Diffusion Policy, aussi bien en simulation que dans des environnements réels, la méthode atteint en moyenne un gain de vitesse de 2x tout en conservant les taux de réussite initiaux. Ce résultat est concret : un robot industriel deux fois plus rapide sans perte de fiabilité représente un levier direct de rentabilité pour les lignes de production automatisées. L'absence de retraining et de modification architecturale est tout aussi importante, car elle permet d'intégrer ESPADA sur des systèmes existants sans refaire des campagnes d'entraînement coûteuses. Le principal verrou levé ici est psychologique autant que technique : les robots imitateurs ont tendance à reproduire la prudence humaine, ce tempo lent et hésitant qui, chez l'humain, compense l'incertitude mais devient un frein en production continue. La robotique par imitation a connu un essor rapide ces dernières années grâce à des architectures comme ACT (Action Chunking Transformer) ou les politiques de diffusion, qui permettent à des robots de généraliser à partir de quelques dizaines de démonstrations filmées. Les tentatives précédentes d'accélération reposaient sur des heuristiques statistiques, ignorant le sens des tâches, et échouaient sur des manipulations variées. ESPADA tranche en intégrant une compréhension sémantique de ce qui compte vraiment dans un mouvement, ouvrant la voie à des robots industriels plus compétitifs face à la programmation traditionnelle.

Navigation autonome d'un robot par apprentissage structurel en ligne et planification par inférence active

Des chercheurs de l'université de Gand ont publié sur arXiv un système de navigation robotique autonome baptisé AIMAPP (Active Inference MAPping and Planning), capable d'explorer des environnements inconnus sans carte préalable ni phase d'entraînement. Le robot construit en temps réel une carte topologique sparse, apprend dynamiquement les transitions d'états et planifie ses actions en minimisant ce que les auteurs appellent l'Énergie Libre Attendue (Expected Free Energy), un principe emprunté à la théorie de l'inférence active. Le système est compatible avec ROS, indépendant du type de capteurs utilisés et fonctionne en mode entièrement auto-supervisé, sans aucune intervention humaine préalable. L'intérêt principal d'AIMAPP réside dans sa robustesse face aux conditions réelles d'opération : il continue de fonctionner même en cas de défaillance partielle des capteurs ou de dérive odométrique cumulative, deux problèmes qui paralysent souvent les systèmes classiques de navigation SLAM. Contrairement aux approches par apprentissage profond qui nécessitent d'importants volumes de données annotées, AIMAPP s'adapte en ligne à des environnements changeants et à des observations ambiguës. Dans des évaluations conduites à grande échelle, en environnements réels et simulés, le système surpasse ou égale les planificateurs de référence actuels, ouvrant la voie à des robots déployables dans des contextes non structurés comme des entrepôts, des zones sinistrées ou des espaces extérieurs. L'inférence active est un cadre théorique issu des neurosciences computationnelles, initialement développé pour modéliser la perception et l'action chez les êtres vivants. Son application à la robotique est encore émergente, mais AIMAPP représente une des implémentations les plus complètes à ce jour, combinant cartographie, localisation et prise de décision dans un modèle génératif unifié. Le code est disponible publiquement sur GitHub (decide-ugent/aimapp), ce qui pourrait accélérer son adoption dans la communauté robotique. La prochaine étape naturelle sera de tester le système sur des flottes de robots opérant en parallèle, ainsi que dans des environnements dynamiques peuplés d'humains.

💬 Pas de données annotées, pas de carte préalable, et ça tient quand les capteurs flanchent, là où SLAM se plante souvent. C'est le problème qu'on n'arrivait pas à régler proprement depuis des années en robotique mobile. Le code est sur GitHub et compatible ROS, donc les labos n'ont pas besoin de repartir de zéro.

Système ouvert de bout en bout pour la navigation autonome de robots en conditions réelles

Des chercheurs ont présenté un système embarqué léger et à architecture ouverte permettant à un robot quadrupède de naviguer de manière autonome dans des environnements réels, inconnus et dynamiques, sans apprentissage préalable spécifique à ces lieux. Déployé sur un robot Unitree Go2 à quatre pattes, le système atteint un taux de réussite supérieur à 88 % dans plusieurs environnements intérieurs testés. Il repose sur ROS2 comme middleware de communication entre les différents composants embarqués, et accepte des instructions de navigation formulées en langage naturel. Les capteurs du robot alimentent en continu un système de localisation et de cartographie, qui construit des graphes de scènes hiérarchiques enrichis de sémantique ouverte, c'est-à-dire capables d'identifier des objets sans liste prédéfinie. Un planificateur basé sur un grand modèle de langage (LLM) exploite ces graphes pour générer et adapter des plans d'action en temps réel, au fur et à mesure que la scène évolue. Ce résultat est significatif car la navigation autonome en environnement réel reste un problème difficile que la majorité des systèmes actuels ne résolvent qu'en simulation, là où les conditions sont contrôlées et les incertitudes absentes. Le fait qu'un robot puisse interpréter une consigne en langue naturelle, construire une représentation sémantique de son environnement à la volée et s'y adapter dynamiquement ouvre la voie à des déploiements pratiques dans des bâtiments industriels, des entrepôts, des hôpitaux ou des espaces publics, sans configuration manuelle préalable. La robotique autonome bute depuis des années sur quatre obstacles fondamentaux : la perception imparfaite, l'observabilité partielle, l'incertitude de localisation et les contraintes de sécurité. L'intégration des LLM comme couche de planification symbolique, combinée à une cartographie sémantique continue, représente une approche émergente qui capitalise sur les progrès récents en traitement du langage naturel et en vision par ordinateur. Ce travail s'inscrit dans une tendance plus large visant à doter les robots de capacités de raisonnement général plutôt que de comportements pré-programmés, un chantier sur lequel rivalisent des équipes académiques et des acteurs industriels comme Boston Dynamics, Figure AI ou Agility Robotics.