Actualités IA — page 232

7 619 articles au fil, du plus récent au plus ancien.

42

4621arXiv cs.RO 

Les modèles du monde au service d'interventions endovasculaires robotisées autonomes et sûres

Des chercheurs ont développé un système d'intelligence artificielle capable de naviguer de manière autonome dans les vaisseaux sanguins pour traiter des accidents vasculaires cérébraux, sans intervention humaine directe. Publiés sur arXiv, leurs travaux portent sur la thrombectomie mécanique, une procédure d'urgence qui consiste à retirer un caillot obstruant une artère cérébrale. L'agent IA repose sur TD-MPC2, un algorithme d'apprentissage par renforcement basé sur un modèle du monde, capable de planifier ses actions en anticipant les conséquences de ses mouvements. Testé sur des anatomies vasculaires propres à chaque patient, il affiche un taux de succès de 58 % en simulation, contre 36 % pour le meilleur algorithme concurrent (SAC, Soft Actor-Critic), une différence statistiquement significative (p < 0,001). En laboratoire, sur des répliques physiques de vaisseaux réels guidées par fluoroscopie, TD-MPC2 atteint 68 % de succès contre 60 % pour SAC, avec une trajectoire plus optimale, bien qu'au prix de procédures légèrement plus longues. La force exercée par l'outil sur les parois vasculaires reste en moyenne à 0,15 newton, très en dessous du seuil de rupture estimé à 1,5 newton. Ces résultats constituent une première mondiale : c'est la première fois qu'un système d'IA autonome pour la thrombectomie est validé à la fois en simulation sur des données patient inédites et sur des fantômes vasculaires physiques sous guidage fluoroscopique. L'enjeu est considérable car la thrombectomie mécanique est une course contre la montre : chaque minute perdue aggrave les séquelles neurologiques. Un système autonome fiable pourrait réduire la dépendance aux neuroradiologues interventionnels, dont la disponibilité 24h/24 est limitée, notamment dans les hôpitaux de taille moyenne. La thrombectomie robotisée fait l'objet d'une compétition intense depuis plusieurs années, portée par des acteurs comme Siemens Healthineers, Corindus (filiale de Siemens) ou des startups comme Endowave. L'approche par modèles du monde est plus récente dans ce domaine : elle permet à l'agent de simuler mentalement les conséquences de ses actions avant d'agir, ce qui améliore la robustesse face à la diversité anatomique des patients. Les prochaines étapes passeront probablement par des essais précliniques sur animal avant toute perspective d'application clinique humaine.

Robotique❖Paper

1 source

42

4622arXiv cs.RO 

ETac : un framework léger de simulation tactile pour apprendre la manipulation dextère

Des chercheurs ont présenté ETac, un framework de simulation tactile conçu pour entraîner des robots manipulateurs dotés de capteurs tactiles à peau élastomère. Publié sur arXiv, ETac repose sur un modèle léger d'apprentissage automatique pour simuler la propagation des déformations lors des contacts, sans recourir aux coûteuses méthodes par éléments finis (FEM). Exécuté sur un seul GPU RTX 4090, le système supporte jusqu'à 4 096 environnements parallèles et atteint un débit total de 869 images par seconde. La politique de préhension entraînée avec ETac affiche un taux de réussite moyen de 84,45 % sur quatre types d'objets différents, sans aucune vision -- uniquement via le retour tactile large surface. Ce résultat est significatif car il lève l'un des principaux verrous du domaine : la simulation tactile haute fidélité est habituellement si coûteuse en calcul qu'elle empêche l'apprentissage par renforcement à grande échelle. ETac produit des estimations de déformation de surface comparables à celles obtenues par FEM, tout en étant suffisamment rapide pour l'entraînement massif de politiques robotiques. Pour les laboratoires et entreprises qui développent des robots manipulateurs -- en logistique, chirurgie assistée ou assemblage industriel -- cette approche ouvre la voie à des agents capables de saisir des objets variés et fragiles sans dépendre de caméras. La manipulation dextère reste l'un des défis les plus ardus de la robotique moderne, et le sens du toucher est reconnu depuis longtemps comme essentiel pour combler l'écart avec les capacités humaines. Les capteurs tactiles type GelSight ou DIGIT ont progressé rapidement ces dernières années, mais leur intégration dans des boucles d'apprentissage par renforcement butait sur l'absence de simulateurs rapides et réalistes. ETac s'inscrit dans un mouvement plus large visant à aligner simulation et réalité physique (sim-to-real transfer) pour les retours haptiques. Les prochaines étapes pourraient inclure le transfert de politiques vers des robots réels et l'extension à des scénarios de manipulation bimanuelle plus complexes.

Robotique❖Paper

1 source

42

4623arXiv cs.RO 

Cortex 2.0 : ancrer les modèles du monde dans les déploiements industriels réels

Des chercheurs ont présenté Cortex 2.0, un système de manipulation robotique industrielle qui rompt avec le contrôle réactif au profit d'une architecture de planification basée sur un modèle du monde. Décrit dans un article publié sur arXiv, le système génère plusieurs trajectoires futures candidates dans un espace latent visuel, les évalue selon leur probabilité de succès et leur efficacité, puis sélectionne la meilleure avant d'agir. Évalué sur des plateformes à un bras et deux bras, Cortex 2.0 a été testé sur quatre tâches d'une complexité croissante : saisie et placement d'objets, tri d'articles et de déchets, tri de vis, et déballage de boîtes à chaussures. Les résultats montrent que Cortex 2.0 surpasse systématiquement les modèles Vision-Language-Action (VLA) de dernière génération sur l'ensemble des tâches évaluées. L'avantage est particulièrement net dans les environnements encombrés, avec des occlusions fréquentes et des manipulations à forte contrainte physique, c'est-à-dire précisément les situations où les approches réactives accumulent les erreurs et échouent. Pour l'industrie robotique, cela représente un changement de paradigme concret : des robots capables d'exécuter des séquences d'actions longues de manière fiable, sans nécessiter des environnements strictement contrôlés, ouvrent la voie à un déploiement plus large en logistique, en assemblage ou en tri de matériaux. Les modèles VLA ont marqué une avancée importante ces dernières années en permettant aux robots de généraliser à de nouvelles tâches grâce à leur compréhension du langage et de la vision. Leur faiblesse structurelle reste néanmoins leur caractère réactif : ils optimisent l'action immédiate sans anticiper les conséquences à moyen terme, ce qui les fragilise sur des tâches longues où les erreurs s'accumulent. Cortex 2.0 s'inscrit dans un effort plus large pour doter les robots d'une capacité de planification par simulation, comparable à ce que l'on trouve dans des systèmes comme AlphaGo. Si ces résultats se confirment à plus grande échelle et sur une plus large diversité de tâches, ils pourraient accélérer significativement le déploiement de robots industriels autonomes dans des environnements réels et non scénarisés.

Robotique❧Opinion

1 source

42

4624arXiv cs.RO 

Fermeture de boucle efficace en SLAM LiDAR par cartes de densité de nuages de points

Des chercheurs ont publié sur arXiv une nouvelle méthode de détection de fermeture de boucle pour les robots mobiles autonomes équipés de capteurs LiDAR, sous le nom de code MapClosures. Le système résout un problème fondamental de la cartographie robotique : lorsqu'un robot repasse par un endroit déjà visité, il doit reconnaître ce lieu et corriger l'accumulation d'erreurs de positionnement, un phénomène appelé dérive globale. La pipeline présentée génère des cartes locales à partir des nuages de points LiDAR, les aligne avec un module dédié à la gestion du terrain, puis produit des projections à vue aérienne en préservant la densité des points. Des descripteurs de caractéristiques ORB sont extraits de ces projections et stockés dans un arbre de recherche binaire pour accélérer les requêtes. Un mécanisme d'élagage par auto-similarité permet d'éviter les faux positifs dans les environnements répétitifs, comme des couloirs ou des rangées d'arbres. Le code source est disponible en open source sur GitHub, dans le dépôt PRBonn/MapClosures. L'impact de cette approche est particulièrement significatif pour les applications de robotique en extérieur, livraison autonome, inspection industrielle, véhicules tout-terrain, où la précision cartographique sur de longues distances est critique. Contrairement à de nombreuses solutions existantes qui dépendent d'un type précis de capteur ou d'un profil de mouvement spécifique, MapClosures fonctionne avec des LiDAR aux résolutions, champs de vision et patterns de scan très différents. Cela réduit considérablement les coûts d'intégration pour les équipes qui changent de matériel ou déploient plusieurs types de robots sur un même système. Le SLAM (Simultaneous Localization and Mapping) est un défi ouvert depuis plusieurs décennies en robotique, et la fermeture de boucle en est l'un des maillons les plus fragiles, surtout en environnements non structurés. Les travaux proviennent du laboratoire PRBonn, associé à l'Université de Bonn, acteur reconnu dans la recherche en perception robotique. En rendant la méthode agnostique au capteur et en publiant le code librement, les auteurs visent une adoption large dans la communauté académique et industrielle. Les prochaines étapes pourraient inclure l'intégration avec des systèmes de fusion multi-capteurs et des tests à plus grande échelle dans des environnements dynamiques urbains.

Recherche⚡Actu

1 source

41

4625arXiv cs.RO 

Apprentissage par renforcement efficace via la dynamique de Koopman linéaire pour les systèmes robotiques non linéaires

Des chercheurs ont publié sur arXiv un nouveau cadre d'apprentissage par renforcement basé sur un modèle, conçu pour contrôler de manière optimale des systèmes robotiques non linéaires. L'approche repose sur la théorie de l'opérateur de Koopman, un outil mathématique qui permet de représenter des dynamiques non linéaires complexes sous une forme linéaire dans un espace de dimension supérieure. Ce modèle linéarisé est ensuite intégré dans une architecture acteur-critique classique afin d'optimiser la politique de contrôle. Pour limiter les coûts de calcul et éviter l'accumulation d'erreurs lors des simulations en plusieurs étapes, les gradients de politique sont estimés à partir de prédictions à un seul pas de temps, ce qui permet un entraînement en ligne sur des mini-lots de données issues d'interactions en continu. Le cadre a été évalué sur plusieurs benchmarks de contrôle simulés ainsi que sur deux plateformes matérielles réelles : un bras robotique Kinova Gen3 et un robot quadrupède Unitree Go1. Les résultats expérimentaux montrent que cette approche surpasse les méthodes d'apprentissage par renforcement sans modèle en termes d'efficacité d'échantillonnage, tout en offrant de meilleures performances de contrôle que les méthodes par renforcement basées sur un modèle classiques. Elle atteint même un niveau comparable aux méthodes de contrôle traditionnel qui nécessitent une connaissance exacte des dynamiques du système, un avantage considérable, car ces connaissances sont rarement disponibles dans des applications réelles. La robotique reste l'un des terrains les plus exigeants pour l'apprentissage automatique : les systèmes physiques sont non linéaires, les interactions avec le monde réel coûteuses, et les erreurs de modèle peuvent endommager le matériel. L'opérateur de Koopman suscite depuis plusieurs années un intérêt croissant dans la communauté du contrôle automatique, précisément parce qu'il permet de réconcilier la puissance expressive des modèles non linéaires avec la tractabilité des méthodes linéaires. En l'intégrant directement dans une boucle d'apprentissage par renforcement, ce travail ouvre la voie à des robots capables d'apprendre des comportements complexes avec moins d'essais et sans nécessiter un modèle analytique complet du système, une propriété clé pour le déploiement industriel à grande échelle.

Recherche❖Paper

1 source

41

4626arXiv cs.RO 

FingerEye : capteur vision-tactile continu et unifié pour la manipulation dextère

Des chercheurs du laboratoire LINS de l'Université nationale de Singapour ont présenté FingerEye, un capteur robotique compact et peu coûteux capable de combiner vision et toucher de manière continue tout au long d'une interaction physique. Publié sur arXiv le 28 avril 2025, le système intègre deux caméras RGB binoculaires pour percevoir l'environnement à courte portée avant tout contact, puis capte les déformations d'un anneau souple instrumenté de marqueurs pour mesurer les forces et couples exercés au moment où le robot touche un objet. Cette architecture permet une transition fluide entre perception visuelle pré-contact et retour tactile post-contact, le tout dans un unique capteur monté sur les doigts d'un bras robotique. Les chercheurs ont également développé une politique d'apprentissage par imitation qui fusionne les signaux de plusieurs capteurs FingerEye pour apprendre des comportements de manipulation à partir d'un nombre limité de démonstrations réelles, en s'appuyant sur un jumeau numérique du système pour renforcer la généralisation. La majorité des capteurs tactiles existants, comme GelSight et ses variantes, ne fournissent de retour d'information qu'une fois le contact établi, ce qui empêche le robot d'ajuster sa trajectoire lors de l'approche. FingerEye supprime cette lacune en offrant une boucle de perception ininterrompue, ce qui améliore sensiblement la précision des gestes fins. Les expériences menées montrent que le système parvient à réaliser des tâches délicates variées : faire tenir une pièce de monnaie debout, saisir une chip individuelle, extraire une lettre d'une enveloppe ou manipuler une seringue, autant de scénarios qui exigent une coordination précise entre vue et toucher. La manipulation dextre reste l'un des problèmes les plus difficiles de la robotique, car elle suppose de gérer simultanément la localisation d'un objet et les forces exercées sur lui. La plupart des approches séparent ces deux modalités ou ne traitent qu'une phase de l'interaction. FingerEye s'inscrit dans un courant de recherche plus large visant à doter les robots de capteurs multimodaux proches des capacités sensorielles humaines. L'intégration d'un jumeau numérique permet par ailleurs de générer des données simulées enrichies visuellement pour améliorer la robustesse aux variations d'apparence des objets, réduisant ainsi la dépendance aux coûteuses démonstrations en conditions réelles. Le code, les fichiers de conception matérielle et les vidéos sont disponibles sur le site du projet.

Robotique⚡Actu

1 source

41

4627arXiv cs.RO 

Des actions à la compréhension : interprétabilité conformale des concepts temporels dans les agents LLM

Des chercheurs ont publié un article (arXiv:2604.19775) présentant un nouveau cadre d'interprétabilité pour les agents basés sur des grands modèles de langage (LLM). Baptisé "conformal interpretability framework for temporal tasks", ce système combine la modélisation des récompenses étape par étape avec la prédiction conforme, une méthode statistique rigoureuse, pour étiqueter les représentations internes du modèle à chaque instant : succès, échec ou dérive du raisonnement. Des sondes linéaires sont ensuite entraînées sur ces représentations afin d'identifier des directions latentes dans l'espace d'activation du modèle, des vecteurs qui correspondent à des notions cohérentes de réussite ou d'échec. Les expériences ont été menées sur deux environnements interactifs simulés, ScienceWorld et AlfWorld, et confirment que ces concepts temporels sont linéairement séparables. Cette capacité à "lire" ce qui se passe à l'intérieur d'un agent LLM en cours d'action représente une avancée concrète pour la fiabilité des systèmes autonomes. Jusqu'ici, les agents capables de planification multi-étapes restaient des boîtes noires : impossible de savoir, avant la fin d'une tâche, si le modèle était en train de dériver ou de raisonner correctement. Ce cadre ouvre la voie à une détection précoce des défaillances, mais aussi à des interventions actives : les auteurs montrent des résultats préliminaires indiquant qu'il est possible de "piloter" l'agent vers les directions de succès identifiées, améliorant ainsi ses performances en cours d'exécution. L'interprétabilité des LLM est devenue l'un des chantiers les plus actifs de la recherche en IA, notamment sous la pression des exigences de transparence portées par des régulateurs comme la Commission européenne. Ce travail s'inscrit dans un mouvement plus large qui cherche à dépasser la simple observation des sorties pour comprendre les mécanismes internes, en particulier dans des tâches séquentielles où l'erreur peut se propager et s'amplifier. Les outils développés ici pourraient à terme être intégrés dans des systèmes de supervision d'agents déployés dans des contextes critiques, que ce soit en robotique, en assistance médicale ou en automatisation industrielle.

Recherche❖Paper

1 source

40

4628arXiv cs.RO 

Calibration par différence temporelle dans les tâches séquentielles : application aux modèles vision-langage-action

Des chercheurs ont publié sur arXiv (référence 2504.20472) une nouvelle approche pour améliorer la fiabilité des modèles de robotique dits vision-language-action (VLA), capables d'interpréter simultanément des images, du langage et des actions physiques. Le problème qu'ils adressent est celui de la calibration de l'incertitude dans les tâches séquentielles : lorsqu'un robot exécute une tâche en plusieurs étapes, à quel point ses estimations de succès sont-elles fiables à chaque instant, sachant que le résultat final n'est connu qu'en fin d'épisode ? Les auteurs formalisent ce problème et introduisent une extension séquentielle du score de Brier, une mesure classique de calibration probabiliste, adaptée aux trajectoires partielles. Ils démontrent que, dans le cas de résultats binaires, le minimiseur de risque de ce score coïncide mathématiquement avec la fonction de valeur de la politique VLA, concept central en apprentissage par renforcement. Concrètement, ils proposent d'utiliser l'estimation de valeur par différence temporelle (TD), technique issue du reinforcement learning, comme mécanisme de calibration. Les expériences menées sur des données de robots simulés et réels montrent que cette approche surpasse les méthodes de calibration actuelles. Ce travail a des implications directes pour le déploiement de robots dans des environnements réels. Un robot mal calibré peut surestimer sa confiance et poursuivre une tâche vouée à l'échec, ou au contraire s'arrêter prématurément. Améliorer la calibration permet donc d'accroître la sécurité et la robustesse des systèmes autonomes, un enjeu critique à mesure que ces modèles quittent les laboratoires pour intégrer des usines, des entrepôts ou des environnements domestiques. Le résultat le plus surprenant de l'étude est que, une fois calibrées par TD, les probabilités d'action à chaque pas isolé du modèle VLA suffisent à produire des estimations d'incertitude compétitives, contrairement à ce que des travaux récents utilisant d'autres méthodes de calibration avaient conclu. Ce résultat s'inscrit dans une dynamique plus large d'intégration entre l'apprentissage par renforcement et les grands modèles multimodaux appliqués à la robotique. Les modèles VLA, popularisés par des projets comme RT-2 de Google DeepMind ou OpenVLA, sont devenus un axe de recherche majeur ces deux dernières années, mais la question de leur fiabilité probabiliste était restée en marge. En établissant un pont formel entre calibration et RL, les auteurs ouvrent une voie méthodologique qui pourrait influencer la conception de futurs systèmes robotiques, notamment ceux devant opérer en autonomie prolongée sans supervision humaine.

Recherche❖Paper

1 source

40

4629arXiv cs.RO 

QuadPiPS : planificateur de pas pour quadrupèdes avec perception et prédiction d'affordances sémantiques

Des chercheurs ont publié QuadPiPS, un système de planification de pas pour robots quadrupèdes qui intègre la perception visuelle en temps réel pour naviguer sur des terrains complexes. Le système repose sur une représentation locale appelée "legged egocan", une carte ego-centrique de l'environnement immédiat du robot qui combine des données géométriques et sémantiques pour identifier les zones de pose sûres. Pour planifier les mouvements, QuadPiPS segmente le sol en "superpixels", des régions planes candidates pour les appuis, puis calcule des trajectoires optimisées entre ces points d'appui via des méthodes d'optimisation non linéaire. Le tout est exécuté sous contrôle prédictif de modèle (MPC) et contrôle de corps entier. Les tests ont été menés sur dix environnements de simulation avec cinq systèmes de référence, puis validés physiquement sur le quadrupède Unitree Go2 équipé d'un calculateur embarqué sur mesure, ainsi que sur le robot ANYmal C de ANYbotics. Les résultats montrent que QuadPiPS surpasse ses concurrents dans les scénarios à faible nombre de points d'appui disponibles, précisément les situations les plus dangereuses pour un robot mobile. C'est dans ces environnements critiques, comme des terrains escarpés, des surfaces trouées ou des obstacles rapprochés, que la planification précise des pas fait toute la différence entre un robot qui trébuche et un système fiable. La capacité à raisonner sur les affordances du terrain en temps réel ouvre la voie à un déploiement dans des milieux industriels risqués, des opérations de recherche en zone sinistrée ou l'inspection d'infrastructures inaccessibles. La locomotion des robots à pattes reste l'un des défis majeurs de la robotique mobile : contrairement aux robots à roues, ils doivent planifier chaque appui individuellement en tenant compte de la dynamique du corps entier. QuadPiPS s'appuie sur le cadre de planification ALEF, qu'il étend en séparant explicitement les sous-espaces de décision discrets et continus pour gagner en efficacité. L'essor des LLM embarqués et des capteurs compacts rend ce type d'approche perception-action de plus en plus viable hors laboratoire, et les prochaines étapes devraient viser une intégration dans des pipelines de navigation autonome plus larges.

Robotique⚡Actu

1 source

40

4630arXiv cs.RO 

Planification kinodynamique ultra-rapide par échantillonnage via la platitude différentielle

Des chercheurs ont développé FLASK, un nouveau cadre de planification de mouvement cinodynamique pour robots, capable de générer des trajectoires dynamiquement réalisables en quelques microsecondes à quelques millisecondes seulement. Présenté dans un preprint arXiv mis à jour (arXiv:2603.16059v2), le système s'applique à une large classe de robots dits "différentiellement plats", incluant les bras manipulateurs à plusieurs degrés de liberté, les véhicules terrestres et les drones. L'approche repose sur une transformation mathématique du problème de planification depuis l'espace d'état classique vers un "espace de sortie plat", où les équations de trajectoire admettent une solution analytique en forme fermée, éliminant ainsi le recours à des résolutions numériques itératives. La planification cinodynamique, qui intègre les contraintes physiques réelles du robot dans le calcul des trajectoires, est un verrou majeur pour le déploiement sûr de robots en environnements encombrés ou dynamiques. Les approches existantes exigent soit de résoudre des problèmes aux valeurs limites à deux points (BVP), soit de propager les équations de dynamique pas à pas, deux méthodes coûteuses en temps de calcul qui peuvent ralentir drastiquement la planification. FLASK contourne ce goulot d'étranglement en exploitant la platitude différentielle pour obtenir une solution analytique exacte, puis en la validant massivement en parallèle via le paradigme SIMD ("single instruction, multiple data"). Le résultat : un planificateur exact, compatible avec n'importe quel algorithme d'échantillonnage existant, et assorti de garanties théoriques formelles sur l'exhaustivité probabiliste et l'optimalité asymptotique. La planification de mouvement sous contraintes dynamiques est un défi fondamental en robotique depuis des décennies, notamment pour les manipulateurs industriels et les robots mobiles autonomes amenés à opérer près des humains. Les planificateurs géométriques rapides, bien qu'efficaces en millisecondes grâce à la parallélisation GPU, ignorent la dynamique réelle et produisent des trajectoires que le robot ne peut pas toujours suivre fidèlement. FLASK comble cet écart en combinant la vitesse de l'échantillonnage massif parallèle avec la rigueur des trajectoires physiquement faisables. Les expériences menées en simulation et en conditions réelles dans des environnements encombrés et dynamiques confirment l'efficacité de l'approche, ouvrant la voie à des robots industriels, chirurgicaux ou autonomes capables de planifier en temps réel sans compromis sur la sécurité.

Recherche⚡Actu

1 source

40

4631arXiv cs.RO 

AdaTracker : politique adaptative pour le suivi visuel actif sur différents robots

Des chercheurs ont publié le 29 avril 2026 sur arXiv un article présentant AdaTracker, un nouveau cadre d'apprentissage conçu pour résoudre un problème persistant en robotique : permettre à un seul modèle d'assurer le suivi visuel actif d'une cible sur des plateformes robotiques radicalement différentes. Aujourd'hui, chaque type de robot, qu'il s'agisse d'un drone, d'un bras manipulateur ou d'un robot mobile, requiert son propre modèle entraîné séparément, car les contraintes physiques et les dynamiques de mouvement varient considérablement d'une machine à l'autre. AdaTracker propose une architecture unifiée articulée autour de deux composants clés : un Embodiment Context Encoder, qui infère les contraintes spécifiques à chaque robot à partir de son historique de mouvements, et un Context-Aware Policy, qui ajuste dynamiquement les actions de contrôle en conséquence. Les expériences menées en simulation et dans le monde réel montrent que ce système surpasse les méthodes existantes en termes de généralisation inter-plateformes, d'efficacité d'échantillonnage et d'adaptation sans données d'entraînement préalables, ce que les chercheurs appellent l'adaptation zéro-shot. L'enjeu est considérable pour l'industrie robotique : développer et maintenir des modèles distincts pour chaque morphologie de robot est coûteux, peu scalable et freine le déploiement à grande échelle. AdaTracker pourrait permettre à un seul modèle d'être déployé sur une flotte hétérogène de robots sans réentraînement, réduisant drastiquement les coûts de développement. La capacité d'adaptation zéro-shot est particulièrement significative : le système peut contrôler un robot qu'il n'a jamais vu auparavant, en inférant ses contraintes physiques uniquement à partir de quelques interactions récentes. Ce travail s'inscrit dans une tendance de fond visant à construire des modèles fondationnels pour la robotique, à l'image de ce que des projets comme RT-2 de Google ou OpenVLA ont tenté pour la manipulation. Le suivi visuel actif, capacité fondamentale pour les drones de surveillance, les robots d'inspection ou les systèmes de sécurité, reste un défi technique non résolu dans sa dimension multi-plateforme. AdaTracker ouvre une voie vers des systèmes robotiques plus généraux et plus facilement transférables, une priorité alors que les déploiements industriels de robots diversifiés s'accélèrent.

Recherche⚡Actu

1 source

40

4632arXiv cs.RO 

Apprentissage du contrôle multimodal du corps entier pour robots humanoïdes réels

Des chercheurs en robotique ont publié sur arXiv une avancée notable dans le contrôle des robots humanoïdes, présentant le Masked Humanoid Controller (MHC), un système d'apprentissage automatique capable de piloter l'ensemble du corps d'un robot à partir d'une interface unifiée. Concrètement, le MHC reçoit des commandes sous forme de trajectoires partiellement spécifiées, seules certaines parties du corps sont ciblées à la fois, et les exécute en maintenant l'équilibre général de la machine. Le système a été validé sur le robot humanoïde réel Digit V3 du fabricant Agility Robotics, démontrant que les comportements appris en simulation se transfèrent effectivement au monde physique. Ce qui distingue le MHC, c'est sa capacité à traiter des entrées radicalement différentes avec un seul contrôleur : séquences de pas planifiées par un algorithme d'optimisation, clips de capture de mouvement humain, vidéos retransposées sur le robot, ou signaux de téléopération en temps réel via joystick. Jusqu'ici, chacun de ces modes nécessitait généralement un pipeline dédié. Cette unification simplifie considérablement l'architecture des systèmes robotiques et ouvre la voie à des robots capables de recevoir des instructions hybrides, par exemple suivre une trajectoire planifiée tout en imitant simultanément des gestes captés sur une vidéo. Le problème du contrôle corps entier est l'un des verrous majeurs de la robotique humanoïde commerciale, alors que des acteurs comme Boston Dynamics, Figure AI ou Tesla Optimus investissent massivement dans ce secteur. La tendance actuelle consiste à entraîner des contrôleurs en simulation, moins coûteux et plus sûr, puis à les transférer sur du matériel réel, une approche que le MHC illustre avec le Digit V3. L'utilisation d'un curriculum d'entraînement couvrant l'ensemble des modalités d'entrée est la clé qui permet cette polyvalence sans sacrifier la robustesse. Les prochaines étapes logiques concerneront l'intégration de modèles de langage comme interface de haut niveau, permettant à terme de donner des instructions verbales à un humanoïde qui les traduirait en commandes motrices complexes.

Robotique⚡Actu

1 source

40

4633arXiv cs.RO 

OmniUMI : vers un apprentissage robotique ancré dans le monde physique par interaction multimodale alignée sur l'humain

Des chercheurs ont présenté OmniUMI, un nouveau cadre d'apprentissage robotique conçu pour dépasser les limites des systèmes actuels en intégrant des données multimodales physiquement ancrées. Là où les interfaces de type UMI existantes se limitent à des observations visuelles RGB et des trajectoires, OmniUMI capture simultanément six types de données : images RGB, profondeur, trajectoire, retour tactile, force de préhension interne et couple d'interaction externe. Ce dispositif tient dans la main et maintient une cohérence entre la phase de collecte des démonstrations humaines et le déploiement sur le robot, grâce à une conception d'embodiment partagé. Les politiques apprises reposent sur une extension de la diffusion policy intégrant ces signaux visuels, tactiles et de force, déployée via une exécution à impédance pour réguler conjointement le mouvement et le contact. Les expériences valident le système sur des tâches comme le saisissement et le dépôt sensibles à la force, l'effacement de surface interactif, et le relâchement sélectif guidé par le toucher. La portée de cette avancée tient à un problème fondamental de la robotique : les tâches impliquant un contact physique riche, comme assembler des pièces fragiles, manipuler des objets déformables ou effectuer des gestes précis avec pression calibrée, restent hors de portée des systèmes purement visuels. La vision seule ne peut pas inférer la dynamique de contact, la force exercée, ni les micro-glissements tactiles. En permettant au démonstrateur humain de percevoir et moduler naturellement ces forces via un retour bilatéral du préhenseur, OmniUMI aligne la démonstration humaine sur la réalité physique du robot, rendant les données collectées directement exploitables. Le contexte est celui d'une course à la manipulation robotique généraliste, où des laboratoires et entreprises comme Google DeepMind, Physical Intelligence ou Boston Dynamics investissent massivement. Les interfaces UMI, popularisées ces dernières années pour leur facilité de collecte de données à grande échelle, butaient précisément sur ce mur du toucher et de la force. OmniUMI ouvre une voie vers des systèmes capables d'apprendre des tâches industrielles ou médicales où la précision physique est critique, tout en conservant le paradigme de démonstration humaine qui a fait le succès des approches d'imitation à grande échelle.

Robotique❧Opinion

1 source

39

4634arXiv cs.RO 

Apprentissage de l'assemblage tenon-mortaise par désassemblage visuo-tactile

Des chercheurs ont publié sur arXiv (référence 2604.20712) un nouveau cadre d'apprentissage pour les robots chargés d'effectuer des assemblages de type "goupille dans un trou" (peg-in-hole, PiH), une tâche de manipulation fondamentale en robotique industrielle. L'idée centrale : plutôt que d'entraîner directement le robot sur cette tâche difficile, l'équipe lui apprend d'abord la tâche inverse, retirer une goupille d'un trou (peg-out-of-hole, PooH), puis utilise ces trajectoires inversées temporellement comme données d'expertise pour maîtriser l'insertion. Le système combine deux modalités sensorielles, la vision et le toucher, formalisées dans un cadre de processus de décision markovien partiellement observable. Les résultats sont convaincants : un taux de réussite moyen de 87,5 % sur des géométries déjà vues en entraînement, et de 77,1 % sur des objets inédits, soit une amélioration de 18,1 points de pourcentage par rapport aux méthodes d'apprentissage par renforcement classiques partant de zéro. Les forces de contact mesurées lors des assemblages sont également 6,4 % inférieures à celles des systèmes n'utilisant qu'une seule modalité sensorielle. L'enjeu de cette avancée est considérable pour l'automatisation industrielle. L'assemblage de pièces mécaniques avec précision reste l'un des goulots d'étranglement de la robotique manufacturière : un robot qui rate son insertion peut bloquer une ligne de production entière ou endommager des composants coûteux. La combinaison vision-toucher permet ici au robot de s'approcher du trou grâce aux informations visuelles, puis de corriger des désalignements millimétriques grâce aux capteurs tactiles, reproduisant le geste naturel d'un technicien humain qui "sent" la résistance avant d'ajuster. La généralisation à des objets non vus lors de l'entraînement est particulièrement prometteuse pour un déploiement industriel réel, où les pièces varient constamment d'un lot à l'autre. La tâche peg-in-hole est un problème de référence en robotique depuis les années 1980, longtemps résolu par des méthodes analytiques rigides, peu adaptables. L'apprentissage par renforcement a ouvert de nouvelles perspectives, mais se heurte à un obstacle majeur : l'exploration est coûteuse et risquée, chaque tentative ratée pouvant provoquer des chocs mécaniques. La clé de l'approche proposée est d'exploiter l'asymétrie entre insertion et extraction : retirer une goupille ne nécessite pas d'alignement précis et génère des données d'entraînement bien plus facilement. Le code, les démonstrations vidéo et les jeux de données de l'équipe sont disponibles en ligne, ce qui pourrait accélérer l'adoption de ce type d'apprentissage hybride dans la communauté robotique internationale.

Robotique❖Paper

1 source

39

4635arXiv cs.RO 

JoyAI-RA 0.1 : un modèle de base pour l'autonomie robotique

Des chercheurs ont publié le 28 avril 2026 sur arXiv un nouveau modèle de fondation baptisé JoyAI-RA 0.1, conçu pour doter les robots d'une autonomie généralisable dans des environnements réels et variés. Ce modèle de type vision-langage-action (VLA) s'appuie sur un cadre d'entraînement multi-sources et multi-niveaux inédit : il combine des données issues du web, des vidéos en vue subjective de manipulations humaines à grande échelle, des trajectoires générées par simulation, et des données collectées sur de vrais robots. Selon les résultats présentés, JoyAI-RA surpasse les méthodes les plus avancées sur des benchmarks en simulation comme en environnement réel, particulièrement sur des tâches variées nécessitant une capacité de généralisation. L'enjeu central de ce travail est la généralisation inter-robots, un problème récurrent dans le domaine : les modèles entraînés sur un type de robot peinent à s'adapter à d'autres architectures mécaniques ou capteurs différents. JoyAI-RA propose une unification explicite des espaces d'action, ce qui lui permet de transférer efficacement des comportements appris depuis des vidéos de manipulation humaine vers le contrôle robotique. Ce pont entre geste humain et mouvement machine est particulièrement prometteur pour réduire les coûts de collecte de données et accélérer le déploiement de robots polyvalents dans des contextes industriels, logistiques ou domestiques. La robotique autonome bute depuis des années sur deux obstacles structurels : la faible diversité des jeux de données disponibles et l'impossibilité de réutiliser des comportements appris d'un robot à l'autre. JoyAI-RA s'inscrit dans une tendance de fond qui voit émerger des modèles de fondation généralistes pour la robotique, à l'image de RT-2 de Google DeepMind ou d'OpenVLA. La particularité de cette approche réside dans l'intégration massive de vidéos de manipulation humaine comme source de supervision implicite, une stratégie qui contourne partiellement la rareté des données robotiques annotées. La publication en version 0.1 suggère que l'équipe, vraisemblablement liée à l'écosystème chinois au vu du nom JoyAI, entend faire évoluer ce modèle rapidement.

Robotique❧Opinion

1 source

39

4636arXiv cs.RO 

ALAS : synthèse adaptative d'actions à long terme par séparation de flux asynchrones

Des chercheurs ont publié ALAS (Adaptive Long-Horizon Action Synthesis), un nouveau cadre d'apprentissage pour la robotique présenté dans un préprint arXiv (2604.20721). Ce système s'attaque à un problème central : permettre à un agent robotique d'accomplir des tâches longues et multi-étapes dans des scènes variées, ce qu'on appelle les tâches à "horizon long" dans le domaine de l'interaction humain-scène. Lors des tests comparatifs, ALAS affiche une amélioration moyenne de 23 % du taux de réussite par sous-tâche et de 29 % de l'efficacité d'exécution par rapport aux méthodes existantes. Ces résultats comptent parce que la robotique bute depuis des années sur un plafond de généralisation : les agents actuels apprennent à enchaîner des sous-tâches pré-entraînées, mais échouent dès que l'environnement ou la combinaison de compétences change légèrement. Un robot qui sait ranger une table dans un bureau peut se retrouver paralysé dans une cuisine. ALAS rompt cette dépendance en séparant explicitement la compréhension de l'environnement de l'exécution motrice, ce qui autorise le transfert vers des scènes et des compétences inédites sans tout réapprendre depuis zéro. Pour les applications industrielles et domestiques, cela rapproche concrètement la perspective d'un robot polyvalent capable de s'adapter sans reconfiguration lourde. L'architecture d'ALAS s'inspire du cerveau humain, plus précisément de la distinction neurologique entre les voies "où" et "quoi" du cortex visuel. Elle repose sur deux modules distincts : l'un dédié à la compréhension spatiale de la scène (fonctions des objets, relations géométriques, sémantique de l'environnement), l'autre au traitement des états moteurs de l'agent (degrés de liberté des articulations, schémas de mouvement). Ce découplage complet entre perception environnementale et contrôle moteur est la clé du transfert inter-domaines. La recherche en robotique s'oriente de plus en plus vers ces architectures bio-inspirées pour dépasser les limites du simple apprentissage par imitation, et ALAS constitue une étape notable dans cette direction, même si des validations sur des systèmes physiques réels restent à venir.

Recherche❖Paper

1 source

38

4637arXiv cs.RO 

Agent robotique évolutif pour la manipulation via réflexion et optimisation à court et long terme

Des chercheurs ont publié sur arXiv un nouveau cadre algorithmique, baptisé EEAgent (Evolvable Embodied Agent), conçu pour doter les robots d'une capacité d'adaptation continue sans nécessiter de réentraînement lourd. Le système s'appuie sur des modèles de vision et de langage (VLMs) de grande taille pour interpréter l'environnement et planifier les actions du robot. Sa pièce maîtresse est un mécanisme appelé LSTRO (Long Short-Term Reflective Optimization), qui affine dynamiquement les instructions en combinant les expériences passées et les leçons récemment apprises. Évalué sur six tâches du benchmark VIMA-Bench, EEAgent établit un nouvel état de l'art et surpasse significativement les systèmes concurrents, notamment dans les scénarios les plus complexes. Ce travail s'attaque à un obstacle central de la robotique moderne : la généralisation. Les approches traditionnelles nécessitent des données d'entraînement massives et peinent à transférer leurs compétences d'une tâche à une autre, tout en restant difficiles à interpréter. EEAgent contourne ce problème en remplaçant le réentraînement par une réflexion structurée sur l'expérience accumulée, une approche analogue à ce qu'un opérateur humain ferait naturellement. La distinction court terme / long terme dans LSTRO permet au robot de ne pas simplement mémoriser ses erreurs récentes, mais d'en distiller des principes généraux réutilisables, améliorant les taux de réussite sur des tâches variées sans intervention humaine supplémentaire. La course à la robotique généraliste s'est intensifiée ces dernières années, portée par des acteurs comme Boston Dynamics, Figure, Physical Intelligence ou Google DeepMind. Tous cherchent à créer des systèmes capables d'opérer dans des environnements non structurés sans reprogrammation constante. L'apprentissage par prompts, que EEAgent pousse plus loin avec LSTRO, s'affirme comme une alternative légère aux pipelines d'apprentissage par renforcement classiques, coûteux en calcul et en données. Si les résultats sur VIMA-Bench sont encourageants, la prochaine étape sera de valider ce type de système dans des environnements physiques réels, là où la robustesse et l'adaptabilité sont véritablement mises à l'épreuve.

Recherche❧Opinion

1 source

38

4638arXiv cs.RO 

MATT-Diff : suivi actif de cibles multimodal par politique de diffusion

Des chercheurs du laboratoire CINAPS ont publié MATT-Diff, un système de contrôle permettant à un agent mobile autonome de pister plusieurs cibles simultanément dans des environnements inconnus. Présenté dans un article arXiv (2511.11931), le système repose sur une politique de diffusion, une approche inspirée des modèles génératifs d'images, pour piloter le comportement de l'agent selon trois modes distincts : exploration de zones inconnues, suivi de cibles détectées, et réacquisition de cibles perdues. L'ensemble du système fonctionne sans connaissance préalable du nombre de cibles, de leurs positions ou de leurs dynamiques de déplacement. Ce qui distingue MATT-Diff des approches existantes, c'est sa capacité à gérer le compromis fondamental en robotique de surveillance : quand explorer pour trouver des cibles encore inconnues, et quand exploiter l'information déjà disponible pour réduire l'incertitude sur les cibles déjà repérées. Le modèle utilise un vision transformer pour tokeniser les cartes égocentrées de l'agent, et un mécanisme d'attention pour intégrer des estimations variables des cibles représentées sous forme de densités gaussiennes. Entraîné comme un modèle de diffusion, il apprend à générer des séquences d'actions multimodales via un processus de débruitage, ce qui lui permet d'adopter des comportements variés face à une même situation, là où les politiques classiques produiraient une seule réponse déterministe. Pour constituer les données d'entraînement, les chercheurs ont combiné les démonstrations de trois planificateurs experts distincts : un planificateur à base de frontières pour l'exploration, un planificateur hybride basé sur l'incertitude alternant entre exploration et suivi via l'algorithme RRT*, et un planificateur hybride temporel déclenchant la réacquisition selon le temps écoulé depuis la dernière détection. Cette diversité des sources d'apprentissage explique la richesse comportementale du système final. Les évaluations montrent des performances supérieures aux autres baselines d'apprentissage dans des environnements inédits. Le code est disponible publiquement sur GitHub, ouvrant la voie à des applications en surveillance autonome, recherche et sauvetage, ou gestion de drones en milieu complexe.

Recherche❖Paper

1 source

38

4639arXiv cs.RO 

Cadre cinématique pour évaluer les configurations de pincement en robotique, sans modèle d'objet ni de contact

Des chercheurs ont publié sur arXiv (référence 2604.20692) un cadre d'évaluation cinématique permettant d'analyser les configurations de pincement des mains robotiques sans avoir recours à des modèles d'objets ni à des modèles de force de contact. La méthode repose sur le calcul de l'espace de travail atteignable par chaque bout de doigt à partir des configurations articulaires, puis sur la détection de configurations de pincement réalisables en évaluant les relations géométriques entre les paires de bouts de doigts. Quatre structures cinématiques différentes de main ont été comparées afin d'examiner leur influence sur les configurations de pincement possibles. Pour les concepteurs de mains robotiques, cet apport est concret : il devient possible d'évaluer la dextérité de préhension d'un prototype dès les premières phases de conception, sans avoir à modéliser les objets à saisir ni à simuler les forces de contact. Ces étapes, traditionnellement coûteuses en temps de calcul et en données, constituaient un frein majeur à l'itération rapide sur les designs. En permettant une évaluation fondée uniquement sur la structure cinématique de la main, le framework ouvre la voie à des cycles de développement plus courts et à une comparaison objective entre différentes architectures mécaniques. La robotique de manipulation traverse une période d'intense compétition, portée par l'essor des robots humanoïdes et des bras industriels autonomes. Les mains robotiques dotées d'une dextérité fine restent l'un des grands défis non résolus du secteur, que ce soit pour des usages industriels ou médicaux. Les méthodes d'évaluation existantes supposent généralement que l'objet à manipuler est connu à l'avance, ce qui les rend peu utiles lors des premières étapes de conception matérielle. Ce travail s'inscrit dans un courant de recherche visant à abstraire l'évaluation de la dextérité, et pourrait à terme être intégré dans des outils de conception assistée par ordinateur pour accélérer le développement de nouvelles générations de mains robotiques polyvalentes.

Robotique⚡Actu

1 source

38

4640arXiv cs.RO 

Avantages de la bio-inspiration économique à l'ère de la surparamétrisation

Des chercheurs ont publié sur arXiv (arXiv:2604.20365) une étude empirique comparant deux grandes familles de contrôleurs pour robots : les générateurs de patterns centraux (CPG), inspirés de la neurologie animale, et les perceptrons multicouches (MLP), omniprésents en apprentissage automatique. L'expérience soumet un robot à proprioception limitée à des protocoles d'optimisation variés, en faisant varier systématiquement la taille des espaces de paramètres sous deux régimes d'entraînement, évolutionnaire et par renforcement, et en mesurant les performances sur plusieurs fonctions de récompense. Le résultat central contredit une intuition répandue dans le domaine : plus de paramètres ne signifie pas de meilleures performances. Dans les contextes où les espaces d'entrée et de sortie sont restreints et où les gains maximaux sont bornés, les architectures légères, MLP peu profonds et CPG densément connectés, surpassent systématiquement les MLP profonds et les architectures Actor-Critic du renforcement. Pour quantifier cet écart, les auteurs introduisent une métrique inédite baptisée "Parameter Impact", qui mesure la proportion de paramètres supplémentaires se traduisant effectivement en gains de performance. Les résultats montrent que les paramètres additionnels exigés par les méthodes de renforcement ne produisent aucun bénéfice mesurable, plaidant en faveur des stratégies évolutionnaires sur ce type de tâche. Ce travail s'inscrit dans un débat de fond qui traverse la robotique et l'IA : l'ère des grands modèles a installé un réflexe de surparamétrage, mais cette logique ne se transfère pas uniformément à tous les problèmes. Les CPG sont une approche bio-inspirée classique, calquée sur les circuits neuronaux responsables de la locomotion animale, et longtemps délaissée au profit des réseaux profonds. L'étude rappelle que pour des morphologies robotiques contraintes, la frugalité computationnelle peut être une force, et non un compromis. Ces résultats ouvrent des pistes concrètes pour la conception de contrôleurs embarqués efficaces sur des robots à faibles ressources, un enjeu central pour la robotique mobile et les systèmes autonomes déployés hors datacenter.

Robotique❧Opinion

1 source