Actualités IA — page 305

9 335 articles au fil, du plus récent au plus ancien.

42

Illustration générée par IA

6081arXiv cs.RO 

EgoDyn-Bench : évaluation de la compréhension du mouvement ego-centré dans les modèles de vision pour la conduite autonome

Des chercheurs ont publié EgoDyn-Bench, un nouveau banc d'essai conçu pour mesurer la compréhension du mouvement propre du véhicule, appelé ego-motion, par les modèles de fondation en conduite autonome. L'étude, soumise sur arXiv fin avril 2026, s'appuie sur une évaluation empirique à grande échelle couvrant plus de 20 modèles : des systèmes propriétaires comme les grands modèles multimodaux en boîte noire, des modèles open-source de tailles variées, et des agents d'action-langage spécialisés dans la conduite. Le protocole utilise un oracle déterministe pour convertir les données cinématiques continues du véhicule en concepts de mouvement discrets, permettant de dissocier la logique physique interne du modèle de sa perception visuelle brute. Le résultat central est frappant : les auteurs identifient ce qu'ils appellent un « goulot d'étranglement perceptif ». Si les modèles testés démontrent une certaine capacité à raisonner sur les concepts physiques de base, ils échouent systématiquement à les ancrer dans les observations visuelles réelles. Pire, ces systèmes sont régulièrement surpassés par des méthodes géométriques classiques non apprises, pourtant bien plus simples. Cette défaillance persiste quelle que soit la taille du modèle et même après un entraînement spécialisé sur des données de conduite, ce qui pointe vers un déficit structurel dans la façon dont les architectures actuelles couplent vision et raisonnement physique. L'analyse révèle une dissociation fonctionnelle préoccupante entre vision et langage : la logique d'ego-motion est dérivée presque exclusivement du canal linguistique, tandis que les observations visuelles n'apportent qu'un signal négligeable. Lorsque les chercheurs fournissent explicitement des encodages de trajectoire aux modèles, la cohérence physique se rétablit significativement, confirmant que le problème n'est pas une absence de connaissance physique, mais une incapacité à la connecter au flux visuel. Ce constat soulève des questions sérieuses pour l'industrie de la conduite autonome, où des acteurs comme Waymo, Tesla ou Mobileye investissent massivement dans des approches fondées sur ces mêmes modèles. EgoDyn-Bench propose un cadre de diagnostic standardisé et une piste concrète vers des systèmes d'IA incarnée physiquement cohérents.

Recherche❖Paper

1 source

42

Illustration générée par IA

6082arXiv cs.RO 

Flow Matching indépendant du temps pour un contrôle robotique génératif, adaptatif et robuste

Des chercheurs ont publié GeCO (Generative Control as Optimization), un nouveau cadre d'apprentissage par imitation pour robots, présenté dans un article soumis à arXiv (arXiv:2603.17834). Là où les systèmes actuels basés sur la diffusion ou le flow matching consacrent un budget de calcul fixe à chaque mouvement, quelle qu'en soit la complexité, GeCO fonctionne différemment : il transforme la génération d'actions en un processus d'optimisation itérative. Concrètement, le modèle apprend un champ de vitesse stationnaire dans lequel les comportements experts forment des attracteurs stables, ce qui permet à l'inférence de s'arrêter dès convergence plutôt qu'après un nombre prédéterminé d'étapes. Le système s'intègre comme remplacement direct des têtes de flow matching existantes, notamment dans les modèles pi0-series de type Vision-Language-Action (VLA), sans nécessiter de réentraînement de l'architecture complète. L'impact principal est double. D'un côté, GeCO alloue automatiquement plus de calcul aux situations difficiles et s'arrête plus tôt pour les mouvements simples, ce qui améliore à la fois l'efficacité et le taux de succès sur les benchmarks de simulation standards. De l'autre, la géométrie stationnaire du champ de vitesse fournit un signal de sécurité natif et sans entraînement supplémentaire : la norme du champ au point d'action optimisé reste faible pour les situations connues, et augmente significativement en présence d'anomalies ou de situations hors distribution. C'est un détecteur d'OOD (out-of-distribution) gratuit, ce qui est rare dans ce type de systèmes. La robotique apprenante est aujourd'hui dominée par les politiques diffusion et flow matching, héritées des générateurs d'images, avec leur cortège d'étapes d'intégration fixes. Le problème de la détection de situations inconnues est un verrou majeur pour le déploiement sûr de robots en environnement réel. GeCO attaque les deux limites simultanément depuis un angle géométrique plutôt que supervisé, ce qui le distingue des approches concurrentes. Les prochaines étapes naturelles seront la validation sur matériel physique et l'intégration dans des pipelines de manipulation industrielle, domaines où l'adaptabilité computationnelle et la robustesse aux anomalies ont une valeur opérationnelle directe.

Robotique❖Paper

1 source

42

Illustration générée par IA

6083arXiv cs.RO 

RecoverFormer : récupération en boucle fermée avec conscience des contacts pour robots humanoïdes

Des chercheurs ont présenté RecoverFormer, un système de contrôle entièrement automatisé permettant aux robots humanoïdes de récupérer leur équilibre après des chutes ou des poussées imprévues. Publié sur arXiv (2604.22911), ce travail introduit une politique d'apprentissage bout-en-bout testée sur le robot Unitree G1 dans le simulateur MuJoCo. L'architecture repose sur un transformeur causal analysant les 50 dernières étapes d'observation du robot, combiné à deux modules inédits : un « mode de récupération latent » permettant de passer fluidement entre différentes stratégies d'équilibre, et une tête de prédiction de contacts qui identifie les surfaces environnantes exploitables, murs, rambardes, bords de table. Entraîné uniquement sur sol plat et ouvert, RecoverFormer atteint 100 % de succès de récupération face à des poussées de 100 à 300 newtons, et ce quelle que soit la distance au mur (de 0,25 à 1,4 mètre), sans avoir jamais vu ces obstacles pendant l'entraînement. Ces résultats sont significatifs car ils montrent qu'un seul modèle peut gérer des situations radicalement différentes sans reprogrammation manuelle ni supervision par mode de récupération. Sous des conditions dégradées simulant des écarts dynamiques réels, le système maintient 75,5 % de succès avec une masse augmentée de 25 %, 89 % sous une latence de 30 millisecondes, et 91,5 % sur sol à faible friction. Combinées, ces perturbations n'abaissent le taux qu'à 99 %, ce qui est remarquable. Pour les industriels et les laboratoires déployant des humanoïdes dans des environnements réels non contrôlés, cette robustesse en transfert zéro-shot représente un saut qualitatif par rapport aux approches modulaires classiques qui nécessitent des comportements préprogrammés pour chaque scénario. La récupération après perturbation reste l'un des problèmes les plus difficiles de la robotique humanoïde, domaine où Boston Dynamics, Figure AI ou Agility Robotics investissent massivement. La plupart des systèmes actuels recourent à des pipelines hiérarchiques séparant détection, planification et exécution. RecoverFormer mise au contraire sur une politique unifiée, dont les modes de comportement émergent spontanément, validé par une analyse t-SNE sur 300 épisodes, sans étiquetage supervisé. La prochaine étape logique sera le déploiement sur robot réel, hors simulation, pour confirmer que cette généralisation tient face aux imprévisibilités du monde physique.

Robotique❧Opinion

1 source

41

Illustration générée par IA

6084arXiv cs.RO 

Les paris comme méthode d'évaluation des performances sim-to-real

Une équipe de chercheurs a publié sur arXiv (référence 2604.24018) une nouvelle approche pour évaluer les performances des robots sans multiplier les tests physiques coûteux. Le problème central est bien connu dans le domaine : tester un robot dans le monde réel est lent, onéreux et parfois dangereux, ce qui rend difficile la comparaison d'algorithmes, la validation de contrôleurs ou la prise de décisions réglementaires. Les chercheurs proposent une méthode fondée sur un mécanisme de "pari" (betting) pour estimer avec précision le comportement réel d'un robot à partir de données issues de simulateurs. Ils démontrent notamment son efficacité sur une tâche concrète de préhension et dépose d'objets (pick-and-place) par un bras robotique, en utilisant des distributions synthétiques comme substitut au monde réel. Cette approche présente un intérêt pratique majeur pour l'industrie robotique et les laboratoires de recherche. Contrairement aux méthodes existantes qui tentent soit de réduire la variance statistique (par échantillonnage d'importance), soit de corriger les biais introduits par les simulateurs, le mécanisme de pari proposé peut, sous certaines conditions théoriques démontrées, surpasser l'estimateur Monte Carlo classique. Les chercheurs fournissent également des règles de décision concrètes pour diagnostiquer en temps réel si la stratégie de pari fonctionne comme prévu, ce qui rend la méthode utilisable en pratique et pas seulement en théorie. Le fossé entre simulation et réalité, le fameux "sim-to-real gap", est l'un des obstacles majeurs au déploiement industriel des robots autonomes. Les simulateurs modernes restent imparfaits : ils modélisent mal les contacts, les frottements ou les imprécisions mécaniques, ce qui introduit des biais systématiques dans les évaluations. La plupart des travaux existants cherchent à corriger ces biais après coup ; cette publication propose au contraire de les intégrer dans un cadre probabiliste cohérent dès la conception de l'évaluation. Le code source est disponible sur GitHub (ISUSAIL/Bet4Sim2Real), ce qui facilite la reproduction des résultats et l'adoption par la communauté.

Robotique⚡Actu

1 source

40

Illustration générée par IA

6085arXiv cs.RO 

Synthèse de démonstrations réelles pour la manipulation bimmanuelle à grande échelle

Des chercheurs ont développé BiDemoSyn, un système capable de générer automatiquement des milliers de démonstrations d'entraînement pour des robots à deux bras à partir d'un seul exemple réel. Présenté dans un article publié sur arXiv (arXiv:2512.09297), le framework décompose chaque tâche en deux composantes : des blocs de coordination invariants, communs à toutes les exécutions, et des ajustements variables selon la forme et la position des objets manipulés. En combinant un alignement guidé par vision artificielle et une optimisation légère des trajectoires, le système produit des données d'entraînement riches en contacts physiques et réalistes, le tout en quelques heures, sans nécessiter des sessions répétées de téléopération humaine. Les expériences couvrent six tâches différentes impliquant deux bras robotiques simultanés. L'enjeu est considérable : entraîner des robots capables de manipuler des objets avec les deux mains de façon habile reste l'un des défis les plus difficiles de la robotique d'apprentissage par imitation. Jusqu'ici, les équipes devaient choisir entre la téléopération, précise mais extrêmement coûteuse en temps humain, et la simulation, scalable mais souvent déconnectée de la réalité physique. BiDemoSyn court-circuite ce compromis : les politiques entraînées sur ses données généralisent à de nouvelles poses et formes d'objets inédits, surpassant nettement les méthodes de référence existantes. Plus remarquable encore, ces politiques réalisent un transfert zéro-shot vers d'autres plateformes robotiques, sans réentraînement, grâce à une représentation centrée sur les objets et une action en six degrés de liberté découplée de la mécanique propre à chaque robot. Ce travail s'inscrit dans une course intense à la scalabilité des données robotiques, un goulot d'étranglement majeur qui freine le déploiement de robots polyvalents dans des environnements industriels et domestiques. Des acteurs comme Google DeepMind, Physical Intelligence ou Tesla Optimus investissent massivement dans cette problématique. BiDemoSyn propose une voie intermédiaire pragmatique : ancrer les données dans le réel dès la première démonstration, puis les amplifier algorithmiquement. L'extension naturelle en mode few-shot, également démontrée dans l'article, ouvre la perspective d'une diversification encore plus large avec un effort humain minimal, rapprochant l'apprentissage par imitation d'une industrialisation viable.

Robotique❧Opinion

1 source

40

Illustration générée par IA

6086arXiv cs.RO 

Un robot humanoïde joue au badminton grâce à l'apprentissage par renforcement multi-étapes

Des chercheurs ont présenté un système de badminton pour robots humanoïdes entièrement piloté par apprentissage par renforcement, sans recours à des démonstrations d'experts ni à des référentiels de mouvement préenregistrés. Le pipeline d'entraînement, décrit dans un article soumis sur arXiv (arXiv:2511.11218), repose sur un curriculum en trois étapes : acquisition des déplacements de jambes, génération de frappes guidée par la précision, puis raffinement centré sur la tâche. En simulation, deux robots humanoïdes ont maintenu un échange de 21 coups consécutifs. Sur matériel réel, face à une machine lance-volants et à des adversaires humains, le robot a atteint des vitesses de volant en sortie de raquette allant jusqu'à 19,1 mètres par seconde, avec une distance d'atterrissage moyenne des retours de 4 mètres. Cette démonstration marque un cap dans la robotique des interactions dynamiques. Jusqu'ici, les robots humanoïdes excellaient dans des environnements statiques, locomotion, manipulation d'objets posés, mais échouaient face à des objets rapides et imprévisibles. Coordonner bras et jambes en temps réel pour intercepter et renvoyer un volant relève d'une difficulté qualitativement différente : le robot doit anticiper, se positionner et frapper avec précision en une fraction de seconde. Ce système unifié, qui pilote simultanément le bas et le haut du corps pour servir l'objectif de frappe, constitue une avancée directement applicable à d'autres tâches critiques en dynamique, comme la manipulation d'objets projetés ou les interactions physiques en environnement industriel. Pour déployer ce contrôleur sur robot réel, les chercheurs ont intégré un filtre de Kalman étendu (EKF) chargé d'estimer et de prédire la trajectoire du volant. Ils ont également développé une variante sans prédiction explicite, qui supprime l'EKF tout en atteignant des performances comparables, ce qui suggère que le réseau de neurones internalise lui-même une forme d'anticipation. Cette approche s'inscrit dans une tendance de fond : former des comportements moteurs complexes uniquement en simulation, puis les transférer sur hardware (sim-to-real transfer), sans nécessiter de données humaines coûteuses. Les résultats ouvrent la voie à des robots capables d'interactions physiques rapides et précises dans des contextes jusqu'ici réservés à l'humain.

Robotique❧Opinion

1 source

40

Illustration générée par IA

6087arXiv cs.RO 

KERV : décodage spéculatif à correction cinématique pour modèles VLA incarnés

Des chercheurs ont publié KERV (Kinematic-Rectified Speculative Decoding), un nouveau cadre d'optimisation destiné à accélérer les modèles Vision-Language-Action (VLA) utilisés pour le contrôle robotique. Ces modèles VLA, qui pilotent les robots en générant des séquences de tokens représentant des actions, souffrent d'une vitesse d'inférence trop faible pour de nombreuses applications en temps réel. L'approche proposée combine la technique de décodage spéculatif (Speculative Decoding, SD) avec des prédictions issues de la cinématique robotique, permettant d'atteindre une accélération de 27 à 37 % selon les tâches, sans perte mesurable du taux de succès. Le décodage spéculatif, déjà éprouvé pour les grands modèles de langage, pose deux problèmes spécifiques lorsqu'on l'applique aux VLA : d'une part, la correction des erreurs de tokens implique des re-inférences coûteuses en calcul ; d'autre part, régler le seuil d'acceptation des tokens est délicat et sensible au contexte. KERV résout ces deux obstacles en intégrant un filtre de Kalman basé sur la cinématique, qui prédit les actions futures et corrige les erreurs du décodage spéculatif sans recourir à ces re-inférences. Une stratégie d'ajustement dynamique du seuil d'acceptation, également fondée sur la cinématique, vient compléter le dispositif pour s'adapter automatiquement aux conditions d'exécution. Cette contribution s'inscrit dans une tendance de fond : la robotique incarnée (embodied intelligence) cherche à réduire l'écart entre les capacités de raisonnement des IA génératives et les contraintes du monde physique, notamment la latence. Les modèles VLA, en plein essor depuis les travaux de Google et Physical Intelligence sur des architectures comme RT-2 ou pi0, sont prometteurs mais trop lents pour des robots opérant dans des environnements dynamiques. En greffant la physique du mouvement sur l'inférence neuronale, KERV ouvre une voie pragmatique vers des robots plus réactifs, sans nécessiter de refonte architecturale majeure, un atout décisif pour le déploiement industriel à court terme.

Robotique❧Opinion

1 source

40

Illustration générée par IA

6088arXiv cs.RO 

Exploiter l'agilité des robots hybrides roues-pattes pour l'évitement réflexe d'obstacles à haute dynamique

Des chercheurs ont présenté AWARE (Adaptive Wheeled-Legged Avoidance and Reflexive Evasion), un nouveau système d'apprentissage par renforcement hiérarchique conçu pour permettre aux robots hybrides roues-pattes d'esquiver des obstacles en mouvement rapide de manière réflexive. La recherche, publiée sur arXiv sous la référence 2604.23761, s'appuie sur des expériences menées dans le simulateur Isaac Lab d'NVIDIA ainsi que sur des déploiements en conditions réelles sur la plateforme robotique M20. Le système génère spontanément des comportements d'évitement variés, notamment une esquive frontale en plongeon et un écart latéral, sans que ces mouvements aient été explicitement programmés. L'intérêt de cette avancée réside dans la capacité à résoudre un problème longtemps considéré comme un verrou technique majeur : les robots à morphologie hybride souffrent d'un couplage entre leurs modes de locomotion et de contraintes non holonomes qui rendent l'évitement dynamique particulièrement difficile à contrôler. En exploitant pleinement la dualité roues-pattes, AWARE permet à ces plateformes d'atteindre un niveau d'agilité réflexive inédit, ouvrant la voie à des déploiements dans des environnements industriels dangereux, des opérations de sauvetage ou encore des scénarios militaires où la rapidité de réaction face à des menaces mobiles est critique. Les robots à pattes ont longtemps dominé la robotique d'exploration en terrain accidenté, mais leur consommation énergétique élevée limite leur autonomie. Les plateformes hybrides roues-pattes, comme le M20 utilisé dans ces travaux, cherchent à combiner le meilleur des deux mondes depuis plusieurs années, avec des équipes comme Boston Dynamics ou des laboratoires universitaires qui explorent ce compromis. L'approche par apprentissage par renforcement hiérarchique adoptée ici représente une tendance forte dans le domaine : plutôt que de coder manuellement chaque comportement, on laisse émerger des stratégies complexes depuis l'entraînement. La prochaine étape logique sera d'étendre ces capacités à des environnements peuplés de multiples obstacles dynamiques simultanés.

Robotique❧Opinion

1 source

40

Illustration générée par IA

6089arXiv cs.RO 

Approcher puis agir : séquençage comportemental pour une manipulation robotique humanoïde

Des chercheurs ont publié Move-Then-Operate (MTO), un nouveau cadre d'apprentissage pour la manipulation robotique qui s'inspire directement du fonctionnement du cerveau humain. L'approche sépare explicitement chaque geste robotique en deux phases distinctes : une phase de déplacement grossier vers la cible (move), puis une phase d'interaction de précision avec l'objet (operate). Pour orchestrer ce découpage, le système utilise une architecture à double expert, pilotée par un sélecteur de phase entraînable. Les étiquettes de phase sont générées automatiquement via un pipeline basé sur un modèle de langage multimodal, qui analyse des indicateurs contextuels légers comme la vitesse de l'effecteur terminal et la décomposition des sous-tâches. Sur le benchmark RoboTwin2, MTO atteint un taux de réussite moyen de 68,9 %, surpassant le modèle de référence monolithique pi zéro de 24 points de pourcentage, tout en atteignant ses performances maximales en 40 % moins d'étapes d'entraînement. Ces résultats ont une portée significative pour la robotique industrielle et domestique. En isolant structurellement la phase de navigation de la phase de manipulation fine, MTO parvient à égaler, voire dépasser, des modèles entraînés sur dix fois plus de données. Cette efficacité d'apprentissage représente un avantage économique et pratique considérable : moins de données coûteuses à collecter, des cycles d'entraînement plus courts, et des robots capables de tâches de haute précision comme assembler des composants délicats, manipuler des objets fragiles ou effectuer des gestes médicaux assistés. La robotique moderne bute depuis des années sur le problème des politiques monolithiques, ces systèmes qui tentent d'apprendre tous les comportements moteurs dans un seul modèle unifié, sans distinguer les régimes dynamiques fondamentalement différents que sont le déplacement et la manipulation précise. Des frameworks comme pi zéro de Physical Intelligence ont marqué des avancées, mais restent limités par cette indifférenciation. MTO s'inscrit dans une tendance plus large visant à introduire des biais structurels inspirés de la cognition humaine dans les architectures robotiques. Les prochaines étapes naturelles incluent la validation sur des robots physiques réels et l'extension à des environnements non structurés, là où la généralisation reste le défi central du domaine.

Robotique❧Opinion

1 source

40

Illustration générée par IA

6090arXiv cs.RO 

Flux sensoriel modulaire pour intégrer le feedback physique dans les modèles vision-langage-action

Des chercheurs ont publié fin avril 2026 sur arXiv un article présentant MoSS (Modular Sensory Stream), un cadre modulaire conçu pour enrichir les modèles Vision-Langage-Action (VLA) avec des retours physiques multiples. Les VLA sont des systèmes d'intelligence artificielle utilisés en robotique pour interpréter des scènes visuelles et du langage naturel afin de générer des actions. MoSS introduit des flux de modalités découplés qui intègrent des signaux physiques hétérogènes, notamment tactiles et de couple mécanique (torque), directement dans le flux d'action du modèle via un mécanisme d'attention croisée. Un schéma d'entraînement en deux étapes, où les paramètres du VLA préentraîné sont d'abord gelés, assure une incorporation stable des nouvelles modalités. Des expériences en conditions réelles démontrent des gains de performance synergiques lorsque ces signaux sont combinés. L'enjeu est considérable pour la robotique de manipulation. Aujourd'hui, la grande majorité des VLA reposent quasi exclusivement sur la vision, ce qui les rend aveugles aux informations que procure le toucher ou la résistance mécanique lors d'un contact. Un robot vissant un écrou, saisissant un objet fragile ou détectant un glissement ne peut s'appuyer sur la caméra seule pour ajuster sa prise en temps réel. MoSS montre que l'ajout de signaux tactiles et de couple, traités en parallèle plutôt qu'en série, améliore la précision des actions de manière complémentaire, chaque modalité compensant les angles morts des autres. Les VLA sont devenus l'un des fronts les plus actifs de la recherche en robotique depuis l'émergence de modèles comme RT-2 (Google DeepMind) ou OpenVLA. La tendance dominante consistait jusqu'ici à enrichir la composante visuelle ou langagière de ces systèmes, en négligeant les sens physiques que les humains mobilisent naturellement pour manipuler des objets. MoSS s'inscrit dans un courant émergent qui cherche à doter les robots d'une perception proprioceptive et haptique plus fine. La nature modulaire du framework facilite l'ajout de nouvelles modalités sensorielles à l'avenir, ce qui ouvre la voie à des robots capables d'intégrer température, vibration ou pression sans nécessiter une refonte complète de l'architecture.

Robotique❧Opinion

1 source

40

Illustration générée par IA

6091arXiv cs.RO 

Des piétons jouent à faire peur à un véhicule autonome

Des chercheurs ont publié en avril 2026 une étude sur arXiv (référence 2604.24384) présentant la première démonstration empirique d'une approche inspirée de la théorie des jeux pour résoudre les blocages entre véhicules autonomes et piétons. L'expérience a été conduite avec un véritable AV face à des sujets humains dans des conditions de sécurité contrôlées. Les résultats montrent que le comportement des piétons correspond précisément aux prédictions du modèle appelé "Sequential Chicken" : les participants calibraient instinctivement leur trajectoire en pesant le risque d'une légère intrusion dans leur espace personnel contre le temps perdu à laisser passer le véhicule. Le coeur du problème que cette étude cherche à résoudre est ce que les spécialistes appellent le "Freezing Robot Problem". Les véhicules autonomes sont aujourd'hui programmés pour céder systématiquement aux piétons, par souci de sécurité absolue. En pratique, cette règle crée un effet pervers : les piétons apprennent rapidement qu'ils peuvent s'imposer à chaque interaction puisque le véhicule s'arrêtera quoi qu'il arrive, paralysant ainsi la circulation. Les chercheurs démontrent qu'un AV capable d'émettre des signaux de négociation crédibles, comme un très faible risque de collision ou une légère invasion de l'espace proxémique, suffit à rétablir un équilibre similaire à celui qui s'opère naturellement entre conducteurs humains. Ce résultat a des implications directes sur la conception des algorithmes de décision en milieu urbain. La question de la paralysie des robots autonomes face aux piétons est documentée depuis plusieurs années dans la recherche en robotique et préoccupe activement des acteurs comme Waymo, Cruise ou Motional. Jusqu'ici, les propositions basées sur la théorie des jeux restaient cantonnées à des simulations. Cette étude franchit une étape importante en validant l'approche sur des humains réels, lui conférant une crédibilité nouvelle. Elle soulève néanmoins des questions délicates sur ce qu'un véhicule autonome est légalement et éthiquement autorisé à "risquer" pour progresser, un débat qui mobilisera régulateurs et constructeurs à mesure que les flottes autonomes s'étendent dans les villes mondiales.

Robotique⚡Actu

1 source

40

Illustration générée par IA

6092arXiv cs.RO 

Exploitation de la platitude différentielle pour la commande prédictive par apprentissage de systèmes affines multi-entrées contraints

Des chercheurs ont publié sur arXiv une nouvelle approche de contrôle automatique pour les systèmes robotiques à dynamique incertaine, exploitant une propriété mathématique appelée platitude différentielle. Le contrôleur proposé repose sur une combinaison d'apprentissage machine et de commande prédictive par modèle (MPC), et se distingue des solutions existantes par sa capacité à gérer simultanément des systèmes à entrées multiples, des contraintes sur les commandes et des contraintes d'état dans l'espace plat. Techniquement, l'architecture repose sur une extension du système et une formulation diagonale par blocs du coût, permettant de résoudre le problème de contrôle en seulement deux optimisations convexes séquentielles, tout en offrant des garanties probabilistes de stabilité via un critère de Lyapunov. L'apport principal est d'ordre computationnel : la méthode atteint des performances comparables à un contrôleur MPC basé sur des processus gaussiens (GP-MPC), référence de l'état de l'art, mais en étant plusieurs fois plus rapide en temps de calcul. Pour les applications robotiques en temps réel, notamment les drones, les bras manipulateurs ou les véhicules autonomes, cette réduction de charge de calcul est déterminante. Elle permet d'envisager des boucles de contrôle plus rapides, des plateformes embarquées moins puissantes, ou des horizons de prédiction plus longs sans compromettre la réactivité du système. Les expériences sur matériel réel confirment un suivi de trajectoire compétitif, validant la transposabilité de l'approche au-delà de la simulation. La platitude différentielle est une propriété bien connue en automatique, exploitée depuis les années 1990 pour simplifier la planification de trajectoires dans des systèmes comme les quadrotors ou les voitures. Jusqu'ici, les travaux combinant flatness et apprentissage machine se heurtaient à des limitations majeures : absence de gestion des contraintes d'entrée, restriction aux systèmes mono-entrée, ou dépendance à une plateforme spécifique. Cette publication généralise l'approche à une classe beaucoup plus large de systèmes non linéaires, ouvrant la voie à des contrôleurs apprenants suffisamment efficaces pour quitter les bancs de simulation et équiper des robots industriels ou autonomes en conditions réelles.

Recherche❖Paper

1 source

40

Illustration générée par IA

6093arXiv cs.RO 

Perception sémantique orientée objectif et sécurisée pour la robotique : communication et contrôle

Des chercheurs ont publié une étude sur arXiv (référence 2603.13502) portant sur la conception de systèmes robotiques connectés capables de traiter simultanément efficacité des tâches et sécurité opérationnelle. Leur approche, baptisée SA-GS (Safety-Aware Goal-oriented Semantic), repense la manière dont les robots échangent des données avec des serveurs distants via des liaisons sans fil. Plutôt que de transmettre l'intégralité des flux de données brutes, ce qui sature rapidement les canaux de communication et génère des latences critiques, le système extrait et envoie uniquement les représentations sémantiques pertinentes pour l'objectif en cours. L'étude présente une architecture complète et valide le concept avec un cas d'usage concret : un drone (UAV) chargé de suivre une cible en temps réel. Les résultats montrent que l'approche SA-GS améliore le taux de succès du suivi de plus de 4,5 fois et le taux de sécurité de plus de 2 fois par rapport aux méthodes conventionnelles. L'enjeu est significatif pour l'industrie robotique, notamment dans les applications où la fiabilité en temps réel est non négociable : drones de surveillance, robots industriels téléopérés, véhicules autonomes ou interventions en environnements dangereux. Jusqu'ici, la sécurité était principalement traitée comme un problème de contrôle en bout de chaîne, sans coordination avec les couches de perception et de communication. Cette fragmentation crée des angles morts : un robot peut recevoir une commande techniquement valide mais rendue dangereuse par une information sensorielle dégradée ou une transmission tardive. La co-conception proposée ici ferme cette boucle et permet d'intégrer les contraintes de sécurité dès la collecte des données. Cette recherche s'inscrit dans un mouvement plus large autour des communications sémantiques orientées objectif, un domaine en plein essor à l'intersection de l'IA, des réseaux 5G/6G et de la robotique autonome. La saturation des liaisons sans fil constitue un verrou persistant pour le déploiement à grande échelle de flottes de robots connectés. En réduisant la quantité de données transmises sans sacrifier la pertinence décisionnelle, l'approche SA-GS ouvre la voie à des systèmes plus résilients dans des environnements à connectivité contrainte. Les auteurs identifient plusieurs directions de recherche futures, notamment l'exécution sémantique des paquets de commande et contrôle, et suggèrent que leurs travaux pourraient s'étendre à des architectures multi-robots collaboratifs.

Recherche❖Paper

1 source

40

Illustration générée par IA

6094arXiv cs.RO 

PhysCodeBench : évaluation de la simulation symbolique 3D physique par affinement multi-agents auto-correctif

Une équipe de chercheurs vient de publier PhysCodeBench, le premier benchmark dédié à l'évaluation de la simulation symbolique physiquement réaliste de scènes 3D. Ce jeu d'évaluation comprend 700 échantillons construits manuellement, couvrant trois domaines de la physique : la mécanique classique, la dynamique des fluides et la physique des corps mous. Chaque échantillon a été annoté par des experts et soumis à un double critère d'évaluation : l'exécutabilité du code généré d'une part, et sa précision physique d'autre part, mesurée à la fois de manière automatique et visuelle. Dans ce cadre, les chercheurs ont également développé SMRF (Self-Corrective Multi-Agent Refinement Framework), une architecture composée de trois agents spécialisés, un générateur de simulation, un correcteur d'erreurs et un raffineur, qui collaborent de façon itérative pour produire des environnements de simulation fidèles aux lois physiques. SMRF obtient un score global de 67,7 points, contre 36,3 points pour le meilleur modèle de référence testé, soit un gain de 31,4 points. Cet écart de performance n'est pas anodin : il illustre les limites profondes des grands modèles de langage actuels face à la traduction de descriptions physiques en code de simulation exécutable et précis. Pour la robotique et l'IA incarnée, cette capacité est fondamentale, un robot qui planifie ses actions dans un environnement virtuel doit pouvoir s'appuyer sur des simulations fidèles à la réalité physique. Le fait que l'architecture multi-agents surpasse significativement les approches à agent unique montre que la correction itérative des erreurs, plutôt que la génération directe, est la clé pour combler ce fossé sémantique. Ce travail s'inscrit dans une tendance plus large visant à spécialiser les LLM pour des domaines scientifiques exigeants, où la précision factuelle dépasse les capacités de la génération de texte généraliste. Jusqu'à présent, aucun benchmark standardisé ne permettait de mesurer la qualité de la simulation physique générée par IA, rendant les comparaisons entre systèmes impossibles. PhysCodeBench comble ce vide et ouvre la voie à des évaluations rigoureuses dans des secteurs comme la simulation industrielle, la recherche en robotique ou le calcul scientifique, où les modèles devront prochainement rivaliser avec des moteurs physiques spécialisés.

Recherche❖Paper

1 source

40

Illustration générée par IA

6095arXiv cs.RO 

Apprentissage par renforcement visuel centré sur l'agent face aux perturbations dynamiques

Des chercheurs ont présenté dans un article arXiv (référence 2504.24661) un nouveau cadre d'apprentissage par renforcement visuel, baptisé ACO-MoE (Agent-Centric Observations with Mixture-of-Experts), conçu pour rendre les agents d'IA robustes face à des perturbations visuelles dynamiques et imprévisibles. Pour évaluer ce problème de manière rigoureuse, l'équipe a d'abord introduit le Visual Degraded Control Suite (VDCS), un benchmark qui étend la suite de référence DeepMind Control Suite en y intégrant des dégradations à commutation markovienne, simulant ainsi les perturbations non-stationnaires du monde réel, comme des corruptions qui changent de nature de façon imprévisible au fil du temps. Les expériences menées sur ce nouveau benchmark ont révélé des effondrements sévères des performances des méthodes existantes dans ces conditions. L'enjeu est considérable pour tous les systèmes d'IA qui apprennent à agir à partir d'images, notamment en robotique, en conduite autonome ou dans les environnements simulés utilisés pour l'entraînement. Les auteurs démontrent théoriquement, via une analyse en théorie de l'information, que cet échec provient d'un défaut fondamental des approches classiques : les objectifs basés sur la reconstruction mêlent inévitablement les artefacts de corruption aux représentations latentes de l'agent, l'empêchant de séparer ce qui est pertinent pour la tâche du bruit visuel. ACO-MoE résout ce problème en déployant des experts de restauration centrés sur l'agent, qui isolent d'abord le premier plan utile et éliminent les corruptions avant que l'agent ne traite l'observation. Résultat : sur VDCS, le système récupère 95,3 % des performances obtenues en conditions visuelles propres, même face aux corruptions à commutation markovienne les plus difficiles. Ce travail s'inscrit dans une préoccupation croissante de la communauté de l'apprentissage par renforcement visuel : les agents entraînés en simulation ou en laboratoire échouent fréquemment en conditions réelles à cause de variations visuelles non anticipées. Les benchmarks existants, dont DMControl, testaient essentiellement des perturbations statiques et prévisibles ; VDCS comble ce manque en modélisant des changements de régime dynamiques. ACO-MoE établit également de nouveaux résultats état de l'art sur DMControl Generalization avec des perturbations de couleur aléatoire et de fond vidéo, deux scénarios classiques du domaine, ce qui suggère que l'approche pourrait s'imposer comme référence pour la robustesse des agents visuels dans des environnements ouverts.

Recherche❖Paper

1 source

39

Illustration générée par IA

6096arXiv cs.RO 

Affordance-R1 : apprentissage par renforcement pour le raisonnement sur les affordances dans les LLM multimodaux

Des chercheurs ont présenté Affordance-R1, un nouveau modèle d'intelligence artificielle conçu pour permettre aux robots de déterminer précisément comment saisir et manipuler des objets dans leur environnement. Publiée sur arXiv (référence 2508.06206), cette étude introduit le premier cadre unifié d'affordance grounding combinant l'apprentissage par renforcement avec un raisonnement de type chaîne de pensée (Chain-of-Thought, CoT). Le système s'appuie sur une variante de l'optimisation politique appelée GRPO (Group Relative Policy Optimization) et a été entraîné sur un nouveau jeu de données spécialement constitué pour l'occasion, baptisé ReasonAff. Malgré l'absence de données de raisonnement explicite durant l'entraînement, le modèle parvient à une généralisation zéro-shot convaincante et développe des capacités de raisonnement émergentes lors de l'inférence. Le code et le jeu de données sont disponibles publiquement sur GitHub. Cette avancée concerne directement la robotique incarnée, l'interaction humain-robot et la manipulation d'objets en environnement ouvert. L'enjeu central est la capacité d'un robot à identifier, sans entraînement préalable sur un objet donné, quelle zone précise saisir ou activer pour accomplir une tâche, par exemple tenir une tasse par son anse ou appuyer sur le bouton d'un appareil. Jusqu'ici, les modèles existants échouaient à transférer cette compréhension d'un objet à un autre, faute d'un raisonnement structuré. Affordance-R1 comble ce manque en permettant une généralisation hors-domaine (OOD), ce qui pourrait accélérer le déploiement de robots polyvalents dans des environnements industriels, domestiques ou médicaux. Le concept d'affordance, emprunté à la psychologie cognitive, désigne les actions qu'un objet permet naturellement à un agent. Dans le domaine de la robotique IA, le défi est d'apprendre à un modèle à percevoir ces possibilités d'action de façon générique, sans dépendre d'une liste exhaustive d'objets connus. Les approches précédentes reposaient sur de la supervision directe, limitant leur adaptabilité face à des situations inédites. L'utilisation du GRPO, une méthode d'apprentissage par renforcement popularisée notamment par DeepSeek, représente ici un changement de paradigme : plutôt que d'enseigner explicitement le raisonnement, on récompense le modèle selon des critères de format, de perception et de cognition. Cette approche rejoint une tendance plus large visant à doter les grands modèles multimodaux d'une véritable capacité de planification physique dans le monde réel.

Recherche❖Paper

1 source

39

Illustration générée par IA

6097arXiv cs.RO 

Tube Diffusion Policy : apprentissage réactif visuo-tactile pour la manipulation riche en contacts

Des chercheurs ont présenté le Tube Diffusion Policy (TDP), un nouveau cadre d'apprentissage par imitation conçu pour la manipulation robotique en contact intense, c'est-à-dire les tâches où un robot doit saisir, pousser ou assembler des objets en gérant en permanence les incertitudes physiques. Publié sur arXiv (référence 2604.23609), TDP combine deux approches distinctes : les modèles génératifs à diffusion, qui ont récemment démontré de grandes capacités pour apprendre des comportements complexes, et le contrôle par tube, une méthode de rétroaction permettant de corriger les trajectoires en temps réel. Le système a été évalué sur le benchmark Push-T, largement utilisé dans la communauté robotique, ainsi que sur trois tâches additionnelles de manipulation dextère intégrant retour visuel et tactile. Sur l'ensemble de ces tests, TDP surpasse tous les modèles de référence de l'état de l'art, et deux expériences en conditions réelles confirment sa robustesse face aux perturbations extérieures et aux incertitudes de contact. L'apport concret de TDP réside dans sa capacité à réagir rapidement à des situations imprévues pendant l'exécution d'une tâche. Les approches dominantes reposent sur l'action chunking, qui consiste à planifier de longues séquences de mouvements à l'avance : efficace dans des environnements stables, cette méthode échoue dès qu'un contact inattendu ou une résistance physique surgit. TDP génère au contraire un "tube d'action", une enveloppe autour de la trajectoire nominale qui permet des micro-corrections continues à haute fréquence en s'appuyant sur les données tactiles et visuelles en temps réel. Le mécanisme de correction progressive réduit également le nombre d'étapes de débruitage nécessaires au modèle de diffusion, ce qui améliore significativement la vitesse d'inférence et rend le système compatible avec un contrôle robotique en boucle fermée rapide. Cette publication s'inscrit dans une dynamique de recherche intense autour des politiques de diffusion en robotique, initiée notamment par les travaux de Chi et al. sur Diffusion Policy en 2023. L'intégration du retour tactile reste un défi majeur du domaine : contrairement à la vision, le toucher impose une latence ultra-faible et une sensibilité aux perturbations millimétriques. TDP ouvre des perspectives pour des applications industrielles exigeantes comme l'assemblage de pièces fines, la chirurgie assistée ou les prothèses robotiques, où la réactivité au contact est critique. Les prochaines étapes probables incluent l'extension à des environnements plus complexes et la généralisation à de nouveaux types de capteurs tactiles.

Robotique❧Opinion

1 source

39

Illustration générée par IA

6098arXiv cs.RO 

InCoM : perception guidée par l'intention et coordination structurée pour la manipulation mobile

Des chercheurs ont publié InCoM, un nouveau cadre algorithmique pour la manipulation mobile robotique, détaillé dans un préprint arXiv (2602.23024). La manipulation mobile désigne la capacité d'un robot à se déplacer dans l'espace tout en manipulant des objets avec son bras, une combinaison exigeante qui requiert la coordination simultanée d'une base motorisée et d'un effecteur. InCoM aborde ce problème sur deux fronts : d'un côté, un mécanisme de perception piloté par l'intention, qui infère dynamiquement les étapes motrices du robot pour redistribuer l'attention perceptuelle à différentes échelles ; de l'autre, un décodeur d'action à flux correspondant découplé, qui modélise explicitement la génération coordonnée des commandes base-bras sans les coupler directement. Testé sur trois scénarios du benchmark ManiSkill-HAB, InCoM surpasse les méthodes existantes avec des gains de taux de succès respectifs de 28,2 %, 26,1 % et 23,6 %, sans recours à des informations privilégiées. Ces performances ont également été confirmées sur des tâches réelles. Ces résultats comptent parce que la manipulation mobile reste l'un des verrous majeurs de la robotique généraliste. Un robot capable de naviguer dans un appartement et d'y accomplir des tâches physiques complexes, comme ranger des objets ou préparer un repas, doit gérer en permanence des points de vue changeants et des conflits de commande entre sa locomotion et son bras. Les gains de plus de 20 points de pourcentage sur un benchmark de référence signalent une rupture méthodologique, pas une amélioration incrémentale, ce qui intéresse directement les industriels travaillant sur les robots domestiques et les systèmes logistiques autonomes. La difficulté du couplage base-bras est connue depuis les premières architectures de robots mobiles manipulateurs dans les années 2010. Les approches récentes, souvent basées sur l'apprentissage par renforcement ou les transformers visuels, peinent encore à allouer efficacement l'attention perceptuelle quand la caméra du robot se déplace. InCoM répond à ce problème en introduisant une notion d'intention latente qui anticipe les phases de mouvement avant qu'elles ne surviennent. La validation sur environnements réels, souvent absente des travaux académiques, renforce la crédibilité du système. La prochaine étape probable sera l'intégration de ce cadre dans des plateformes robotiques commerciales comme celles de Figure AI, Boston Dynamics ou 1X Technologies, toutes engagées dans la course au robot domestique généraliste.

Robotique❖Paper

1 source

39

Illustration générée par IA

6099arXiv cs.RO 

BridgeACT : relier les démonstrations humaines aux actions robotiques via les affordances outils-cibles unifiées

Des chercheurs ont présenté BridgeACT, un nouveau framework d'apprentissage robotique capable d'enseigner des gestes de manipulation à un robot uniquement à partir de vidéos humaines, sans aucune donnée de démonstration robotique. Publié sur arXiv (2604.23249), le système repose sur un concept central : l'affordance, soit la représentation de ce qu'un objet permet de faire et comment l'atteindre. BridgeACT décompose chaque tâche en deux sous-problèmes distincts : d'abord identifier où saisir un objet dans la scène, puis prédire comment se déplacer en 3D pour accomplir la manipulation. Ces affordances sont ensuite traduites en commandes exécutables par le robot via un module de préhension et un contrôleur de mouvement en boucle fermée. Les expériences conduites sur des tâches réelles montrent que BridgeACT surpasse les approches existantes et généralise à des objets, des scènes et des angles de vue inédits. L'enjeu est considérable : les vidéos humaines disponibles sur internet constituent une source d'apprentissage d'une richesse et d'une diversité incomparables, mais les convertir en comportements robotiques exploitables reste l'un des verrous majeurs du domaine. BridgeACT ouvre une voie concrète pour entraîner des robots sans passer par des phases coûteuses de collecte de données téléopérées ou de simulation robotique. Pour l'industrie, cela pourrait drastiquement réduire le temps et le coût de déploiement de robots dans de nouveaux environnements ou pour de nouvelles tâches. La robotique d'apprentissage par imitation se heurte depuis des années au problème du fossé entre l'observation humaine et l'exécution robotique. La plupart des approches actuelles, comme RT-2 ou ACT, exigent encore des volumes importants de démonstrations réalisées directement par des robots. BridgeACT s'inscrit dans une tendance plus large visant à exploiter les données humaines brutes, aux côtés de travaux comme Droid ou HumanPlus, mais se distingue par l'utilisation d'affordances comme représentation intermédiaire indépendante du corps (embodiment-agnostic). La prochaine étape sera de tester la robustesse du système sur des tâches plus complexes impliquant des chaînes de manipulation multi-étapes dans des environnements non contrôlés.

Robotique❧Opinion

1 source

39

Illustration générée par IA

6100arXiv cs.RO 

Génération de champs vectoriels guidée par un modèle de diffusion basé sur les scores

Des chercheurs ont publié sur arXiv un article (référence 2604.24487) présentant un nouveau cadre algorithmique baptisé SGVF, pour Score-Induced Guiding Vector Field. L'objectif : améliorer radicalement la capacité des robots à suivre des trajectoires complexes, là où les méthodes classiques s'effondrent. Le SGVF exploite les modèles génératifs à base de score, une famille de techniques issues des modèles de diffusion, pour construire des champs de vecteurs directement à partir de distributions de données. Le système apprend des champs tangents depuis des nuages de points en appliquant trois contraintes géométriques : norme unitaire, orthogonalité et cohérence directionnelle. Des expériences menées sur des environnements de navigation robotique planaire démontrent que le SGVF réussit là où les champs de vecteurs classiques échouent. Le code source et une vidéo de démonstration sont disponibles sur GitHub. Cette avancée répond à une limitation structurelle des Guiding Vector Fields traditionnels : ils supposent que les trajectoires sont lisses, ordonnées et mono-branche. Dès qu'un chemin est non ordonné, multi-branche ou issu d'un modèle probabiliste, ces méthodes classiques deviennent inutilisables. Le SGVF, en apprenant directement depuis les données, s'affranchit de la segmentation manuelle des trajectoires et gère des topologies complexes comme les bifurcations ou les pseudo-variétés. Pour la robotique mobile et les systèmes de navigation autonome, c'est un changement de paradigme : il devient possible de guider un robot le long de chemins que l'on ne pourrait pas décrire analytiquement à l'avance. Les modèles de diffusion ont révolutionné la génération d'images et de texte au cours des trois dernières années, mais leur application au contrôle géométrique et à la robotique reste un territoire en friche. Ce travail établit un lien théorique formel entre la disparition du score dans les modèles de diffusion et les singularités des champs de vecteurs guidants, posant ainsi des bases mathématiques solides pour un pont entre l'IA générative et le contrôle géométrique. Les enjeux dépassent la navigation planaire : à terme, ces techniques pourraient s'appliquer à des robots évoluant dans des environnements tridimensionnels, ou à la planification de mouvements dans des espaces de configuration complexes. La communauté robotique dispose désormais d'une piste sérieuse pour intégrer la puissance des modèles génératifs modernes dans des systèmes de contrôle rigoureux.

Recherche❖Paper

1 source