Actualités IA — page 213

7 629 articles au fil, du plus récent au plus ancien.

43

4241arXiv cs.RO 

MiMo-Embodied : rapport technique du modèle de fondation X-Embodied

Xiaomi a publié en open source MiMo-Embodied, un modèle fondamental dit "cross-embodied" conçu pour unifier deux domaines jusqu'ici distincts : la conduite autonome et l'IA incarnée (robots, agents physiques). Selon le rapport technique associé, le modèle établit de nouveaux records sur 29 benchmarks au total, 17 en IA incarnée, couvrant la planification de tâches, la prédiction d'affordance et la compréhension spatiale, et 12 en conduite autonome, sur la perception environnementale, la prédiction d'état et la planification de trajectoire. Il surpasse à la fois les modèles open source, les modèles propriétaires et les systèmes spécialisés sur ces évaluations. Le code et les poids sont disponibles sur GitHub sous l'organisation XiaomiMiMo. Ce qui rend ce résultat notable, c'est que les deux domaines ont longtemps été traités séparément : un robot domestique et un véhicule autonome semblent peu comparables. Or MiMo-Embodied démontre qu'ils partagent suffisamment de structure sous-jacente, compréhension de l'espace, planification d'action, interaction avec un environnement physique, pour se renforcer mutuellement lors de l'entraînement. Cette synergie, appelée "transfert positif", signifie qu'apprendre à conduire rend le modèle meilleur pour manipuler des objets, et vice versa. Pour l'industrie, cela ouvre la voie à des modèles généraux capables de s'adapter à plusieurs types de corps ou de véhicules sans être réentraînés depuis zéro. L'approche repose sur un entraînement multi-étapes, une construction soigneuse des données d'entraînement, et un affinage par chain-of-thought (CoT) combiné à du reinforcement learning, des techniques popularisées par les grands modèles de langage mais ici appliquées à des agents physiques. Xiaomi s'inscrit ainsi dans une course internationale au modèle fondamental robotique, aux côtés de Google, Physical Intelligence ou Tesla pour Optimus. La publication en open source constitue un signal fort : l'entreprise mise sur la recherche communautaire pour accélérer le développement, tout en positionnant ses propres écosystèmes matériels, smartphones, robots, voitures connectées, comme terrain d'application naturel.

Robotique❖Paper

1 source

43

4242arXiv cs.RO 

Capteurs tactiles et de proximité comme a priori d'observation pour l'évitement de collisions des humanoïdes

Des chercheurs ont présenté un cadre d'apprentissage par renforcement pour permettre à un robot humanoïde H1-2 d'éviter les collisions avec l'ensemble de son corps, en s'appuyant uniquement sur des capteurs tactiles et de proximité répartis sur sa partie supérieure. Pour évaluer le système, l'équipe a utilisé le dodgeball comme tâche de référence : le robot doit esquiver des balles lancées dans sa direction, sans recourir à des caméras externes. Les chercheurs ont ensuite fait varier systématiquement les propriétés des capteurs, notamment leur couverture spatiale, leur type et leur portée, afin de comprendre comment chacun de ces paramètres influence le comportement d'évitement appris. Les résultats bousculent certaines intuitions du domaine. Contrairement à ce qu'on pourrait supposer, des mesures de proximité brutes, sans localisation explicite des objets, suffisent à produire un comportement d'évitement efficace, à condition que la portée des capteurs soit suffisante. Plus surprenant encore, des signaux de proximité clairsemés et non directionnels surpassent des alternatives plus denses et directionnelles en termes d'efficacité d'apprentissage : le robot apprend plus vite avec moins d'information, pour peu que celle-ci couvre bien l'espace autour de lui. Ces conclusions ont des implications directes pour la conception matérielle des robots humanoïdes, en suggérant qu'un équipement sensoriel plus simple peut suffire là où l'on cherchait à maximiser la précision. L'enjeu derrière ces travaux est la sécurité des robots en environnement non contrôlé. Les caméras externes souffrent d'occlusions fréquentes dès que le robot interagit avec son environnement ou d'autres personnes, ce qui rend les capteurs embarqués sur le corps particulièrement précieux. Le H1-2 est l'un des robots humanoïdes commerciaux les plus accessibles du marché, ce qui donne à cette recherche une portée concrète au-delà du laboratoire. Alors que les déploiements industriels et domestiques de robots humanoïdes s'accélèrent, comprendre comment minimiser le risque de collision tout en réduisant la complexité sensorielle est une question centrale pour rendre ces machines réellement utilisables au quotidien.

Robotique⚡Actu

1 source

42

4243arXiv cs.RO 

DiscreteRTC : les politiques de diffusion discrète comme exécuteurs asynchrones naturels

Des chercheurs ont publié DiscreteRTC, une nouvelle architecture de contrôle pour l'IA physique qui résout un problème fondamental des robots en temps réel : comment continuer à agir pendant que le cerveau artificiel calcule la prochaine décision. Présenté sur arXiv le 29 avril 2026, ce travail propose de remplacer les approches de diffusion continue actuelles par des politiques de diffusion discrète, qui génèrent des actions en démasquant itérativement des séquences plutôt qu'en les construisant de zéro. Les résultats sont frappants : sur des tâches de manipulation dynamique en conditions réelles, DiscreteRTC atteint un taux de succès supérieur de 50 % à celui du RTC basé sur le flow-matching, tout en utilisant seulement 0,7 fois la puissance de calcul d'une génération complète, et sans nécessiter une seule ligne de code supplémentaire pour la gestion asynchrone. L'enjeu est structurel pour tout ce qui touche à la robotique et à l'IA embarquée. Contrairement aux chatbots, un robot ne peut pas mettre le monde en pause pendant qu'il réfléchit : une pause de quelques dizaines de millisecondes suffit à rater un objet en mouvement ou à perdre l'équilibre. Les systèmes synchrones existants, aussi rapides soient-ils, souffrent de ce décalage fatal entre calcul et action. DiscreteRTC résout cela en faisant de l'exécution asynchrone une propriété native du modèle : le système "pense en agissant", en figeant les actions déjà engagées et en générant la suite de façon cohérente, sans correction externe coûteuse. Cette approche s'inscrit dans une course plus large à rendre l'IA générative utilisable dans des environnements physiques contraints. Les méthodes de flow-matching, popularisées par des équipes comme OpenAI ou des laboratoires académiques, souffrent d'un défaut architectural : leur capacité d'inpainting est une rustine ajoutée à l'inférence plutôt qu'une propriété fondamentale, ce qui impose du fine-tuning spécifique, des heuristiques fragiles et une latence accrue. En choisissant la diffusion discrète comme base, DiscreteRTC fait de la complétion de séquence son opération native, ouvrant la voie à des robots capables de réagir en temps réel sans compromis sur la cohérence des mouvements. Les prochaines étapes pourraient inclure des tests sur des plateformes robotiques plus complexes et une intégration dans des pipelines d'entraînement à grande échelle.

Recherche❖Paper

1 source

42

4244arXiv cs.RO 

KinDER : un benchmark de raisonnement physique pour l'apprentissage et la planification robotique

Une équipe de chercheurs en robotique vient de publier KinDER (Kinematic and Dynamic Embodied Reasoning), un nouveau benchmark conçu pour évaluer la capacité des systèmes robotiques à raisonner sur les contraintes physiques du monde réel. Présenté sur arXiv, le projet propose 25 environnements générés de façon procédurale, une bibliothèque Python compatible avec l'interface Gymnasium, et une suite d'évaluation standardisée incluant 13 méthodes de référence. Ces méthodes couvrent quatre grandes familles d'approches : la planification de tâches et de mouvements, l'apprentissage par imitation, le reinforcement learning et les systèmes basés sur des modèles de fondation comme les grands modèles de langage. Les environnements ciblent cinq défis spécifiques : les relations spatiales de base, la manipulation d'objets sans préhension directe, l'utilisation d'outils, les contraintes géométriques combinatoires et les contraintes dynamiques. Les résultats empiriques sont sans appel : les méthodes actuelles échouent sur une grande partie des environnements proposés, révélant des lacunes profondes dans la façon dont les robots comprennent et anticipent les interactions physiques. C'est un signal fort pour la communauté, car la plupart des benchmarks existants mélangent raisonnement physique, compréhension du langage et perception visuelle, rendant difficile l'identification précise des points de blocage. KinDER isole délibérément ces cinq dimensions pour mesurer séparément chaque capacité. Les chercheurs ont également mené des expériences de transfert simulation-réalité sur un robot manipulateur mobile, confirmant que les comportements observés en simulation correspondent bien à ceux du monde physique. La robotique souffre depuis longtemps d'un manque de benchmarks rigoureux et comparables entre paradigmes d'apprentissage. Le succès des grands modèles de langage a relancé l'intérêt pour les agents physiques capables de raisonner sur leur environnement, mais les outils d'évaluation n'ont pas suivi le rythme. KinDER vient combler ce vide en offrant un terrain de jeu commun, entièrement open-source, qui permet enfin de comparer équitablement des approches aussi différentes que le reinforcement learning classique et les modèles de fondation multimodaux. À mesure que la robotique généraliste monte en puissance, ce type d'infrastructure d'évaluation deviendra un outil central pour orienter les investissements de recherche et repérer les vrais progrès.

Recherche❖Paper

1 source

42

4245arXiv cs.RO 

MotionBricks : mouvements temps réel évolutifs via modèle génératif latent modulaire et primitives intelligentes

Des chercheurs ont présenté MotionBricks, un nouveau cadre de génération de mouvements en temps réel capable de modéliser plus de 350 000 clips d'animation avec un seul modèle unifié. Publié sur arXiv, le système repose sur deux composants centraux : un backbone génératif modulaire à espace latent, conçu pour fonctionner sous contraintes de calcul sévères, et des "smart primitives", une interface unifiée permettant de contrôler navigation et interactions avec les objets. Les performances annoncées sont remarquables : 15 000 images par seconde à une latence de 2 millisecondes, sur des jeux de données open source et propriétaires de tailles variées. Le système a également été déployé sur le robot humanoïde Unitree G1, démontrant son applicabilité au contrôle robotique en temps réel. L'enjeu principal de MotionBricks est de combler le fossé persistant entre la recherche en synthèse de mouvement et les contraintes de production industrielle. Jusqu'ici, les méthodes génératives modernes, pourtant puissantes, se dégradaient fortement dès qu'elles devaient opérer en temps réel avec un large répertoire de compétences de mouvement. MotionBricks résout ce problème en permettant à des applications de se construire en mode "plug-and-play", comme assembler des briques, sans nécessiter de connaissances expertes en animation. Le contrôle multimodal fin, commandes de vitesse, sélection de style, keyframes précis, que les modèles existants pilotés par texte ou tags ne pouvaient pas offrir, devient ici accessible de manière intuitive. La synthèse de mouvements procédurale et les arbres d'animation traditionnels dominent encore les moteurs de jeux et la production 3D temps réel, faute d'alternatives génératives assez rapides et flexibles. Des projets comme Motion Diffusion Model ou MDM ont démontré la qualité des approches diffusion, mais butaient précisément sur les contraintes de latence. MotionBricks s'inscrit dans un courant plus large visant à rendre les modèles génératifs opérationnels en production, avec des implications directes pour l'industrie du jeu vidéo, les studios d'animation et la robotique humanoïde, un secteur en pleine accélération avec des acteurs comme Boston Dynamics, Figure AI ou Unitree.

Recherche❖Paper

1 source

42

4246arXiv cs.RO 

ProDrive : planification proactive pour la conduite autonome par co-évolution véhicule-environnement

Des chercheurs ont présenté ProDrive, un nouveau système de planification proactive pour la conduite autonome, dans un article soumis sur arXiv (référence 2604.25329). Contrairement aux approches classiques qui génèrent des trajectoires uniquement à partir de l'observation instantanée de l'environnement, ProDrive repose sur un modèle du monde entraîné conjointement avec le planificateur de trajectoires, dans une architecture bout-en-bout. Le système produit simultanément plusieurs trajectoires candidates et des représentations internes de l'ego du véhicule, que le modèle du monde utilise pour prédire l'évolution future de la scène de conduite en vue aérienne (bird's-eye view). Toutes les trajectoires candidates sont évaluées en parallèle, et le gradient circule dans les deux sens, ce qui permet au modèle du monde d'influencer directement la sélection de trajectoire. Sur le benchmark NAVSIM v1, ProDrive surpasse les meilleures solutions existantes en matière de sécurité et d'efficacité de planification. L'enjeu est majeur : les systèmes de conduite autonome actuels peinent à anticiper l'évolution dynamique de la route, ce qui entraîne des décisions myopes et des situations à risque. ProDrive rompt avec cette logique purement réactive en permettant au véhicule de simuler mentalement l'impact de ses décisions futures avant de les exécuter, un peu comme un conducteur expérimenté qui anticipe les mouvements des autres usagers. Ce couplage bidirectionnel entre planification et modélisation du monde représente une avancée architecturale significative pour l'industrie, qui cherche depuis plusieurs années à doter les véhicules autonomes d'une forme de raisonnement prospectif plutôt que d'une simple réaction aux stimuli immédiats. La conduite autonome de niveau 4 et 5 bute depuis longtemps sur le problème des situations rares et imprévisibles, où les systèmes réactifs échouent faute d'avoir pu anticiper. Les approches par modèles du monde, inspirées des travaux en IA générale et en robotique, gagnent du terrain dans la recherche, avec des acteurs comme Wayve, Tesla ou des équipes universitaires qui y investissent massivement. ProDrive s'inscrit dans cette tendance de fond, avec une contribution technique précise : l'injection des représentations du planificateur dans le modèle du monde pour créer une boucle de rétroaction différentiable. La prochaine étape sera de valider ces résultats sur des données réelles et dans des conditions de déploiement, au-delà du seul benchmark NAVSIM.

Robotique❖Paper

1 source

42

4247arXiv cs.RO 

DIAL : découpler intention et action par modélisation latente du monde pour les VLA de bout en bout

Des chercheurs ont publié DIAL (Decoupling Intent and Action via Latent World Modeling), un nouveau cadre d'apprentissage pour les modèles Vision-Langage-Action (VLA) dédiés à la robotique. Le principe repose sur une séparation explicite entre l'intention de haut niveau et l'exécution motrice, via un goulot d'étranglement d'intention latente différentiable. Un module System-2, basé sur un grand modèle de langage visuel (VLM), génère une représentation interne de ce que le robot devrait percevoir dans le futur, une prévision visuelle latente qui encode l'intention. Un module léger System-1 traduit ensuite cette intention en actions motrices précises grâce à une dynamique inverse latente. L'entraînement se déroule en deux phases: un échauffement découplé pour stabiliser chaque module séparément, puis une optimisation conjointe de bout en bout. Sur le benchmark RoboCasa GR1 Tabletop, DIAL établit un nouvel état de l'art en nécessitant dix fois moins de démonstrations que les méthodes concurrentes. Ce gain d'efficacité est décisif dans un domaine où la collecte de données de démonstration reste coûteuse et chronophage. Réduire d'un ordre de grandeur le nombre d'exemples nécessaires change l'équation économique du déploiement de robots autonomes en environnements industriels ou domestiques. DIAL démontre également une généralisation zero-shot robuste: lors de déploiements réels sur un robot humanoïde, le système parvient à manipuler des objets et des configurations jamais rencontrés à l'entraînement, sans données supplémentaires. Cette capacité de transfert constitue l'un des verrous les plus difficiles de la robotique moderne. Le développement des VLA s'est accéléré ces deux dernières années avec l'essor des grands modèles multimodaux. La plupart des approches existantes utilisent toutefois le VLM comme simple encodeur, le connectant directement à une couche d'action, ce qui dégrade ses représentations sémantiques et introduit une instabilité à l'entraînement. DIAL corrige cette limite structurelle en exploitant pleinement les capacités de raisonnement du VLM pour la planification, tout en préservant ses connaissances pré-entraînées grâce au découplage. L'approche s'inscrit dans une tendance plus large visant à doter les robots d'une capacité à planifier avant d'agir, et pourrait accélérer l'adoption de systèmes capables de s'adapter à de nouveaux environnements sans réentraînement coûteux.

Recherche❖Paper

1 source

42

4248arXiv cs.RO 

ReSim : une simulation fiable du monde réel pour la conduite autonome

Des chercheurs ont publié sur arXiv un nouveau modèle de simulation du monde pour la conduite autonome, baptisé ReSim, pour Reliable Simulation. L'approche repose sur un générateur vidéo à architecture de transformeur de diffusion, entraîné non plus uniquement sur des données de conduite réelle, mais sur un corpus mixte combinant des trajectoires humaines et des données synthétiques issues du simulateur CARLA. Le modèle est conçu pour prédire de manière fiable comment une scène de conduite va évoluer selon différentes actions du véhicule ego, y compris des comportements dangereux ou non experts, typiquement un freinage brutal, un écart de voie ou une manœuvre imprudente. Pour fermer la boucle entre simulation et apprentissage, les auteurs introduisent également un module Video2Reward capable d'estimer un signal de récompense directement à partir des futures simulées générées par ReSim. Les gains mesurés sont significatifs : ReSim affiche une fidélité visuelle supérieure de 44 %, améliore la contrôlabilité du modèle de plus de 50 % pour les comportements experts comme non experts, et progresse de 2 % en planification et de 25 % en sélection de politique sur le benchmark NAVSIM. Ce dernier point est particulièrement important pour l'industrie : pouvoir évaluer des politiques de conduite dans des scénarios rares ou risqués sans avoir à rouler physiquement avec ces comportements représente un levier majeur pour accélérer la validation des systèmes d'aide à la conduite et des véhicules autonomes. Le problème que ReSim cherche à résoudre est structurel dans le domaine : les modèles du monde entraînés exclusivement sur des données réelles sont biaisés vers la conduite sûre et experte, car c'est ce qui compose l'immense majorité des datasets. Les comportements anormaux, accidentels ou simplement maladroits y sont sous-représentés, ce qui rend ces modèles incapables de simuler fidèlement ce qui se passe quand un véhicule autonome dévie de la norme. En combinant données réelles et données synthétiques contrôlées, ReSim ouvre une voie vers des environnements d'évaluation plus robustes, une priorité pour des acteurs comme Waymo, Tesla ou Mobileye, qui cherchent à réduire leur dépendance aux miles de test sur route ouverte.

Recherche❖Paper

1 source

41

4249arXiv cs.RO 

GEGLU-Transformer pour l'estimation IMU vers EMG avec adaptation few-shot

Des chercheurs ont publié sur arXiv (référence 2604.25670) un système d'apprentissage automatique capable de reconstituer l'activité musculaire d'un individu à partir de simples capteurs de mouvement portables, sans recourir aux électrodes d'électromyographie traditionnelles. L'architecture proposée, baptisée GEGLU-Transformer, combine un encodeur de type Transformer avec des unités linéaires à porte d'erreur gaussienne (GEGLU) pour estimer en continu les enveloppes d'activation neuromusculaire des membres inférieurs. Testée selon un protocole strict dit "leave-one-subject-out" sur un jeu de données biomécanique multi-conditions, elle atteint une corrélation r = 0,706 sans aucune adaptation individuelle, puis r = 0,761 avec seulement 0,5 % des données spécifiques au sujet utilisées pour la personnalisation, soit une amélioration significative à partir d'un volume d'entraînement négligeable. Ces résultats ouvrent une voie concrète pour déployer des exosquelettes et des prothèses robotiques en dehors des laboratoires. L'électromyographie de surface, qui mesure l'activité électrique des muscles via des électrodes cutanées, est aujourd'hui indispensable au contrôle adaptatif de ces dispositifs, mais elle reste fragile : les signaux varient selon la transpiration, le placement des électrodes ou les caractéristiques physiologiques propres à chaque utilisateur. Remplacer ces capteurs par des centrales inertielles, accéléromètres et gyroscopes déjà intégrés dans la plupart des appareils portables grand public, permettrait de rendre ces systèmes nettement plus robustes, moins contraignants à calibrer et potentiellement accessibles à une population bien plus large de patients ou d'utilisateurs industriels. Le problème de la variabilité inter-individuelle est l'un des grands obstacles non résolus de la robotique neuromusculaire depuis plusieurs années. Les approches classiques nécessitaient des sessions de calibration longues et répétées pour chaque nouvel utilisateur, ce qui rendait leur usage clinique difficile à grande échelle. L'introduction d'architectures à base d'attention, popularisées par les grands modèles de langage, dans le domaine biomécanique reflète une tendance plus large à recycler des paradigmes issus du traitement du langage naturel vers des signaux physiologiques temporels. La capacité du modèle à se personnaliser rapidement avec très peu de données ouvre la perspective de dispositifs qui s'adaptent à leur porteur en quelques secondes, sans intervention d'un clinicien.

Recherche❖Paper

1 source

41

4250arXiv cs.RO 

Sélection de capteurs pour la cueillette de fruits par préhenseurs à ventouses

Des chercheurs ont développé et testé un système de capteurs multimodaux intégré dans un préhenseur à ventouse souple conçu pour la cueillette automatisée de pommes. Présenté dans une étude publiée sur arXiv (référence 2604.24906), le travail a été conduit directement dans un verger réel, ce qui lui confère une valeur pratique immédiate. L'objectif central est de détecter avec fiabilité si un fruit a été correctement saisi ou s'il risque de glisser, deux événements que les robots actuels peinent à distinguer. Les algorithmes testés, un Random Forest et un réseau de neurones multicouche (MLP), atteignent tous deux plus de 90 % de précision dans la classification de l'état de prise, et le Random Forest parvient à prédire un glissement ou un échec dans un délai de 0,09 seconde par rapport aux annotations humaines de référence. Ce résultat est significatif pour l'automatisation agricole, un secteur sous forte pression face au manque de main-d'œuvre saisonnière et aux coûts croissants de la récolte manuelle. Détecter un échec de préhension avant qu'il ne se produise permet d'éviter les chutes de fruits, les dommages mécaniques et les pertes de rendement. En identifiant précisément quels capteurs sont les plus utiles selon chaque phase de la prise, les auteurs ouvrent aussi la voie à des systèmes moins coûteux et plus robustes, en se limitant au nombre minimal de capteurs nécessaires plutôt qu'en multipliant les composants. La robotique agricole bute depuis des années sur la complexité des environnements de verger : occultations par le feuillage, variabilité des attaches de tiges, déformation des fruits sous pression. Les approches précédentes reposaient essentiellement sur la vision ou sur des fusions de capteurs non optimisées, sans tenir compte du fait que les besoins en information évoluent au fil des phases de la cueillette. Cette étude introduit une logique de sélection adaptée à chaque phase, une piste prometteuse pour rendre les robots agricoles à la fois plus précis et économiquement viables à grande échelle.

Robotique⚡Actu

1 source

41

4251arXiv cs.RO 

Améliorer la couverture sensorielle et la conformité des peaux artificielles imprimées en 3D grâce à des capteurs multimodaux et des matériaux souples

Des chercheurs ont développé une nouvelle génération de peaux artificielles imprimées en 3D capables de couvrir l'ensemble du corps d'un robot avec des capteurs tactiles et de proximité. Présentés dans une étude diffusée sur arXiv (arXiv:2504.25563), ces revêtements hybrides combinent deux modalités de détection : le temps de vol (ToF), qui mesure la distance par impulsions lumineuses, et la capacitance propre (SC), qui détecte le contact ou la pression via des variations électriques. Le système a été validé sur un bras robotique FR3, équipé de six unités de peau totalisant 40 éléments sensoriels répartis sur sa surface. Ce que cette recherche change concrètement, c'est la capacité des robots à percevoir leur environnement de manière fine et continue, sans dépendre d'une seule source d'information sensorielle. La combinaison ToF et SC permet simultanément de détecter les contacts, de reconstruire une scène spatiale et de mesurer la pression exercée sur le revêtement souple. Ce dernier point est particulièrement significatif : les matériaux souples utilisés absorbent les chocs et transmettent les variations de pression en signaux exploitables, là où les implémentations précédentes restaient cantonnées à des matériaux rigides et à un seul type de capteur. Pour les applications en robotique collaborative, où un bras mécanique partage l'espace de travail avec des humains, cette sensibilité multi-modale est un prérequis de sécurité. Jusqu'ici, les peaux artificielles pour robots se heurtaient à deux obstacles majeurs : la rigidité des matériaux, qui limite leur adhérence et leur confort sur des surfaces courbes, et l'absence de combinaison sensorielle, qui rendait la détection partielle. L'impression 3D offre une voie de fabrication scalable, c'est-à-dire adaptable à différentes morphologies robotiques sans recourir à des processus industriels coûteux. L'intégration d'une interface électrique simplifiée entre les traces conductrices imprimées et l'électronique externe représente également un progrès pratique. La prochaine étape logique sera d'étendre cette couverture à des robots entiers et de tester la robustesse du système dans des environnements industriels réels.

Robotique❧Opinion

1 source

40

4252arXiv cs.RO 

HANDFUL : manipulation dextre séquentielle conditionnée par la préhension et les ressources disponibles

Des chercheurs ont publié le 29 avril 2026 sur arXiv un article présentant HANDFUL, un nouveau cadre d'apprentissage pour la manipulation dextère séquentielle par des robots à main articulée. L'idée centrale est de permettre à un robot d'effectuer plusieurs actions successives sur des objets, par exemple saisir un objet puis le pousser, le tirer ou appuyer dessus, sans relâcher sa prise initiale. Pour cela, HANDFUL modélise l'usage des doigts comme une ressource limitée et entraîne le robot à adopter des prises "économes" qui réservent des doigts disponibles pour les tâches suivantes. L'approche repose sur des récompenses de contact au niveau de chaque doigt et un apprentissage par curriculum. Les chercheurs ont également créé HANDFUL-Bench, un benchmark de simulation dédié aux tâches de manipulation dextère séquentielle sous contrainte de prise partagée, couvrant trois types de sous-tâches : pousser, tirer et presser. Le système a été validé en simulation et sur un robot physique équipé d'une main LEAP. Ce travail ouvre la voie à des robots capables de manipulations multitâches complexes, là où la quasi-totalité des recherches antérieures se limitait à des tâches mono-objet et mono-action. En pratique, la capacité à planifier une prise en anticipant les actions futures améliore significativement le taux de réussite des sous-tâches secondaires, ainsi que la robustesse globale du robot, par rapport à une approche naïve qui optimise chaque prise sans tenir compte de la suite. Pour l'industrie, cela représente une avancée concrète vers des bras robotiques capables d'enchaîner des gestes dans des environnements non structurés, comme l'assemblage, la logistique ou l'assistance à domicile. La manipulation dextère reste l'un des défis les plus difficiles de la robotique : les mains à plusieurs doigts sont mécaniquement complexes et difficiles à contrôler par apprentissage par renforcement. La plupart des approches existantes cherchent à optimiser une seule tâche à la fois, ignorant les contraintes imposées par les actions ultérieures. HANDFUL s'inscrit dans une tendance émergente qui pousse les robots vers une planification holistique de leurs ressources motrices. Les prochaines étapes naturelles incluront l'extension à des chaînes de tâches plus longues et à des objets plus variés, ainsi que le transfert depuis la simulation vers des robots réels dans des conditions non contrôlées.

Robotique⚡Actu

1 source

40

4253arXiv cs.RO 

Modélisation dynamique par apprentissage automatique et contrôle robuste pour robots continus à tendons

Des chercheurs ont publié le 29 avril 2026 une nouvelle approche pour contrôler les robots continus à tendons (TDCRs), une catégorie de robots souples dont les mouvements sont pilotés par des câbles ou tendons internes. Ces systèmes sont particulièrement difficiles à modéliser en raison de non-linéarités complexes : hystérésis de friction, compliance de transmission et comportements dynamiques qui s'amplifient sur de longues séquences de mouvements. L'équipe propose un cadre d'apprentissage différentiable combinant un modèle de dynamique haute fidélité basé sur des réseaux GRU (Gated Recurrent Units) avec une politique de contrôle neuronal entraînée de bout en bout. Le modèle intègre une connectivité bidirectionnelle multi-canaux et une prédiction résiduelle pour supprimer l'accumulation d'erreurs lors des prédictions auto-régressives sur le long terme. Les expériences ont été menées sur un robot physique à trois sections, validant les performances en conditions réelles. Cette approche dépasse les méthodes classiques basées sur le jacobien, qui génèrent des oscillations auto-entretenues problématiques pour la précision et la stabilité. En traitant le modèle de dynamique comme un "pont de gradient", la politique de contrôle apprend implicitement à compenser les non-linéarités intrinsèques du robot sans qu'il soit nécessaire de les modéliser explicitement. Le résultat est un suivi de trajectoire précis et une robustesse supérieure face à des charges utiles inconnues, c'est-à-dire des poids non intégrés lors de l'entraînement, ce qui est critique pour les applications en environnements variables. Les robots continus à tendons suscitent un intérêt croissant en chirurgie mini-invasive, inspection industrielle et manipulation en espaces confinés, précisément parce que leur souplesse leur permet d'évoluer là où les bras rigides échouent. Le principal verrou restait leur contrôle fiable dans des conditions dynamiques réelles. Cette publication s'inscrit dans une tendance plus large d'intégration de l'apprentissage automatique dans la robotique physique, où les modèles appris remplacent progressivement les équations analytiques trop simplificatrices. Les prochaines étapes pourraient inclure la généralisation à des robots à plus de sections, l'adaptation en temps réel au vieillissement mécanique des tendons, et une intégration dans des systèmes chirurgicaux assistés.

Robotique❧Opinion

1 source

40

4254arXiv cs.RO 

Combler le fossé intérieur-extérieur : télémétrie multi-technologie pour la navigation de robots

Des chercheurs ont publié une étude préliminaire sur le positionnement des robots mobiles en transition entre espaces extérieurs et intérieurs, s'appuyant sur le jeu de données HYMN (pour "Hybrid Measurement Navigation"). Ce dataset compile des mesures brutes et synchronisées provenant de quatre technologies de localisation distinctes : le GNSS (GPS et systèmes satellites), l'Ultra-Wideband (UWB), le WiFi Fine Time Measurement (FTM) et le Bluetooth Low Energy (BLE). Toutes ces données sont confrontées à une vérité terrain précise au millimètre, collectées dans un environnement industriel réel. L'article, déposé sur arXiv sous la référence 2504.25541, est signé par une équipe qui rend le dataset librement accessible à la communauté. Le problème central est bien connu dans la robotique mobile : le GNSS fonctionne bien en extérieur mais devient inutilisable dès que le robot passe sous un toit, tandis que les technologies radio terrestres comme l'UWB ou le WiFi FTM opèrent efficacement en intérieur mais perdent leurs ancres de référence dès qu'on sort du bâtiment. Le point de transition, la porte, le couloir de chargement, le seuil d'entrepôt, est précisément la zone où les deux classes de technologies se dégradent simultanément. Les auteurs montrent que leurs comportements d'erreur sont complémentaires, ce qui ouvre la voie à une fusion au niveau des mesures brutes plutôt qu'au niveau des positions estimées, une approche bien plus robuste théoriquement mais quasi inexploitée jusqu'ici. Ce travail s'inscrit dans un contexte d'essor des robots logistiques et industriels qui doivent naviguer de façon autonome entre quais de chargement, cours extérieures et entrepôts, sans interruption de service ni recalibration manuelle. Les grandes plateformes d'automatisation d'entrepôts, qu'il s'agisse de solutions déployées par Amazon Robotics, Locus Robotics ou leurs concurrents européens, se heurtent toutes à ce problème de continuité de positionnement. En mettant le dataset HYMN à disposition, les auteurs visent à permettre à d'autres équipes de développer et comparer des algorithmes de fusion multi-technologies, un chantier encore largement ouvert malgré son importance opérationnelle croissante.

Robotique❧Opinion

1 source

40

4255arXiv cs.RO 

asRoBallet : réduire l'écart sim-réel grâce au renforcement intégrant la friction pour sphères sous-actionnées

Des chercheurs ont présenté asRoBallet, décrit comme le premier robot humanoïde ballbot à être piloté avec succès par apprentissage par renforcement (RL) sur un vrai matériel. Un ballbot est un robot qui s'équilibre sur une sphère, à l'instar d'un jongleur sur un ballon. L'article, déposé sur arXiv sous la référence 2604.24916, décrit comment l'équipe a développé une simulation haute fidélité sous MuJoCo pour modéliser avec précision la mécanique des roues omnidirectionnelles de type ETH, capturant notamment les vibrations parasites et les discontinuités de contact habituellement ignorées. Cette simulation alimenter un cadre nommé Friction-Aware Reinforcement Learning, qui maîtrise simultanément les frictions de roulement, latérale et torsionnelle aux interfaces roue-sphère et sphère-sol. Le robot a également été conçu à faible coût en réutilisant des composants d'un quadrupède existant, et un écosystème iOS a été développé pour permettre à un seul opérateur de le piloter via des mouvements naturels sur smartphone. L'enjeu central de ce travail est le fossé sim2real, ce gouffre notoire entre les comportements appris en simulation et les résultats obtenus sur le vrai matériel. Ici, le transfert est qualifié de zero-shot : le robot n'a besoin d'aucun recalibrage entre la simulation et le déploiement physique. C'est un résultat significatif, car les modèles de friction complexes ont historiquement rendu ce type de transfert très difficile pour les systèmes sous-actionnés. Pour l'industrie de la robotique humanoïde, cette démonstration ouvre la voie à des plateformes d'équilibrage dynamique plus agiles et plus économiques, sans passer par des méthodes de contrôle classiques lourdes à paramétrer. Les ballbots sont depuis longtemps un banc d'essai de référence pour le contrôle non-holonome et sous-actionné. Jusqu'ici, les approches dominantes restaient le LQR et le MPC, efficaces pour l'équilibrage 3D mais peu adaptés à des comportements expressifs ou à une généralisation robuste. La latence des actionneurs et les risques d'exploration non sécurisée sur le matériel réel avaient freiné l'adoption du RL dans ce domaine. En levant ces obstacles via une modélisation fine du contact et une interface de contrôle intuitive, asRoBallet pose les bases d'une nouvelle génération de robots humanoïdes capables de mouvements complexes appris entièrement en simulation.

Robotique❧Opinion

1 source

39

4256arXiv cs.RO 

Robots à tendons avec colonne vertébrale polymère flexible conique : conception, fabrication et modélisation

Des chercheurs ont présenté une nouvelle génération de robots continus à actionnement par tendons, fabriqués par impression 3D à partir de polyuréthane thermoplastique (TPU), un matériau souple et économique. La caractéristique centrale du design est son architecture conique, c'est-à-dire que la colonne vertébrale flexible du robot s'affine progressivement de la base vers l'extrémité, ce qui lui confère une souplesse accrue à la pointe et une rigidité maintenue à la base. Le système intègre une électronique embarquée permettant de contrôler et de mesurer en temps réel la tension des tendons grâce à des actionneurs et des cellules de charge. Les chercheurs ont validé leur modèle de simulation face à des données de capture de mouvement réelle, atteignant une précision de prédiction de forme à l'échelle du centimètre. En démonstration finale, le robot a réussi des tâches de préhension téléopérée en utilisant une pince endoscopique montée sur un bras robotique à 6 degrés de liberté. L'intérêt de ce travail réside dans la combinaison rare entre performance mécanique et accessibilité. La plupart des robots continus existants sont conçus pour un usage unique, coûteux à produire et difficiles à modifier. Ici, le design paramétrique permet d'adapter rapidement la géométrie via des scripts CAD fournis en accès libre, ce qui ouvre la voie à des applications dans l'inspection industrielle, la chirurgie mini-invasive ou la manipulation en environnement contraint, sans nécessiter de moyens de fabrication industriels. La conformation conique améliore notamment la manipulabilité distale, c'est-à-dire la capacité du robot à atteindre des angles et des configurations variées en bout de bras, un paramètre clé pour les tâches en espace confiné. Les robots continus, inspirés de la biologie des tentacules et des trompes, font l'objet d'une attention croissante dans la robotique médicale et industrielle depuis une décennie. Leur principal verrou technologique reste la modélisation précise de leur comportement mécanique, particulièrement complexe car ils déforment tout leur corps plutôt qu'un seul joint articulé. Les auteurs s'appuient sur la théorie des tiges de Cosserat, un formalisme mathématique reconnu, qu'ils étendent ici pour intégrer la variation géométrique longitudinale de la section transversale. La diffusion des scripts de génération paramétrique et l'utilisation exclusive d'imprimantes FDM grand public positionnent cette approche comme une base reproductible pour d'autres équipes souhaitant explorer la robotique souple sans infrastructure lourde.

Robotique❧Opinion

1 source

39

4257arXiv cs.RO 

SAMe : un moteur de cartographie anatomique sémantique pour l'échographie robotique

Des chercheurs ont présenté SAMe, un moteur de cartographie anatomique sémantique conçu pour automatiser l'initialisation des examens d'échographie robotique. Publié sur arXiv (référence 2604.25646), ce système résout l'un des verrous majeurs de l'échographie autonome : savoir quoi scanner, où commencer et comment s'adapter à l'anatomie propre de chaque patient. Concrètement, SAMe fonctionne en trois étapes : il traduit une plainte clinique vague en organe cible précis, génère une représentation anatomique personnalisée à partir d'une simple photo externe du corps, puis calcule automatiquement la position et l'orientation de la sonde en six degrés de liberté, sans recours à une imagerie préopératoire IRM ou scanner. Lors des tests sur robot réel, SAMe a atteint un taux de localisation correcte de 97,3 % pour le foie et de 81,7 % pour le rein, surpassant dans les deux cas la méthode de référence basée sur des heuristiques de surface. Ces résultats représentent une avancée décisive pour rendre l'échographie robotique véritablement autonome. Jusqu'ici, même les systèmes les plus sophistiqués dépendaient d'un expert humain pour initialiser le scan, c'est-à-dire positionner correctement la sonde en début d'examen. SAMe supprime cette dépendance en intégrant une couche de compréhension anatomique explicite directement dans la boucle de contrôle du robot. Le moteur est également très léger : l'inférence pour un organe prend seulement 0,08 seconde, ce qui le rend compatible avec des systèmes embarqués et des contextes cliniques temps réel. L'échographie robotique se développe dans un contexte de tension croissante entre la demande mondiale d'imagerie médicale et la pénurie de spécialistes qualifiés, notamment dans les zones sous-dotées. Les systèmes existants avaient progressé sur le contrôle local de l'image et la régulation du contact avec la peau, mais butaient sur cette étape d'initialisation. SAMe s'inscrit dans une ambition plus large : des pipelines d'échographie autonome pilotés par la plainte du patient, sans intervention spécialisée à chaque étape. La prochaine étape attendue sera l'intégration de cette couche anatomique avec les modules de navigation et d'interprétation d'image pour former un système d'échographie entièrement autonome de bout en bout.

Robotique❧Opinion

1 source

39

4258arXiv cs.RO 

GS-Playground : un simulateur photoréaliste haute cadence pour l'apprentissage robotique par vision

Des chercheurs ont publié sur arXiv un article présentant GS-Playground, un simulateur haute performance conçu pour entraîner des robots à partir de données visuelles. Le système repose sur une combinaison inédite : un moteur physique parallèle développé spécifiquement pour fonctionner avec le rendu 3D Gaussian Splatting (3DGS), une technique de reconstruction visuelle photorréaliste. Le résultat est un débit de 10 000 images par seconde à une résolution de 640x480 pixels, ce qui représente une rupture significative par rapport aux simulateurs existants. GS-Playground intègre également un pipeline automatisé baptisé Real2Sim, capable de reconstruire des environnements simulés fidèles à la réalité physique à partir de scènes du monde réel, sans modélisation manuelle fastidieuse. L'enjeu est majeur pour la robotique et l'IA incarnée : entraîner un robot à agir dans le monde réel requiert des millions de simulations, mais les simulateurs visuellement réalistes sont jusqu'ici trop lents pour fonctionner à grande échelle. GS-Playground réduit drastiquement ce goulot d'étranglement computationnel, rendant possible l'apprentissage par renforcement visuel à grande échelle. Les expériences présentées couvrent trois catégories de tâches : la locomotion, la navigation et la manipulation d'objets au contact, trois domaines où la précision visuelle est déterminante pour transférer les comportements appris en simulation vers des robots réels. Le problème du "sim-to-real gap", c'est-à-dire l'écart entre ce qu'un robot apprend en simulation et ce qu'il peut réellement faire dans le monde physique, est l'un des verrous centraux de la robotique moderne. Les simulateurs massivement parallèles comme Isaac Gym d'NVIDIA ont déjà transformé l'apprentissage moteur basé sur la proprioception, mais ils restent aveugles sur le plan visuel. GS-Playground s'attaque à cette limite en combinant physique et rendu réaliste dans un seul pipeline cohérent. Si les résultats se confirment hors du cadre académique, ce type d'infrastructure pourrait accélérer sensiblement le développement de robots capables d'opérer dans des environnements non structurés.

Robotique❧Opinion

1 source

38

4259arXiv cs.RO 

RISE : politique robotique auto-améliorante avec modèle du monde compositionnel

Des chercheurs ont présenté RISE, un framework d'apprentissage par renforcement pour robots qui s'améliore sans interaction physique coûteuse. Publié sur arXiv (2602.11075), le système repose sur un modèle du monde compositional constitué de deux blocs distincts : un modèle de dynamique contrôlable qui prédit l'évolution visuelle de la scène depuis plusieurs angles de caméra, et un modèle d'évaluation de la progression qui note les résultats imaginés. Ces deux composants alimentent une boucle fermée dans laquelle le robot simule des séquences d'actions en imagination, estime leur qualité, puis met à jour sa politique sans jamais bouger un seul moteur. Testé sur trois tâches réelles, RISE obtient des gains spectaculaires : +35 % en tri dynamique de briques, +45 % pour emballer un sac à dos, et +35 % pour fermer une boîte. Ce résultat compte car il s'attaque à un problème fondamental de la robotique moderne : les modèles Vision-Language-Action, malgré des capacités croissantes, restent fragiles dès qu'une manipulation implique des contacts physiques ou une dynamique rapide. La moindre déviation d'exécution peut déclencher une cascade d'échecs. L'apprentissage par renforcement classique permettrait théoriquement de rendre les robots plus robustes, mais il exige des milliers d'essais sur du matériel réel, avec des risques de casse et des procédures de remise en état longues et onéreuses. RISE contourne cette contrainte en déplaçant l'essentiel de l'apprentissage dans un espace imaginaire, rendant l'amélioration continue à la fois sûre et scalable. La robotique de manipulation est aujourd'hui dominée par l'imitation, on montre au robot des démonstrations humaines, et il reproduit. Cette approche atteint ses limites dans des environnements non contrôlés, où les objets bougent et les conditions varient. Le mouvement vers des modèles du monde capables de simuler des conséquences futures s'inscrit dans une tendance plus large, partagée avec les travaux sur les world models en jeux vidéo et en conduite autonome. RISE représente une étape concrète vers des robots capables d'auto-amélioration continue, sans dépendre d'un accès permanent à des environnements physiques instrumentés.

Robotique❖Paper

1 source

38

4260arXiv cs.RO 

Libra-VLA : un double système asynchrone pour équilibrer l'apprentissage du global au précis

Des chercheurs ont présenté Libra-VLA, une nouvelle architecture de modèle robotique de type Vision-Langage-Action (VLA) capable de traduire des instructions en langage naturel en mouvements physiques précis. Publiée sur arXiv (référence 2604.24921), l'étude propose une rupture avec les approches dominantes qui mappent directement les commandes linguistiques vers des signaux moteurs à haute fréquence dans une logique plate et non hiérarchisée. Libra-VLA introduit à la place un système à deux niveaux : un Planificateur Sémantique qui prédit des tokens d'action discrets capturant l'intention directionnelle générale, et un Raffineur d'Action qui s'appuie sur cette intention grossière pour générer des mouvements continus à haute fréquence permettant un alignement de précision. Les deux modules s'exécutent de manière asynchrone, chacun opérant à son propre rythme. Ce découplage hiérarchique répond à un problème fondamental des robots manipulateurs actuels : le fossé entre la sémantique de haut niveau et l'actuation motrice. En forçant un seul modèle à simultanément interpréter une instruction comme "saisir l'objet rouge" et générer des milliers de commandes moteur par seconde, les architectures monolithiques imposent une charge représentationnelle excessive. Libra-VLA allège cette charge en la répartissant intelligemment entre deux sous-systèmes spécialisés, rendant l'entraînement plus stable et plus efficace. L'approche s'avère également plus résiliente et plus réactive dans des scénarios de manipulation en monde ouvert, là où les imprévus sont nombreux. L'analyse empirique centrale de l'équipe révèle un résultat surprenant : les performances suivent une courbe en U inversé selon la granularité de la décomposition des actions, avec un pic exactement lorsque la difficulté d'apprentissage est équilibrée entre les deux sous-systèmes. Ce concept d'"équilibre d'apprentissage" ouvre une nouvelle direction de recherche pour calibrer les architectures VLA. Le domaine de la robotique généraliste est en pleine effervescence, porté par des travaux récents de Google, Physical Intelligence et Figure AI. Libra-VLA s'inscrit dans cette course à des modèles capables de manipuler des objets variés dans des environnements non contrôlés, une condition sine qua non pour des robots véritablement utiles hors des laboratoires.

Robotique❧Opinion

1 source