Actualités IA — page 219

7 629 articles au fil, du plus récent au plus ancien.

43

4361arXiv cs.RO 

HeiSD : décodage spéculatif hybride pour modèles vision-langage-action incarnés avec prise en compte de la cinématique

Des chercheurs ont publié HeiSD, un nouveau cadre d'accélération pour les modèles Vision-Langage-Action (VLA) utilisés en robotique, présenté dans un article arXiv (2603.17573). Les modèles VLA sont devenus la solution dominante pour le contrôle de robots : ils combinent vision, compréhension du langage naturel et génération d'actions motrices. Leur principal talon d'Achille reste une vitesse d'inférence trop lente pour de nombreuses applications temps réel. HeiSD s'appuie sur une approche hybride du décodage spéculatif, une technique qui anticipe les tokens suivants pour accélérer la génération, en fusionnant deux familles de méthodes complémentaires : le décodage basé sur un modèle brouillon et le décodage par récupération en mémoire. Les résultats annoncés atteignent un facteur d'accélération de 2,45x sur des benchmarks en simulation, et de 2,06x à 2,41x dans des scénarios réels, tout en maintenant un taux de succès élevé sur les tâches testées. Cet gain de vitesse est significatif pour l'industrie de la robotique, où la latence entre la perception et l'action conditionne directement la sécurité et l'utilisabilité des robots. Un robot qui doit attendre plusieurs secondes entre chaque décision est inutilisable dans un entrepôt logistique ou une salle d'opération. En doublant approximativement la vitesse d'inférence sans dégrader les performances, HeiSD rapproche les VLA d'un déploiement industriel viable, sans nécessiter de matériel supplémentaire ni de réentraînement des modèles sous-jacents. Le décodage spéculatif est une piste de recherche active depuis l'explosion des grands modèles de langage, mais son application aux modèles robotiques posait des défis spécifiques : les erreurs en cascade lors du rejet de tokens et la difficulté à calibrer automatiquement la frontière entre les deux stratégies hybrides. HeiSD résout ces problèmes via un mécanisme de vérification sélective, une stratégie d'acceptation assouplie au niveau des séquences, et une métrique de fusion basée sur la cinématique du robot pour piloter automatiquement le découpage hybride. Ce travail s'inscrit dans une course plus large à l'efficacité des VLA, où des acteurs comme Google DeepMind (RT-2) et Physical Intelligence cherchent eux aussi à rendre ces modèles suffisamment rapides pour un usage en production.

Recherche⚡Actu

1 source

43

4362MIT News Robotics 

Des blocs de construction assemblés par robots pour une construction plus efficace et durable

Des chercheurs du MIT ont développé un système de construction basé sur des blocs modulaires tridimensionnels, appelés "voxels", assemblés par des robots sur site. L'étude, publiée dans la revue Automation in Construction, a été menée par Miana Smith, doctorante au Center for Bits and Atoms (CBA) du MIT, en collaboration avec Paul Richard de l'École Polytechnique Fédérale de Lausanne, Alfonso Parra Rubio et Neil Gershenfeld, professeur au MIT et directeur du CBA. L'équipe a d'abord évalué huit designs de voxels existants, puis conçu trois nouveaux modèles basés sur une géométrie en treillis octet, capable de s'auto-aligner mécaniquement pour former des structures rigides sans nécessiter de nombreux connecteurs. Pour automatiser l'assemblage, les chercheurs ont développé les MILAbots, des robots qui se déplacent comme des chenilles sur la structure en cours de construction, en ancrant et étendant leur corps, et qui placent les voxels en place à l'aide de pinces avant de les verrouiller par emboîtement. Les résultats préliminaires sont saisissants sur le plan environnemental : ce système pourrait réduire le carbone incorporé, c'est-à-dire l'ensemble des émissions liées au cycle de vie des matériaux, de jusqu'à 82 % par rapport aux techniques courantes comme l'impression 3D en béton, le béton préfabriqué modulaire ou la charpente métallique. Le système serait également compétitif en termes de coût et de délais de construction. Le choix des matériaux utilisés pour fabriquer les voxels joue cependant un rôle déterminant dans leur bilan carbone et leur prix. Si ces chiffres se confirment à plus grande échelle, ce type d'approche pourrait transformer radicalement la manière dont on construit des bâtiments, un secteur qui représente aujourd'hui environ 40 % des émissions mondiales de CO2. Le CBA développe les voxels depuis plusieurs années, jusqu'ici appliqués à des domaines à haute performance comme l'aéronautique et le spatial, en partenariat avec la NASA, Airbus et Boeing, notamment pour des ailes d'avion, des pales d'éoliennes et des structures spatiales. L'idée centrale est d'importer dans la construction la rigueur d'ingénierie de l'industrie aéronautique. "Pourquoi ne pas construire des bâtiments aussi efficacement qu'on construit des avions ?" résume Neil Gershenfeld. Des questions essentielles restent encore à résoudre avant un déploiement à grande échelle : la robustesse à long terme, la résistance au feu, et la montée en puissance du système de robotique. Mais selon les chercheurs, ces premiers résultats valident la faisabilité de la fabrication numérique appliquée au bâtiment, un champ qui pourrait devenir central dans la course mondiale à la décarbonation de la construction.

Robotique⚡Actu

1 source

42

4363arXiv cs.RO 

Annotation d'images efficace par segmentation semi-supervisée avec propagation de labels

Des chercheurs ont publié une méthode semi-supervisée d'annotation d'images baptisée "label propagation", conçue pour accélérer l'entraînement des robots de service domestiques. Présentée dans un article arXiv (2604.22992), l'approche combine un générateur de masques agnostique aux classes avec un ensemble de réseaux de Hopfield qui attribuent automatiquement des étiquettes en exploitant trois espaces d'embeddings issus de modèles de fondation : CLIP, ViT et Theia. Le système passe à l'échelle jusqu'à 50 classes d'objets différents tout en maintenant un effort d'annotation humaine minimal, et parvient à étiqueter automatiquement 60 % des données dans le cadre de la compétition RoboCup@Home. Le code et les jeux de données sont disponibles publiquement sur GitHub (ais-bonn/label\_propagation). Cette avancée s'attaque directement à l'un des goulets d'étranglement les plus coûteux du développement robotique : l'annotation manuelle des données d'entraînement. Dans des contextes comme RoboCup@Home, où les équipes disposent d'un temps de préparation très limité avant les épreuves, automatiser 60 % du travail d'étiquetage représente un gain opérationnel considérable. Les détecteurs à vocabulaire ouvert actuels peinent à généraliser au-delà de quelques catégories, et l'entraînement entièrement supervisé reste chronophage et difficile à déployer rapidement sur de nouveaux environnements domestiques. La robotique de service grand public bute depuis des années sur la diversité et l'imprévisibilité des objets du quotidien. Les approches classiques nécessitent des milliers d'annotations humaines pour chaque nouvelle catégorie d'objet, ce qui freine le déploiement dans des foyers réels aux configurations variées. En s'appuyant sur des modèles de fondation pré-entraînés comme CLIP pour enrichir les représentations sémantiques, cette méthode contourne partiellement ce problème en propageant les étiquettes connues vers des exemples visuellement similaires non annotés. Les compétitions comme RoboCup@Home servent de bancs d'essai réalistes pour ces techniques, et la publication ouverte du code pourrait faciliter leur adoption par d'autres équipes de recherche en robotique domestique.

Recherche❖Paper

1 source

42

4364arXiv cs.RO 

GenAssets : génération d'assets 3D en espace latent

Des chercheurs ont présenté GenAssets, une nouvelle méthode de génération d'objets 3D destinés aux simulateurs de conduite autonome, décrite dans un article arXiv publié fin avril 2026. Le système repose sur un modèle de diffusion latente 3D capable d'apprendre directement depuis des données LiDAR et caméra collectées en conditions réelles, pour ensuite générer des véhicules et piétons en trois dimensions avec une géométrie et une apparence complètes. L'approche dite "reconstruire-puis-générer" fonctionne en deux temps : elle commence par exploiter un rendu neural conscient des occlusions, entraîné sur plusieurs scènes, pour construire un espace latent de haute qualité représentant les objets observés ; un modèle de diffusion opère ensuite sur cet espace pour produire des assets variés et réalistes. Les auteurs affirment que GenAssets surpasse les méthodes existantes de reconstruction et de génération sur des benchmarks standardisés. La simulation multi-capteurs est au cœur du développement sûr des systèmes de conduite autonome : sans assets 3D diversifiés et réalistes, il est impossible de tester les véhicules dans des situations rares ou dangereuses à reproduire dans la réalité. Le problème central que GenAssets résout est celui des données en conditions sauvages ("in-the-wild"), où les acteurs de la scène, autres voitures, cyclistes, piétons, sont souvent capturés sous des angles limités et partiellement masqués par d'autres objets. Les méthodes classiques de reconstruction par rendu neural échouent à produire des assets utilisables depuis des points de vue différents de l'observation d'origine, ce qui restreint fortement leur utilité en simulation. GenAssets débloque une création de contenu scalable et diverse, directement exploitable pour entraîner et valider des systèmes d'autonomie. La génération d'environnements synthétiques de haute fidélité est un enjeu stratégique pour des acteurs comme Waymo, Tesla, Cruise ou Mobileye, qui dépendent de milliards de kilomètres simulés pour compenser le coût prohibitif des tests réels. Les approches par diffusion ont connu une montée en puissance spectaculaire depuis 2022, mais leur application aux scènes de conduite réelles restait freinée par la rareté et la partialité des observations terrain. GenAssets ouvre une voie vers des pipelines entièrement automatisés de création d'assets, alimentés directement par les données collectées par les flottes de véhicules, ce qui pourrait significativement accélérer les cycles de développement et d'homologation des systèmes autonomes.

Recherche❖Paper

1 source

42

4365arXiv cs.RO 

EgoDyn-Bench : évaluation de la compréhension du mouvement ego-centré dans les modèles de vision pour la conduite autonome

Des chercheurs ont publié EgoDyn-Bench, un nouveau banc d'essai conçu pour mesurer la compréhension du mouvement propre du véhicule, appelé ego-motion, par les modèles de fondation en conduite autonome. L'étude, soumise sur arXiv fin avril 2026, s'appuie sur une évaluation empirique à grande échelle couvrant plus de 20 modèles : des systèmes propriétaires comme les grands modèles multimodaux en boîte noire, des modèles open-source de tailles variées, et des agents d'action-langage spécialisés dans la conduite. Le protocole utilise un oracle déterministe pour convertir les données cinématiques continues du véhicule en concepts de mouvement discrets, permettant de dissocier la logique physique interne du modèle de sa perception visuelle brute. Le résultat central est frappant : les auteurs identifient ce qu'ils appellent un « goulot d'étranglement perceptif ». Si les modèles testés démontrent une certaine capacité à raisonner sur les concepts physiques de base, ils échouent systématiquement à les ancrer dans les observations visuelles réelles. Pire, ces systèmes sont régulièrement surpassés par des méthodes géométriques classiques non apprises, pourtant bien plus simples. Cette défaillance persiste quelle que soit la taille du modèle et même après un entraînement spécialisé sur des données de conduite, ce qui pointe vers un déficit structurel dans la façon dont les architectures actuelles couplent vision et raisonnement physique. L'analyse révèle une dissociation fonctionnelle préoccupante entre vision et langage : la logique d'ego-motion est dérivée presque exclusivement du canal linguistique, tandis que les observations visuelles n'apportent qu'un signal négligeable. Lorsque les chercheurs fournissent explicitement des encodages de trajectoire aux modèles, la cohérence physique se rétablit significativement, confirmant que le problème n'est pas une absence de connaissance physique, mais une incapacité à la connecter au flux visuel. Ce constat soulève des questions sérieuses pour l'industrie de la conduite autonome, où des acteurs comme Waymo, Tesla ou Mobileye investissent massivement dans des approches fondées sur ces mêmes modèles. EgoDyn-Bench propose un cadre de diagnostic standardisé et une piste concrète vers des systèmes d'IA incarnée physiquement cohérents.

Recherche❖Paper

1 source

42

4366arXiv cs.RO 

OpenPodcar2 : un véhicule ROS2 robuste pour la recherche en conduite autonome

Une équipe de chercheurs vient de publier les spécifications complètes d'OpenPodcar2, une plateforme de véhicule autonome open source construite à partir d'un scooter de mobilité électrique du commerce, équipé d'un toit rigide. Ce projet, qui fait suite à une première version baptisée OpenPodcar, intègre désormais une électronique renforcée et une interface complète avec ROS2, le système d'exploitation robotique de référence. La plateforme repose sur trois composants principaux : des instructions de montage détaillées accompagnées d'une liste complète de matériaux, une intégration avec la carte mécatronique généraliste OSH R4 ainsi qu'un environnement de simulation Gazebo, et enfin des implémentations logicielles de haut niveau incluant la pile nav2, qui assure la cartographie autonome (SLAM) et le pilotage du véhicule entre deux positions en évitant les obstacles. Le coût total de construction est estimé à environ 7 000 dollars avec des composants neufs, ou 2 000 dollars en réutilisant un scooter d'occasion. Le véhicule peut transporter un passager humain ou une charge équivalente à une vitesse maximale de 15 km/h. L'intérêt d'OpenPodcar2 réside dans l'équilibre qu'il propose entre utilité réelle, sécurité, coût et robustesse, un compromis rarement atteint dans ce domaine. Concrètement, le véhicule est suffisamment compact pour être garé dans un laboratoire de recherche standard, tout en étant assez solide pour envisager des cas de déploiement réels, comme un service de taxi autonome dit "dernier kilomètre" ou le transport de conteneurs de livraison dans des centres-villes. Cela ouvre des perspectives directes pour les chercheurs qui cherchent à tester des algorithmes de navigation sur un vrai véhicule sans investir des centaines de milliers de dollars. Le projet s'inscrit dans une tendance plus large de démocratisation des plateformes de recherche en véhicules autonomes. La montée en puissance de ROS2 comme standard dans la robotique mobile a rendu possible des intégrations logicielles plus stables et interopérables qu'avec la génération précédente. En abaissant drastiquement le seuil d'accès matériel et logiciel, OpenPodcar2 pourrait permettre à des laboratoires universitaires disposant de budgets limités de mener des travaux qui étaient jusqu'ici réservés à des acteurs industriels ou à de grands centres de recherche. La publication complète des plans et du code source favorise également la reproductibilité scientifique et la collaboration communautaire autour de ces systèmes.

Robotique⚡Actu

1 source

42

4367arXiv cs.RO 

SMP : a priori de mouvement réutilisables par score-matching pour le contrôle de personnages physiques

Des chercheurs ont publié sur arXiv une méthode appelée SMP (Score-Matching Motion Priors), conçue pour rendre les personnages virtuels animés par simulation physique capables de mouvements naturels, sans avoir à tout réentraîner à chaque nouveau projet. La technique repose sur des modèles de diffusion de mouvement pré-entraînés combinés à une technique baptisée score distillation sampling (SDS), empruntée au domaine de la génération 3D à partir de texte. Le principe : entraîner une fois un prior de mouvement sur un grand corpus de données de capture de mouvement, puis le geler et le réutiliser comme fonction de récompense universelle pour entraîner n'importe quelle nouvelle politique de contrôle sur des tâches variées. L'enjeu est considérable pour les studios de jeux vidéo, les équipes de simulation robotique et les développeurs d'avatars en réalité virtuelle. Jusqu'ici, la méthode dominante reposait sur l'apprentissage par imitation adversariale, efficace mais contraignante : chaque nouveau contrôleur nécessitait un réentraînement complet du prior, et les données de référence devaient être conservées à chaque étape. SMP rompt avec cette logique en proposant un prior généraliste, modulable et composable. Les auteurs montrent qu'un seul modèle entraîné sur de larges datasets peut être redirigé vers des styles de mouvement spécifiques, et que plusieurs styles peuvent être composés pour en synthétiser de nouveaux, absents du dataset original. Cette avancée s'inscrit dans une tendance plus large d'adaptation des modèles de diffusion, popularisés en génération d'images, à d'autres modalités comme le mouvement corporel. Les méthodes adversariales, issues des GANs, ont longtemps dominé la synthèse de mouvements réalistes pour personnages humanoïdes simulés physiquement, mais leur manque de réutilisabilité freinait leur déploiement à grande échelle dans des pipelines de production. SMP propose une alternative modulaire qui pourrait simplifier le développement de personnages animés dans les moteurs physiques, sans sacrifier la qualité visuelle. Les résultats présentés sur une suite diversifiée de tâches de contrôle montrent des performances comparables aux meilleures méthodes adversariales actuelles.

Recherche❖Paper

1 source

42

4368arXiv cs.RO 

Flow Matching indépendant du temps pour un contrôle robotique génératif, adaptatif et robuste

Des chercheurs ont publié GeCO (Generative Control as Optimization), un nouveau cadre d'apprentissage par imitation pour robots, présenté dans un article soumis à arXiv (arXiv:2603.17834). Là où les systèmes actuels basés sur la diffusion ou le flow matching consacrent un budget de calcul fixe à chaque mouvement, quelle qu'en soit la complexité, GeCO fonctionne différemment : il transforme la génération d'actions en un processus d'optimisation itérative. Concrètement, le modèle apprend un champ de vitesse stationnaire dans lequel les comportements experts forment des attracteurs stables, ce qui permet à l'inférence de s'arrêter dès convergence plutôt qu'après un nombre prédéterminé d'étapes. Le système s'intègre comme remplacement direct des têtes de flow matching existantes, notamment dans les modèles pi0-series de type Vision-Language-Action (VLA), sans nécessiter de réentraînement de l'architecture complète. L'impact principal est double. D'un côté, GeCO alloue automatiquement plus de calcul aux situations difficiles et s'arrête plus tôt pour les mouvements simples, ce qui améliore à la fois l'efficacité et le taux de succès sur les benchmarks de simulation standards. De l'autre, la géométrie stationnaire du champ de vitesse fournit un signal de sécurité natif et sans entraînement supplémentaire : la norme du champ au point d'action optimisé reste faible pour les situations connues, et augmente significativement en présence d'anomalies ou de situations hors distribution. C'est un détecteur d'OOD (out-of-distribution) gratuit, ce qui est rare dans ce type de systèmes. La robotique apprenante est aujourd'hui dominée par les politiques diffusion et flow matching, héritées des générateurs d'images, avec leur cortège d'étapes d'intégration fixes. Le problème de la détection de situations inconnues est un verrou majeur pour le déploiement sûr de robots en environnement réel. GeCO attaque les deux limites simultanément depuis un angle géométrique plutôt que supervisé, ce qui le distingue des approches concurrentes. Les prochaines étapes naturelles seront la validation sur matériel physique et l'intégration dans des pipelines de manipulation industrielle, domaines où l'adaptabilité computationnelle et la robustesse aux anomalies ont une valeur opérationnelle directe.

Robotique❖Paper

1 source

42

4369arXiv cs.RO 

Algorithme de beam search efficace pour la perception active en robotique mobile

Des chercheurs ont publié sur arXiv un algorithme de recherche en faisceau conçu pour améliorer la perception active dans les robots mobiles autonomes. L'article, référencé arXiv:2604.23327, présente trois contributions principales : un algorithme de recherche en faisceau par nœud (NBS, pour Node-wise Beam Search), une nouvelle métrique appelée "gain espéré", et une méthode de construction de graphe baptisée RRAG (Rapidly-exploring Random Annulus Graph). Lors de benchmarks extensifs, la combinaison NBS et RRAG surpasse les algorithmes de l'état de l'art d'au moins 20 % sur une ou plusieurs des trois tâches de perception active testées. L'approche a également été validée sur des plateformes robotiques réelles dans différents scénarios. La perception active est un problème central en robotique autonome : le robot doit décider où se déplacer et quoi observer pour collecter les informations les plus utiles à sa mission. Les méthodes actuelles se heurtent à un dilemme : soit elles résolvent un problème de voyageur de commerce coûteux en calcul, soit elles adoptent une formulation plus rapide mais trop contrainte. Le nouvel algorithme NBS contourne ce compromis en conservant les B meilleurs candidats par nœud plutôt que globalement, ce qui réduit la sensibilité aux optima locaux et améliore l'exploration de l'espace de solutions sans exploser le coût computationnel. La robotique autonome souffre depuis longtemps d'un fossé entre les méthodes théoriquement optimales, trop lentes pour opérer en temps réel, et les heuristiques rapides mais peu fiables dans des environnements encombrés. En introduisant le concept de frontières dans le critère de sélection de chemin via la métrique de gain espéré, les auteurs offrent un meilleur équilibre entre exploration et exploitation, deux impératifs souvent antagonistes dans la navigation autonome. Le RRAG, quant à lui, garantit la connectivité du graphe même dans les espaces complexes grâce à un planificateur local de repli. Ces travaux ouvrent la voie à des robots de livraison, d'inspection industrielle ou de cartographie capables de planifier leurs trajectoires de manière plus autonome et robuste.

Recherche❧Opinion

1 source

42

4370arXiv cs.RO 

AsyncShield : un adaptateur edge prêt à l'emploi pour la navigation VLA asynchrone dans le cloud

Des chercheurs ont présenté AsyncShield, un module de contrôle conçu pour corriger les problèmes de latence qui affectent les robots mobiles pilotés par des modèles de vision-langage-action (VLA) hébergés dans le cloud. Ces modèles, capables de généraliser sans entraînement préalable sur de nouvelles tâches, sont devenus une référence en robotique, mais leur taille massive, plusieurs dizaines de milliards de paramètres, impose leur déploiement à distance. AsyncShield s'intercale entre le cloud et le robot comme un adaptateur léger, sans modifier le modèle fondamental, et corrige en temps réel le décalage entre les instructions reçues et la position réelle du robot au moment de leur exécution. Le problème résolu est concret et critique : quand un robot mobile reçoit une instruction générée plusieurs centaines de millisecondes plus tôt, sa position a changé. L'intention du modèle, tourner à gauche, avancer de 50 cm, est exprimée dans un référentiel spatial désormais obsolète, ce qui peut provoquer des collisions. AsyncShield convertit ce décalage temporel en un offset spatial calculable par transformation cinématique, restituant l'intention géométrique d'origine du modèle VLA. Un algorithme d'apprentissage par renforcement contraint (PPO-Lagrangian sur un processus de décision de Markov contraint) arbitre ensuite dynamiquement entre la fidélité à cette intention et les contraintes de sécurité physique imposées par le LiDAR embarqué, qui détecte les obstacles à haute fréquence. L'enjeu dépasse le cadre académique : à mesure que les robots de livraison, d'entrepôt ou d'assistance domestique s'appuient sur des modèles fondamentaux cloud, la fiabilité de la connexion réseau devient un facteur de sécurité directement lié aux accidents physiques. AsyncShield propose une réponse modulaire, une interface de sous-objectif standardisée, une randomisation de domaine et une inflation du rayon de collision, qui lui permet de fonctionner sans réentraînement sur différents robots et environnements. Les expériences en simulation et en conditions réelles confirment une amélioration du taux de succès et de la sécurité physique, ouvrant la voie à un déploiement cloud de VLA dans des environnements dynamiques sans attendre que la latence réseau soit résolue côté infrastructure.

Robotique⚡Actu

1 source

42

4371arXiv cs.RO 

RL Token : amorcer le renforcement en ligne avec des modèles vision-langage-action

Des chercheurs ont publié sur arXiv une méthode baptisée RL Token (RLT) qui permet d'affiner en temps réel des modèles de vision-langage-action (VLA) pour la robotique, en seulement quelques heures de pratique sur des robots physiques. Ces modèles VLA sont capables d'apprendre des tâches de manipulation variées "out of the box", mais ils manquent de précision et de rapidité pour les exigences industrielles réelles. L'approche RLT repose sur deux mécanismes : elle adapte le VLA pour exposer un "RL token", une représentation compacte qui préserve les connaissances préentraînées tout en servant d'interface légère pour l'apprentissage par renforcement (RL), puis entraîne une petite tête acteur-critique sur ce token pour affiner les actions. La méthode a été validée sur quatre tâches réelles : vissage, fixation de colliers de serrage, insertion de chargeur et branchement de câble Ethernet. Les résultats sont frappants. Sur les parties les plus difficiles de chaque tâche, RLT améliore la vitesse d'exécution jusqu'à un facteur 3 et augmente significativement les taux de réussite en quelques minutes à quelques heures d'entraînement. Sur certaines tâches, le robot dépasse même la vitesse d'un opérateur humain en télé-opération. Ce niveau de performance, obtenu avec un temps de pratique aussi court, représente un saut qualitatif pour le déploiement de robots polyvalents dans des environnements industriels ou logistiques, où la précision des gestes répétitifs est critique. L'enjeu sous-jacent est la montée en maturité des modèles fondationnels pour la robotique. Si des systèmes comme RT-2, OpenVLA ou Pi-0 ont démontré qu'un modèle généraliste pouvait piloter un robot sur des tâches diverses, l'adaptation fine à un contexte spécifique restait coûteuse en données et en temps de calcul. RLT attaque précisément ce goulot d'étranglement en rendant le RL online praticable même sur de très grands VLAs, sans repartir de zéro. La course à des robots industriellement viables s'accélère, et cette approche pourrait devenir une brique standard du pipeline de déploiement pour des acteurs comme Figure, Physical Intelligence ou les équipes robotique de Google DeepMind.

Robotique❖Paper

1 source

42

4372arXiv cs.RO 

RecoverFormer : récupération en boucle fermée avec conscience des contacts pour robots humanoïdes

Des chercheurs ont présenté RecoverFormer, un système de contrôle entièrement automatisé permettant aux robots humanoïdes de récupérer leur équilibre après des chutes ou des poussées imprévues. Publié sur arXiv (2604.22911), ce travail introduit une politique d'apprentissage bout-en-bout testée sur le robot Unitree G1 dans le simulateur MuJoCo. L'architecture repose sur un transformeur causal analysant les 50 dernières étapes d'observation du robot, combiné à deux modules inédits : un « mode de récupération latent » permettant de passer fluidement entre différentes stratégies d'équilibre, et une tête de prédiction de contacts qui identifie les surfaces environnantes exploitables, murs, rambardes, bords de table. Entraîné uniquement sur sol plat et ouvert, RecoverFormer atteint 100 % de succès de récupération face à des poussées de 100 à 300 newtons, et ce quelle que soit la distance au mur (de 0,25 à 1,4 mètre), sans avoir jamais vu ces obstacles pendant l'entraînement. Ces résultats sont significatifs car ils montrent qu'un seul modèle peut gérer des situations radicalement différentes sans reprogrammation manuelle ni supervision par mode de récupération. Sous des conditions dégradées simulant des écarts dynamiques réels, le système maintient 75,5 % de succès avec une masse augmentée de 25 %, 89 % sous une latence de 30 millisecondes, et 91,5 % sur sol à faible friction. Combinées, ces perturbations n'abaissent le taux qu'à 99 %, ce qui est remarquable. Pour les industriels et les laboratoires déployant des humanoïdes dans des environnements réels non contrôlés, cette robustesse en transfert zéro-shot représente un saut qualitatif par rapport aux approches modulaires classiques qui nécessitent des comportements préprogrammés pour chaque scénario. La récupération après perturbation reste l'un des problèmes les plus difficiles de la robotique humanoïde, domaine où Boston Dynamics, Figure AI ou Agility Robotics investissent massivement. La plupart des systèmes actuels recourent à des pipelines hiérarchiques séparant détection, planification et exécution. RecoverFormer mise au contraire sur une politique unifiée, dont les modes de comportement émergent spontanément, validé par une analyse t-SNE sur 300 épisodes, sans étiquetage supervisé. La prochaine étape logique sera le déploiement sur robot réel, hors simulation, pour confirmer que cette généralisation tient face aux imprévisibilités du monde physique.

Robotique❧Opinion

1 source

42

4373arXiv cs.RO 

Genie Sim PanoRecon : génération rapide de scènes immersives à partir d'un panorama en vue unique

Des chercheurs d'AgibotTech ont publié sur arXiv un système baptisé Genie Sim PanoRecon, capable de reconstruire des scènes 3D photoréalistes à partir d'une seule image panoramique en quelques secondes. La méthode repose sur le Gaussian splatting, une technique de représentation 3D par nuages de points gaussiens. Concrètement, le panorama d'entrée est décomposé en six faces d'une carte cubique non superposées, traitées en parallèle puis réassemblées de façon cohérente. Pour garantir la cohérence géométrique entre les différentes vues, l'équipe a développé une stratégie de fusion guidée par la profondeur, couplée à un module d'injection de profondeur sans entraînement supplémentaire, qui oriente le réseau monoculaire vers la génération de Gaussiens 3D cohérents. Le système a été intégré directement dans Genie Sim, une plateforme de simulation pilotée par LLM dédiée à la génération de données synthétiques pour l'IA incarnée. L'enjeu central est de réduire drastiquement le coût et le temps de création d'environnements 3D pour entraîner des robots à la manipulation d'objets. Là où la construction manuelle d'une scène 3D réaliste peut prendre des heures ou des jours, PanoRecon le fait en quelques secondes à partir d'une simple photo panoramique. Pour les équipes de robotique, cela ouvre la voie à une génération massive et automatisée de scènes d'entraînement variées, ce qui est un verrou majeur dans le développement de robots polyvalents capables de generaliser à des environnements nouveaux. Le contexte est celui de la course à la simulation photorealiste pour l'IA incarnée (embodied AI), un champ où des acteurs comme NVIDIA, Google DeepMind et des startups chinoises investissent massivement pour combler le fossé entre simulation et monde réel. AgibotTech s'inscrit dans cette dynamique en combinant la puissance des LLM pour piloter la simulation et une reconstruction 3D rapide pour fournir des décors crédibles. Le code source est disponible sur GitHub, ce qui suggère une volonté de fédérer une communauté autour de Genie Sim comme standard ouvert pour la génération de données robotiques synthétiques.

Recherche❖Paper

1 source

42

4374arXiv cs.RO 

QuietWalk : apprentissage par renforcement informé par la physique pour la locomotion humanoïde avec diverses chaussures

Des chercheurs ont publié le 28 avril 2026 sur arXiv un système baptisé QuietWalk, conçu pour permettre aux robots humanoïdes de marcher silencieusement dans des environnements humains, que ce soit pieds nus ou chaussés de talons hauts, de baskets ou de chaussures de skate. Le cadre repose sur un apprentissage par renforcement guidé par la physique : un réseau de neurones contraint par la dynamique inverse estime en temps réel les forces de réaction au sol à partir des capteurs proprioceptifs du robot, sans jamais nécessiter de capteurs de force physiques lors du déploiement. Sur un jeu de données réel, cette approche réduit les erreurs de prédiction des forces verticales de 82 à 86 % par rapport à un prédicteur purement supervisé, et porte le coefficient de détermination de 0,39 à 0,99 pour le pied gauche, et de 0,67 à 0,99 pour le pied droit. À une vitesse de 1,2 m/s sur quatre types de sol, QuietWalk abaisse le niveau sonore moyen pondéré A de 7,17 dB et le niveau sonore de crête de 4,98 dB. Ces chiffres sont significatifs : une réduction de 7 dB correspond environ à diviser par deux la perception sonore. Pour des robots déployés dans des hôpitaux, des maisons de retraite ou des bureaux, cette différence est directement liée à l'acceptabilité par les humains. L'élimination des capteurs de force au sol simplifie aussi radicalement la chaîne matérielle, rendant le système moins fragile et moins coûteux à maintenir. La robustesse face aux différentes chaussures règle par ailleurs un problème concret : en conditions réelles, un robot livré avec une paire de semelles standard devra fonctionner sur moquette, carrelage ou parquet, avec ou sans protection aux pieds. La locomotion silencieuse des humanoïdes est un défi structurel du domaine depuis plusieurs années. Les approches précédentes s'appuyaient sur des objectifs cinématiques approximatifs ou sur des capteurs de force fragiles et coûteux, deux solutions peu généralisables. QuietWalk s'inscrit dans une tendance plus large qui consiste à intégrer des contraintes physiques directement dans la boucle d'entraînement pour obtenir des comportements plus fiables. Avec des acteurs comme Boston Dynamics, Agility Robotics ou Figure AI qui intensifient leur déploiement en environnements commerciaux, ce type de recherche fondamentale sur la cohabitation homme-robot devient un différenciateur clé pour la prochaine génération d'humanoïdes.

Robotique❧Opinion

1 source

42

4375arXiv cs.RO 

SPLIT : séparation des contacts physiques par arithmétique latente dans les capteurs tactiles visuels

Une équipe de chercheurs a publié sur arXiv (référence 2604.24449) une nouvelle méthode baptisée SPLIT, conçue pour simuler des capteurs tactiles à base d'images utilisés en robotique. Le travail se concentre principalement sur le capteur DIGIT, un capteur tactile optique répandu dans la communauté robotique. SPLIT repose sur une stratégie d'arithmétique dans l'espace latent qui dissocie explicitement la géométrie de contact des propriétés optiques propres au capteur. Concrètement, le système décompose ce qu'il "voit" en deux composantes indépendantes : la forme de l'objet qui appuie sur le capteur, et les caractéristiques visuelles intrinsèques du capteur lui-même. La méthode intègre également une simulation par éléments finis (FEM) calibrée avec résolution variable, offrant un compromis ajustable entre vitesse de calcul et fidélité physique. Cette capacité de dissociation change profondément la manière dont on peut entraîner des modèles d'apprentissage automatique pour la perception tactile. Jusqu'ici, chaque nouvelle unité physique d'un capteur nécessitait une recalibration coûteuse en temps et en données. SPLIT élimine cette contrainte : une fois entraîné, le modèle peut s'adapter à différentes variantes du capteur DIGIT, voire se transférer vers des capteurs d'une autre famille, comme le GelSight R1.5, sans réentraînement complet. La méthode supporte en outre une simulation bidirectionnelle : elle peut générer des images réalistes à partir de maillages de déformation, mais aussi reconstruire un maillage à partir d'une image tactile réelle. La vitesse d'inférence dépasse celle des approches concurrentes existantes. Le manque de données d'entraînement réalistes est l'un des principaux freins au développement de la robotique tactile. Collecter des interactions physiques variées est lent, coûteux et difficile à reproduire à grande échelle, ce qui pousse la communauté vers des simulateurs capables de générer des données synthétiques crédibles. SPLIT s'inscrit dans cette tendance en proposant une solution généraliste, là où les méthodes antérieures restaient souvent liées à un seul type de capteur. En permettant le transfert inter-capteurs et en réduisant le besoin en données réelles, cette approche pourrait accélérer significativement le développement de robots capables de manipuler des objets avec précision et dextérité.

Recherche❖Paper

1 source

42

4376arXiv cs.RO 

Modèles VLA : éviter le verrouillage et préserver le contrôle lors de l'affinage avec peu de données

Des chercheurs ont publié sur arXiv un article présentant DeLock, une méthode destinée à résoudre un problème concret rencontré lors de l'entraînement de politiques robotiques dites "vision-langage-action" (VLA). Ces modèles, conçus pour contrôler des robots en combinant perception visuelle et instructions en langage naturel, perdent leur capacité à généraliser dès qu'on les affine sur un petit jeu de données. Le phénomène, baptisé "lock-in", se manifeste sous deux formes : le concept lock-in, où le modèle se fixe sur les objets ou attributs vus à l'entraînement, et le spatial lock-in, où il se cantonne aux positions spatiales rencontrées durant la phase de fine-tuning. DeLock combine la préservation de l'ancrage visuel pendant le post-entraînement avec un guidage contrastif appliqué au moment de l'inférence pour orienter dynamiquement la génération d'actions selon de nouvelles instructions. Sur huit évaluations en simulation et en conditions réelles, il surpasse les méthodes concurrentes et égale ou dépasse les performances d'une politique généraliste entraînée sur un volume de données nettement plus important. Ce résultat est particulièrement significatif pour les équipes qui développent des robots polyvalents avec des budgets de données limités. Jusqu'ici, récupérer la généralisation perdue après un fine-tuning minimal exigeait soit des signaux de supervision supplémentaires issus de modèles fondationnels, soit des jeux de données augmentés, deux ressources coûteuses à produire. DeLock montre qu'il est inutile de chercher ailleurs : la connaissance pré-entraînée du modèle suffit, à condition de ne pas l'écraser pendant l'adaptation. Pour les développeurs d'applications robotiques industrielles ou domestiques, cela ouvre la voie à des déploiements spécialisés beaucoup plus accessibles, sans sacrifier la flexibilité face à des ordres inédits. Le lock-in illustre une tension fondamentale en apprentissage automatique entre spécialisation et généralisation, particulièrement aiguë en robotique où collecter des démonstrations physiques est lent et onéreux. Les grandes politiques VLA généralistes comme OpenVLA ou pi0 ont montré que l'entraînement à grande échelle produit des agents capables de suivre des instructions variées, mais leur adaptation à des tâches précises reste fragile. DeLock s'inscrit dans un courant de recherche cherchant à rendre ces modèles à la fois spécialisables et robustes, une propriété indispensable si l'on veut déployer des robots utiles dans des environnements réels et changeants.

Robotique❧Opinion

1 source

42

4377arXiv cs.RO 

ESPADA : accélération de l'apprentissage par imitation via sous-échantillonnage sémantique des démonstrations

Des chercheurs ont publié ESPADA, un système conçu pour accélérer les robots apprenants par imitation sans sacrifier leur précision. Présenté dans un article arXiv (2512.07371), le cadre analyse les démonstrations humaines enregistrées grâce à un pipeline combinant un grand modèle de vision (VLM) et un grand modèle de langage (LLM), qui segmente chaque séquence de mouvement en phases critiques et non critiques en tenant compte des relations spatiales 3D entre la pince du robot et les objets manipulés. Les segments jugés non essentiels sont fortement sous-échantillonnés, ce qui réduit les délais d'exécution, tandis que les phases de précision restent intactes. Pour étendre cette annotation d'un seul épisode à l'ensemble d'un jeu de données, ESPADA propage automatiquement les étiquettes via le Dynamic Time Warping (DTW) appliqué aux caractéristiques dynamiques. Testée sur deux architectures de référence, ACT et Diffusion Policy, aussi bien en simulation que dans des environnements réels, la méthode atteint en moyenne un gain de vitesse de 2x tout en conservant les taux de réussite initiaux. Ce résultat est concret : un robot industriel deux fois plus rapide sans perte de fiabilité représente un levier direct de rentabilité pour les lignes de production automatisées. L'absence de retraining et de modification architecturale est tout aussi importante, car elle permet d'intégrer ESPADA sur des systèmes existants sans refaire des campagnes d'entraînement coûteuses. Le principal verrou levé ici est psychologique autant que technique : les robots imitateurs ont tendance à reproduire la prudence humaine, ce tempo lent et hésitant qui, chez l'humain, compense l'incertitude mais devient un frein en production continue. La robotique par imitation a connu un essor rapide ces dernières années grâce à des architectures comme ACT (Action Chunking Transformer) ou les politiques de diffusion, qui permettent à des robots de généraliser à partir de quelques dizaines de démonstrations filmées. Les tentatives précédentes d'accélération reposaient sur des heuristiques statistiques, ignorant le sens des tâches, et échouaient sur des manipulations variées. ESPADA tranche en intégrant une compréhension sémantique de ce qui compte vraiment dans un mouvement, ouvrant la voie à des robots industriels plus compétitifs face à la programmation traditionnelle.

Robotique❖Paper

1 source

41

4378arXiv cs.RO 

Les paris comme méthode d'évaluation des performances sim-to-real

Une équipe de chercheurs a publié sur arXiv (référence 2604.24018) une nouvelle approche pour évaluer les performances des robots sans multiplier les tests physiques coûteux. Le problème central est bien connu dans le domaine : tester un robot dans le monde réel est lent, onéreux et parfois dangereux, ce qui rend difficile la comparaison d'algorithmes, la validation de contrôleurs ou la prise de décisions réglementaires. Les chercheurs proposent une méthode fondée sur un mécanisme de "pari" (betting) pour estimer avec précision le comportement réel d'un robot à partir de données issues de simulateurs. Ils démontrent notamment son efficacité sur une tâche concrète de préhension et dépose d'objets (pick-and-place) par un bras robotique, en utilisant des distributions synthétiques comme substitut au monde réel. Cette approche présente un intérêt pratique majeur pour l'industrie robotique et les laboratoires de recherche. Contrairement aux méthodes existantes qui tentent soit de réduire la variance statistique (par échantillonnage d'importance), soit de corriger les biais introduits par les simulateurs, le mécanisme de pari proposé peut, sous certaines conditions théoriques démontrées, surpasser l'estimateur Monte Carlo classique. Les chercheurs fournissent également des règles de décision concrètes pour diagnostiquer en temps réel si la stratégie de pari fonctionne comme prévu, ce qui rend la méthode utilisable en pratique et pas seulement en théorie. Le fossé entre simulation et réalité, le fameux "sim-to-real gap", est l'un des obstacles majeurs au déploiement industriel des robots autonomes. Les simulateurs modernes restent imparfaits : ils modélisent mal les contacts, les frottements ou les imprécisions mécaniques, ce qui introduit des biais systématiques dans les évaluations. La plupart des travaux existants cherchent à corriger ces biais après coup ; cette publication propose au contraire de les intégrer dans un cadre probabiliste cohérent dès la conception de l'évaluation. Le code source est disponible sur GitHub (ISUSAIL/Bet4Sim2Real), ce qui facilite la reproduction des résultats et l'adoption par la communauté.

Robotique⚡Actu

1 source

40

4379arXiv cs.RO 

Flux sensoriel modulaire pour intégrer le feedback physique dans les modèles vision-langage-action

Des chercheurs ont publié fin avril 2026 sur arXiv un article présentant MoSS (Modular Sensory Stream), un cadre modulaire conçu pour enrichir les modèles Vision-Langage-Action (VLA) avec des retours physiques multiples. Les VLA sont des systèmes d'intelligence artificielle utilisés en robotique pour interpréter des scènes visuelles et du langage naturel afin de générer des actions. MoSS introduit des flux de modalités découplés qui intègrent des signaux physiques hétérogènes, notamment tactiles et de couple mécanique (torque), directement dans le flux d'action du modèle via un mécanisme d'attention croisée. Un schéma d'entraînement en deux étapes, où les paramètres du VLA préentraîné sont d'abord gelés, assure une incorporation stable des nouvelles modalités. Des expériences en conditions réelles démontrent des gains de performance synergiques lorsque ces signaux sont combinés. L'enjeu est considérable pour la robotique de manipulation. Aujourd'hui, la grande majorité des VLA reposent quasi exclusivement sur la vision, ce qui les rend aveugles aux informations que procure le toucher ou la résistance mécanique lors d'un contact. Un robot vissant un écrou, saisissant un objet fragile ou détectant un glissement ne peut s'appuyer sur la caméra seule pour ajuster sa prise en temps réel. MoSS montre que l'ajout de signaux tactiles et de couple, traités en parallèle plutôt qu'en série, améliore la précision des actions de manière complémentaire, chaque modalité compensant les angles morts des autres. Les VLA sont devenus l'un des fronts les plus actifs de la recherche en robotique depuis l'émergence de modèles comme RT-2 (Google DeepMind) ou OpenVLA. La tendance dominante consistait jusqu'ici à enrichir la composante visuelle ou langagière de ces systèmes, en négligeant les sens physiques que les humains mobilisent naturellement pour manipuler des objets. MoSS s'inscrit dans un courant émergent qui cherche à doter les robots d'une perception proprioceptive et haptique plus fine. La nature modulaire du framework facilite l'ajout de nouvelles modalités sensorielles à l'avenir, ce qui ouvre la voie à des robots capables d'intégrer température, vibration ou pression sans nécessiter une refonte complète de l'architecture.

Robotique❧Opinion

1 source

40

4380arXiv cs.RO 

Exploitation de la platitude différentielle pour la commande prédictive par apprentissage de systèmes affines multi-entrées contraints

Des chercheurs ont publié sur arXiv une nouvelle approche de contrôle automatique pour les systèmes robotiques à dynamique incertaine, exploitant une propriété mathématique appelée platitude différentielle. Le contrôleur proposé repose sur une combinaison d'apprentissage machine et de commande prédictive par modèle (MPC), et se distingue des solutions existantes par sa capacité à gérer simultanément des systèmes à entrées multiples, des contraintes sur les commandes et des contraintes d'état dans l'espace plat. Techniquement, l'architecture repose sur une extension du système et une formulation diagonale par blocs du coût, permettant de résoudre le problème de contrôle en seulement deux optimisations convexes séquentielles, tout en offrant des garanties probabilistes de stabilité via un critère de Lyapunov. L'apport principal est d'ordre computationnel : la méthode atteint des performances comparables à un contrôleur MPC basé sur des processus gaussiens (GP-MPC), référence de l'état de l'art, mais en étant plusieurs fois plus rapide en temps de calcul. Pour les applications robotiques en temps réel, notamment les drones, les bras manipulateurs ou les véhicules autonomes, cette réduction de charge de calcul est déterminante. Elle permet d'envisager des boucles de contrôle plus rapides, des plateformes embarquées moins puissantes, ou des horizons de prédiction plus longs sans compromettre la réactivité du système. Les expériences sur matériel réel confirment un suivi de trajectoire compétitif, validant la transposabilité de l'approche au-delà de la simulation. La platitude différentielle est une propriété bien connue en automatique, exploitée depuis les années 1990 pour simplifier la planification de trajectoires dans des systèmes comme les quadrotors ou les voitures. Jusqu'ici, les travaux combinant flatness et apprentissage machine se heurtaient à des limitations majeures : absence de gestion des contraintes d'entrée, restriction aux systèmes mono-entrée, ou dépendance à une plateforme spécifique. Cette publication généralise l'approche à une classe beaucoup plus large de systèmes non linéaires, ouvrant la voie à des contrôleurs apprenants suffisamment efficaces pour quitter les bancs de simulation et équiper des robots industriels ou autonomes en conditions réelles.

Recherche❖Paper

1 source