NanoCockpit : un framework applicatif optimisé pour la nanorobotique autonome pilotée par IA

JoyAI-RA 0.1 : un modèle de base pour l'autonomie robotique

Des chercheurs ont publié le 28 avril 2026 sur arXiv un nouveau modèle de fondation baptisé JoyAI-RA 0.1, conçu pour doter les robots d'une autonomie généralisable dans des environnements réels et variés. Ce modèle de type vision-langage-action (VLA) s'appuie sur un cadre d'entraînement multi-sources et multi-niveaux inédit : il combine des données issues du web, des vidéos en vue subjective de manipulations humaines à grande échelle, des trajectoires générées par simulation, et des données collectées sur de vrais robots. Selon les résultats présentés, JoyAI-RA surpasse les méthodes les plus avancées sur des benchmarks en simulation comme en environnement réel, particulièrement sur des tâches variées nécessitant une capacité de généralisation. L'enjeu central de ce travail est la généralisation inter-robots, un problème récurrent dans le domaine : les modèles entraînés sur un type de robot peinent à s'adapter à d'autres architectures mécaniques ou capteurs différents. JoyAI-RA propose une unification explicite des espaces d'action, ce qui lui permet de transférer efficacement des comportements appris depuis des vidéos de manipulation humaine vers le contrôle robotique. Ce pont entre geste humain et mouvement machine est particulièrement prometteur pour réduire les coûts de collecte de données et accélérer le déploiement de robots polyvalents dans des contextes industriels, logistiques ou domestiques. La robotique autonome bute depuis des années sur deux obstacles structurels : la faible diversité des jeux de données disponibles et l'impossibilité de réutiliser des comportements appris d'un robot à l'autre. JoyAI-RA s'inscrit dans une tendance de fond qui voit émerger des modèles de fondation généralistes pour la robotique, à l'image de RT-2 de Google DeepMind ou d'OpenVLA. La particularité de cette approche réside dans l'intégration massive de vidéos de manipulation humaine comme source de supervision implicite, une stratégie qui contourne partiellement la rareté des données robotiques annotées. La publication en version 0.1 suggère que l'équipe, vraisemblablement liée à l'écosystème chinois au vu du nom JoyAI, entend faire évoluer ce modèle rapidement.

RobotPan : système de vision robotique panoramique à 360° pour la perception incarnée

Des chercheurs ont publié RobotPan, un système de vision robotique à 360 degrés combinant six caméras et un capteur LiDAR pour offrir une couverture visuelle complète en temps réel. Présenté dans un article arXiv (2604.13476), ce système est accompagné d'un framework de rendu appelé RobotPan, capable de prédire des représentations 3D compactes et à échelle métrique, les "3D Gaussians", à partir d'un nombre limité de vues calibrées. Le pipeline traite les données en temps réel, permettant un rendu, une reconstruction et un streaming fluides sur des plateformes robotiques réelles couvrant la navigation, la manipulation et la locomotion. Les chercheurs publient également un jeu de données multi-capteurs inédit spécifiquement conçu pour la synthèse de nouvelles vues et la reconstruction 3D en robotique. L'enjeu est considérable pour les applications où un opérateur humain interagit directement avec un robot à distance, que ce soit en télé-opération, collecte de données ou prise de contrôle d'urgence. Les interfaces visuelles actuelles se limitent à des champs de vision étroits orientés vers l'avant, ou obligent l'opérateur à basculer manuellement entre plusieurs caméras, interrompant son flux de travail. Les mouvements du robot provoquent par ailleurs des vibrations qui génèrent un mal du simulateur chez les utilisateurs de casques de réalité mixte. RobotPan résout ces deux problèmes en fournissant une vue panoramique continue, stabilisée et exploitable directement dans un casque. La technique repose sur une représentation sphérique unifiée dans laquelle les informations multi-vues sont fusionnées, puis décodées via des priorités volumétriques hiérarchiques : la résolution est fine près du robot et plus grossière à distance, réduisant la charge de calcul sans sacrifier la qualité visuelle. Un mécanisme de fusion en ligne met à jour les éléments dynamiques tout en maintenant stable la représentation des zones statiques, évitant une croissance mémoire non contrôlée sur des séquences longues. Les résultats expérimentaux montrent que RobotPan atteint une qualité compétitive face aux méthodes de reconstruction existantes tout en générant significativement moins de Gaussians, ce qui ouvre la voie à un déploiement embarqué réaliste sur des robots autonomes en environnement réel.

Navigation autonome d'un robot par apprentissage structurel en ligne et planification par inférence active

Des chercheurs de l'université de Gand ont publié sur arXiv un système de navigation robotique autonome baptisé AIMAPP (Active Inference MAPping and Planning), capable d'explorer des environnements inconnus sans carte préalable ni phase d'entraînement. Le robot construit en temps réel une carte topologique sparse, apprend dynamiquement les transitions d'états et planifie ses actions en minimisant ce que les auteurs appellent l'Énergie Libre Attendue (Expected Free Energy), un principe emprunté à la théorie de l'inférence active. Le système est compatible avec ROS, indépendant du type de capteurs utilisés et fonctionne en mode entièrement auto-supervisé, sans aucune intervention humaine préalable. L'intérêt principal d'AIMAPP réside dans sa robustesse face aux conditions réelles d'opération : il continue de fonctionner même en cas de défaillance partielle des capteurs ou de dérive odométrique cumulative, deux problèmes qui paralysent souvent les systèmes classiques de navigation SLAM. Contrairement aux approches par apprentissage profond qui nécessitent d'importants volumes de données annotées, AIMAPP s'adapte en ligne à des environnements changeants et à des observations ambiguës. Dans des évaluations conduites à grande échelle, en environnements réels et simulés, le système surpasse ou égale les planificateurs de référence actuels, ouvrant la voie à des robots déployables dans des contextes non structurés comme des entrepôts, des zones sinistrées ou des espaces extérieurs. L'inférence active est un cadre théorique issu des neurosciences computationnelles, initialement développé pour modéliser la perception et l'action chez les êtres vivants. Son application à la robotique est encore émergente, mais AIMAPP représente une des implémentations les plus complètes à ce jour, combinant cartographie, localisation et prise de décision dans un modèle génératif unifié. Le code est disponible publiquement sur GitHub (decide-ugent/aimapp), ce qui pourrait accélérer son adoption dans la communauté robotique. La prochaine étape naturelle sera de tester le système sur des flottes de robots opérant en parallèle, ainsi que dans des environnements dynamiques peuplés d'humains.

💬 Pas de données annotées, pas de carte préalable, et ça tient quand les capteurs flanchent, là où SLAM se plante souvent. C'est le problème qu'on n'arrivait pas à régler proprement depuis des années en robotique mobile. Le code est sur GitHub et compatible ROS, donc les labos n'ont pas besoin de repartir de zéro.

ETac : un framework léger de simulation tactile pour apprendre la manipulation dextère

Des chercheurs ont présenté ETac, un framework de simulation tactile conçu pour entraîner des robots manipulateurs dotés de capteurs tactiles à peau élastomère. Publié sur arXiv, ETac repose sur un modèle léger d'apprentissage automatique pour simuler la propagation des déformations lors des contacts, sans recourir aux coûteuses méthodes par éléments finis (FEM). Exécuté sur un seul GPU RTX 4090, le système supporte jusqu'à 4 096 environnements parallèles et atteint un débit total de 869 images par seconde. La politique de préhension entraînée avec ETac affiche un taux de réussite moyen de 84,45 % sur quatre types d'objets différents, sans aucune vision -- uniquement via le retour tactile large surface. Ce résultat est significatif car il lève l'un des principaux verrous du domaine : la simulation tactile haute fidélité est habituellement si coûteuse en calcul qu'elle empêche l'apprentissage par renforcement à grande échelle. ETac produit des estimations de déformation de surface comparables à celles obtenues par FEM, tout en étant suffisamment rapide pour l'entraînement massif de politiques robotiques. Pour les laboratoires et entreprises qui développent des robots manipulateurs -- en logistique, chirurgie assistée ou assemblage industriel -- cette approche ouvre la voie à des agents capables de saisir des objets variés et fragiles sans dépendre de caméras. La manipulation dextère reste l'un des défis les plus ardus de la robotique moderne, et le sens du toucher est reconnu depuis longtemps comme essentiel pour combler l'écart avec les capacités humaines. Les capteurs tactiles type GelSight ou DIGIT ont progressé rapidement ces dernières années, mais leur intégration dans des boucles d'apprentissage par renforcement butait sur l'absence de simulateurs rapides et réalistes. ETac s'inscrit dans un mouvement plus large visant à aligner simulation et réalité physique (sim-to-real transfer) pour les retours haptiques. Les prochaines étapes pourraient inclure le transfert de politiques vers des robots réels et l'extension à des scénarios de manipulation bimanuelle plus complexes.