SlicerRoboTMS : extension open source de 3D Slicer pour la stimulation magnétique transcrânienne robotisée

MolmoAct : implémentation pour le raisonnement spatial 3D, le suivi de trajectoire et la prédiction robotique

Des chercheurs d'AllenAI ont publié MolmoAct, un modèle multimodal de 7 milliards de paramètres conçu pour raisonner dans l'espace tridimensionnel à partir d'observations visuelles. Le modèle, identifié sous la référence allenai/MolmoAct-7B-D-0812, accepte des entrées multi-vues, c'est-à-dire plusieurs images prises sous différents angles, et génère à partir d'instructions en langage naturel trois types de sorties : une estimation de profondeur, une trajectoire visuelle tracée, et des commandes d'action directement exploitables par un système robotique. Un tutoriel d'implémentation complet a été publié pour permettre aux développeurs de reproduire l'ensemble du pipeline dans Google Colab, en s'appuyant sur PyTorch 2.0 ou supérieur, la bibliothèque Transformers en version 4.52, et une infrastructure GPU standard. Ce type de modèle représente un changement de paradigme dans la robotique pilotée par l'IA : plutôt que de séparer la perception visuelle, la compréhension spatiale et la planification motrice dans des modules distincts, MolmoAct intègre ces trois capacités dans un seul réseau neuronal interrogeable en langage humain. Concrètement, un opérateur peut demander au modèle d'atteindre un objet dans une scène complexe, et le système produit directement la séquence d'actions requise, en tenant compte des distances et obstacles perçus dans les images. Pour les équipes travaillant sur des bras robotiques, des drones autonomes ou des systèmes d'assistance, cette architecture réduit considérablement la complexité d'intégration et ouvre la voie à des robots pilotables par des non-spécialistes. MolmoAct s'inscrit dans une vague de modèles dits "action-reasoning" qui cherchent à combler le fossé entre vision par ordinateur et contrôle robotique. AllenAI, l'institut de recherche fondé par Paul Allen et affilié à l'Université de Washington, développe depuis plusieurs années la famille de modèles Molmo, positionnée comme une alternative ouverte aux modèles multimodaux propriétaires de Google ou OpenAI. La publication d'un tutoriel d'implémentation pas-à-pas, avec un code entièrement reproductible et accessible sur des GPUs grand public, traduit une volonté délibérée de démocratiser ces capacités. La prochaine étape naturelle sera l'évaluation de MolmoAct sur des benchmarks robotiques standardisés et son intégration dans des environnements physiques réels, où la robustesse face aux variations d'éclairage et d'occlusion restera le principal défi.

RobotPan : système de vision robotique panoramique à 360° pour la perception incarnée

Des chercheurs ont publié RobotPan, un système de vision robotique à 360 degrés combinant six caméras et un capteur LiDAR pour offrir une couverture visuelle complète en temps réel. Présenté dans un article arXiv (2604.13476), ce système est accompagné d'un framework de rendu appelé RobotPan, capable de prédire des représentations 3D compactes et à échelle métrique, les "3D Gaussians", à partir d'un nombre limité de vues calibrées. Le pipeline traite les données en temps réel, permettant un rendu, une reconstruction et un streaming fluides sur des plateformes robotiques réelles couvrant la navigation, la manipulation et la locomotion. Les chercheurs publient également un jeu de données multi-capteurs inédit spécifiquement conçu pour la synthèse de nouvelles vues et la reconstruction 3D en robotique. L'enjeu est considérable pour les applications où un opérateur humain interagit directement avec un robot à distance, que ce soit en télé-opération, collecte de données ou prise de contrôle d'urgence. Les interfaces visuelles actuelles se limitent à des champs de vision étroits orientés vers l'avant, ou obligent l'opérateur à basculer manuellement entre plusieurs caméras, interrompant son flux de travail. Les mouvements du robot provoquent par ailleurs des vibrations qui génèrent un mal du simulateur chez les utilisateurs de casques de réalité mixte. RobotPan résout ces deux problèmes en fournissant une vue panoramique continue, stabilisée et exploitable directement dans un casque. La technique repose sur une représentation sphérique unifiée dans laquelle les informations multi-vues sont fusionnées, puis décodées via des priorités volumétriques hiérarchiques : la résolution est fine près du robot et plus grossière à distance, réduisant la charge de calcul sans sacrifier la qualité visuelle. Un mécanisme de fusion en ligne met à jour les éléments dynamiques tout en maintenant stable la représentation des zones statiques, évitant une croissance mémoire non contrôlée sur des séquences longues. Les résultats expérimentaux montrent que RobotPan atteint une qualité compétitive face aux méthodes de reconstruction existantes tout en générant significativement moins de Gaussians, ce qui ouvre la voie à un déploiement embarqué réaliste sur des robots autonomes en environnement réel.

Apprentissage des intentions humaines à partir de démonstrations massives pour la manipulation robotique

Des chercheurs ont publié MoT-HRA, un nouveau cadre d'apprentissage robotique capable d'extraire des intentions humaines à partir de vidéos brutes pour les transférer à des bras robotiques. Pour entraîner le système, l'équipe a constitué HA-2.2M, un jeu de données massif de 2,2 millions d'épisodes reconstruit à partir de vidéos hétérogènes d'humains en train de manipuler des objets. Ces données ont été traitées via un pipeline en quatre étapes : filtrage centré sur les mains, reconstruction spatiale 3D, segmentation temporelle et alignement avec du langage naturel. Le modèle décompose ensuite la manipulation en trois experts couplés : un expert vision-langage qui prédit une trajectoire 3D indépendante du corps, un expert d'intention qui modélise le mouvement de la main selon le format MANO comme prior latent, et un expert fin qui traduit cette représentation en séquences d'actions concrètes pour le robot. L'enjeu est de taille : les robots peinent aujourd'hui à généraliser leurs apprentissages hors des conditions d'entraînement, un problème connu sous le nom de "distribution shift". MoT-HRA améliore significativement la plausibilité des mouvements générés et la robustesse du contrôle précisément dans ces situations dégradées, là où les approches classiques échouent. En apprenant non pas ce que fait la main, mais pourquoi elle le fait, le système produit des comportements plus cohérents et transférables à différents robots sans nécessiter de réentraînement spécifique par plateforme. Ce travail s'inscrit dans une tendance forte de la robotique actuelle : exploiter les milliards d'heures de vidéos humaines disponibles sur internet pour former des politiques de contrôle sans recourir à des démonstrations téléopérées coûteuses. Le défi technique central est de séparer dans ces vidéos ce qui relève de l'intention (invariant au corps) de ce qui relève de la mécanique propre à chaque main ou bras. Le mécanisme de partage d'attention et de transfert clé-valeur en lecture seule utilisé dans MoT-HRA est une réponse architecturale directe à ce problème d'interférence. Les résultats sur des tâches réelles ouvrent la voie à des robots capables d'apprendre depuis YouTube autant que depuis un laboratoire.

Hugging Face lance un App Store open source pour robots avec plus de 200 applications pour Reachy Mini

Hugging Face, la startup new-yorkaise fondée il y a dix ans et devenue la référence mondiale pour l'hébergement de modèles d'IA open source, a lancé un App Store dédié à son robot de bureau Reachy Mini. Cette boutique d'applications compte déjà plus de 200 créations communautaires, toutes téléchargeables gratuitement par les propriétaires du robot. Le Reachy Mini, commercialisé à 299 dollars depuis juillet 2025 après le rachat de la startup Pollen Robotics par Hugging Face, s'est vendu à environ 10 000 unités en moins d'un an. Petit robot de bureau fixe, il est équipé d'une caméra, d'un haut-parleur et d'un microphone, et peut désormais être programmé sans aucune compétence en ingénierie grâce à l'agent IA maison baptisé "ML Intern". Il suffit de décrire un comportement en langage naturel, comme "faire un signe de la main quand quelqu'un dit bonjour", et l'agent génère, teste et déploie le code correspondant en quelques minutes. L'enjeu dépasse largement la nouveauté gadget : Hugging Face veut faire pour la robotique ce qu'Apple a fait pour le smartphone, c'est-à-dire rendre la création d'applications accessibles à des millions de personnes sans formation technique. Jusqu'ici, développer une application robotique nécessitait de maîtriser des SDK propriétaires, la gestion du firmware et des abstractions matérielles complexes. En éliminant cette barrière, la plateforme permet à des non-ingénieurs de livrer des logiciels robotiques fonctionnels en moins d'une heure. Le PDG Clément Delangue voit également dans ce store un terrain d'expérimentation pour les créateurs de modèles d'IA, qui pourront tester les capacités physiques de leurs nouvelles architectures directement sur un robot réel. La difficulté historique de la robotique tient au manque de données d'entraînement spécifiques : là où les grands modèles de langage ont pu s'appuyer sur des centaines de milliards de lignes de code généraliste via GitHub, les dépôts robotiques restent marginaux, avec seulement 17 000 repositories publics recensés. Hugging Face contourne ce problème en proposant une couche d'abstraction agnostique, compatible avec GPT-5.5, Claude Opus 4.6, Gemini Live, OpenAI Realtime et plusieurs autres modèles. Cette ouverture multiple crée un écosystème qui ne dépend d'aucun acteur unique. La prochaine étape sera probablement l'introduction d'options de monétisation pour les développeurs d'applications, absentes au lancement. Si la dynamique se confirme, Hugging Face pourrait transformer le Reachy Mini en plateforme de référence pour la robotique grand public, à l'heure où Boston Dynamics, Figure et d'autres misent sur des machines bien plus coûteuses et fermées.

💬 300 dollars, 200 apps communautaires, un agent qui génère le code depuis une phrase, bon, sur le papier c'est exactement ce qu'il fallait pour que la robotique grand public décolle enfin. La comparaison avec l'App Store d'Apple est surjouée, mais les briques techniques sont là cette fois, et Pollen Robotics de Bordeaux dans la boucle c'est un beau signal pour l'écosystème français. Reste à voir si les usages dépassent le gadget de bureau dans six mois.