MolmoAct : implémentation pour le raisonnement spatial 3D, le suivi de trajectoire et la prédiction robotique

Des jambes humanoïdes imprimables en 3D pour libérer l'expérimentation en robotique

Hugging Face a publié le projet LeRobot Humanoid, une paire de jambes robotiques humanoïdes conçue pour être accessible aux chercheurs et aux développeurs. L'ensemble coûte environ 2 500 dollars et repose sur des pièces imprimées en 3D ainsi que des composants disponibles dans le commerce. La publication est complète : elle comprend une liste de matériaux, les fichiers nécessaires à l'impression des pièces, la documentation de câblage, les instructions d'assemblage physique, ainsi que des outils logiciels pour calibrer et contrôler le robot, que ce soit dans un corps physique ou en simulation. Le projet a été présenté dans un billet de blog cosigné par Virgile Batto, ingénieur en robotique chez Hugging Face. Cette initiative pourrait significativement abaisser la barrière d'entrée dans la recherche en robotique humanoïde. Jusqu'ici, développer un robot physique capable de servir de plateforme d'expérimentation représentait un investissement prohibitif, souvent réservé aux grands laboratoires académiques ou aux entreprises bien financées. Disposer d'un corps physique à moins de 3 000 dollars permet aux équipes de taille modeste de tester et d'entraîner des logiciels d'IA robotique en conditions réelles, là où la simulation seule montre ses limites. L'accès au code source, aux schémas et aux fichiers de fabrication facilite aussi la modification, la réparation et l'instrumentation du robot selon les besoins spécifiques de chaque expérience. Hugging Face s'est imposé comme une infrastructure centrale de l'écosystème IA open source, notamment autour des modèles de langage et de vision. Son incursion dans la robotique physique s'inscrit dans une dynamique plus large où plusieurs acteurs tentent de démocratiser le développement de robots intelligents, face à des projets commerciaux comme ceux de Figure AI, 1X Technologies ou Boston Dynamics, qui restent hors de portée pour la plupart des chercheurs indépendants. LeRobot Humanoid ne prétend pas concurrencer ces plateformes avancées, mais vise explicitement un public qui veut comprendre, modifier et apprendre, ouvrant potentiellement la voie à une communauté de robotique ouverte comparable à ce qu'a été Hugging Face pour les modèles de langage.

💬 2 500 dollars pour rentrer dans la recherche en robotique humanoïde, c'est une vraie rupture. Hugging Face fait exactement ce qu'ils ont fait pour les LLMs : mettre les fichiers, la doc et les outils sur la table et laisser la communauté faire le reste. Une paire de jambes imprimées chez soi c'est encore loin de Figure AI, mais c'est pas le but.

Cadre cinématique pour évaluer les configurations de pincement en robotique, sans modèle d'objet ni de contact

Des chercheurs ont publié sur arXiv (référence 2604.20692) un cadre d'évaluation cinématique permettant d'analyser les configurations de pincement des mains robotiques sans avoir recours à des modèles d'objets ni à des modèles de force de contact. La méthode repose sur le calcul de l'espace de travail atteignable par chaque bout de doigt à partir des configurations articulaires, puis sur la détection de configurations de pincement réalisables en évaluant les relations géométriques entre les paires de bouts de doigts. Quatre structures cinématiques différentes de main ont été comparées afin d'examiner leur influence sur les configurations de pincement possibles. Pour les concepteurs de mains robotiques, cet apport est concret : il devient possible d'évaluer la dextérité de préhension d'un prototype dès les premières phases de conception, sans avoir à modéliser les objets à saisir ni à simuler les forces de contact. Ces étapes, traditionnellement coûteuses en temps de calcul et en données, constituaient un frein majeur à l'itération rapide sur les designs. En permettant une évaluation fondée uniquement sur la structure cinématique de la main, le framework ouvre la voie à des cycles de développement plus courts et à une comparaison objective entre différentes architectures mécaniques. La robotique de manipulation traverse une période d'intense compétition, portée par l'essor des robots humanoïdes et des bras industriels autonomes. Les mains robotiques dotées d'une dextérité fine restent l'un des grands défis non résolus du secteur, que ce soit pour des usages industriels ou médicaux. Les méthodes d'évaluation existantes supposent généralement que l'objet à manipuler est connu à l'avance, ce qui les rend peu utiles lors des premières étapes de conception matérielle. Ce travail s'inscrit dans un courant de recherche visant à abstraire l'évaluation de la dextérité, et pourrait à terme être intégré dans des outils de conception assistée par ordinateur pour accélérer le développement de nouvelles générations de mains robotiques polyvalentes.

Google DeepMind publie Gemini Robotics-ER 1.6 : raisonnement incarné amélioré et lecture d'instruments pour l'IA physique

Google DeepMind a publié Gemini Robotics-ER 1.6, une mise à jour majeure de son modèle de raisonnement incarné destiné à servir de cerveau cognitif aux robots évoluant dans des environnements physiques réels. Ce modèle ne contrôle pas directement les membres d'un robot, c'est le rôle du modèle jumeau Gemini Robotics 1.5, dit VLA (vision-language-action), qui traduit les instructions en commandes motrices. Gemini Robotics-ER 1.6 joue plutôt le rôle du stratège : il analyse l'espace, planifie les tâches, détecte les succès et peut appeler des outils externes comme Google Search ou des fonctions définies par l'utilisateur. Par rapport à la version 1.5, la nouvelle itération améliore nettement les capacités de raisonnement spatial et physique, pointage précis au pixel près, comptage d'objets, raisonnement relationnel ("l'objet le plus petit", "déplacer X vers Y"), et introduit une fonctionnalité entièrement nouvelle : la lecture d'instruments analogiques. L'impact de ces améliorations est concret et mesurable. Dans les benchmarks internes, Gemini Robotics-ER 1.6 identifie correctement le nombre de marteaux, ciseaux, pinceaux, pinces et outils de jardin présents dans une scène, et refuse de pointer des objets absents de l'image, là où la version 1.5 hallucine une brouette inexistante et rate plusieurs objets. Cette fiabilité est critique : dans un pipeline robotique, une fausse détection d'objet provoque des erreurs en cascade, le robot tentant d'interagir avec du vide. La détection de succès multi-vues, savoir quand une tâche est réellement terminée en fusionnant plusieurs flux caméra simultanément, améliore également la capacité du système à décider entre relancer une tentative échouée ou passer à l'étape suivante. La lecture d'instruments, elle, permet pour la première fois à un robot de lire un cadran analogique, un thermomètre ou un manomètre sans avoir besoin que l'instrument soit numérique. Cette publication s'inscrit dans une course effrénée à l'IA physique, où Google DeepMind affronte des acteurs comme Figure AI, Physical Intelligence ou Boston Dynamics sur le terrain de la robotique généraliste. L'architecture duale stratège/exécuteur choisie par DeepMind tranche avec les approches bout-en-bout de certains concurrents, pari sur une meilleure modularité et une plus grande capacité à intégrer des outils tiers. La lecture d'instruments ouvre des perspectives industrielles immédiates : inspection d'équipements dans des usines ou des centrales, environnements où la numérisation complète des capteurs reste coûteuse. Gemini Robotics-ER 1.6 est disponible via Google AI Studio et l'API Gemini, et DeepMind a annoncé un programme d'accès anticipé pour les entreprises souhaitant l'intégrer dans leurs pipelines robotiques.

SlicerRoboTMS : extension open source de 3D Slicer pour la stimulation magnétique transcrânienne robotisée

Une équipe de chercheurs a publié SlicerRoboTMS, une extension open-source pour la plateforme logicielle 3D Slicer, dédiée à la stimulation magnétique transcrânienne assistée par robot (Robo-TMS). L'article, déposé sur arXiv (référence 2504.25661), décrit une infrastructure logicielle unifiée qui combine navigation neurologique par IRM, vision par ordinateur et contrôle robotique au sein d'un même environnement. L'extension s'appuie sur les capacités existantes de 3D Slicer en matière d'imagerie médicale et communique avec les systèmes robotiques via des protocoles standardisés et des descriptions de configuration modulaires. Le code source est disponible librement sur GitHub, sous l'organisation OpenRoboTMS. La TMS conventionnelle est une technique non invasive de stimulation cérébrale largement utilisée en psychiatrie, neurologie et recherche en neurosciences, notamment pour traiter la dépression résistante aux médicaments. Son principal défaut : la précision du positionnement de la bobine magnétique sur le crâne dépend entièrement de l'opérateur humain, ce qui nuit à la reproductibilité des traitements et des expériences. SlicerRoboTMS vise à résoudre ce problème en guidant un bras robotique à partir de données IRM du patient, améliorant ainsi la précision et la cohérence entre sessions. Pour les cliniques et les laboratoires, cela représente un gain concret en qualité de soin et en rigueur expérimentale, sans avoir à développer une infrastructure logicielle propriétaire coûteuse. Le développement de systèmes Robo-TMS bute depuis des années sur un obstacle majeur : l'intersection entre imagerie médicale, robotique et traitement du signal exige des compétences multidisciplinaires rares, que peu d'équipes réunissent. En proposant une solution open-source construite sur un logiciel médical déjà adopté mondialement, les auteurs abaissent significativement ce seuil d'entrée et facilitent le prototypage rapide. L'extension est conçue pour s'adapter à diverses configurations matérielles, ce qui la rend potentiellement compatible avec différents fabricants de bras robotiques. Les prochaines étapes naturelles concerneront la validation clinique à grande échelle et l'intégration dans des workflows hospitaliers certifiés.