Hugging Face lance un App Store open source pour robots avec plus de 200 applications pour Reachy Mini

Robbyant lance LingBot-VLA 2.0, un modèle VLA open source de 6 milliards de paramètres pour la manipulation robotique multi-morphologies

Robbyant, filiale d'Ant Group, a publié LingBot-VLA 2.0, un modèle fondation de type Vision-Language-Action (VLA) destiné au contrôle de robots, accompagné d'un rapport technique, d'un code source sous licence Apache-2.0 et d'un checkpoint de 6 milliards de paramètres. Ce modèle, baptisé lingbot-vla-v2-6b, s'appuie sur Qwen3-VL-4B-Instruct comme backbone vision-langage et convertit des images de caméra ainsi qu'une instruction textuelle en commandes robotiques concrètes. Deux modèles enseignants, LingBot-Depth et DINO-Video, supervisent l'entraînement par distillation. Sur une carte graphique NVIDIA GeForce RTX 4090D, une inférence prend environ 130 millisecondes avec 10 étapes de débruitage. L'entraînement s'appuie sur environ 60 000 heures de données, dont 50 000 heures de trajectoires robotiques couvrant 20 configurations différentes, du bras unique à l'humanoïde complet, et 10 000 heures de vidéos égocentriques humaines, issues d'un pool brut de 90 000 et 20 000 heures respectivement, filtré par un pipeline qui élimine les échantillons bruités via des scores de secousse, vitesse et accélération. L'annotation des sous-tâches repose sur le modèle Qwen3.6-27B, qui segmente chaque vidéo selon un vocabulaire fermé de 18 catégories d'actions. L'enjeu central visé par Robbyant est de combler l'écart persistant entre les performances des modèles VLA en laboratoire et leurs limites en déploiement réel, un problème récurrent qui freine l'adoption industrielle de la robotique généraliste. En unifiant la représentation des actions dans un vecteur canonique de 55 dimensions, couvrant bras, effecteurs, mains, poignets, tête et base mobile, LingBot-VLA 2.0 permet à un seul modèle de piloter des architectures robotiques très différentes sans réentraînement spécifique. Cette approche pourrait accélérer le déploiement de robots polyvalents dans l'industrie et la logistique, en réduisant les coûts de développement liés à la création d'un modèle par type de robot. L'ouverture du code sous licence permissive vise aussi à stimuler la recherche communautaire sur les modèles VLA multi-embodiment. Le choix d'une architecture Mixture-of-Experts pour l'expert d'action, inspirée des mécanismes de routage sans perte d'équilibrage introduits par DeepSeek-V3, s'inscrit dans une tendance plus large de la recherche en IA visant à augmenter la capacité des modèles sans alourdir le calcul actif. À paramètres actifs équivalents, cette architecture MoE surpasse un modèle dense de référence sur les tâches du benchmark GM-100. LingBot-VLA 2.0 introduit également une distillation à double requête, avec des jetons apprenants ciblant l'observation présente et une observation future, pour anticiper la dynamique du monde plutôt que réagir seulement à l'instant présent. Ces choix technique reflètent la compétition croissante entre laboratoires chinois et occidentaux sur la robotique générale fondée sur des modèles fondation, un terrain où Ant Group cherche désormais à s'imposer aux côtés d'acteurs comme Figure, Physical Intelligence ou Google DeepMind.

💬 C'est le pattern qu'on va voir se répéter partout en robotique cette année : un seul modèle qui pilote bras, mains et humanoïde sans réentraînement par machine. Un vecteur d'action unifié à 55 dimensions, ça règle enfin le vrai problème, celui de devoir refaire un modèle à chaque nouveau robot. Reste que 130ms d'inférence sur une RTX 4090D, c'est loin d'être garanti stable en usine, et Ant Group arrive tard face à Figure ou Physical Intelligence sur ce terrain.

NVIDIA lance Alpamayo 2 Super, un modèle vision-langage-action open source de 34 milliards de paramètres pour robotaxis et conduite autonome

NVIDIA a dévoilé Alpamayo 2 Super, un modèle vision-langage-action (VLA) de 34 milliards de paramètres destiné à la conduite autonome et aux robotaxis, publié sous licence commerciale ouverte. L'architecture combine un socle de 32 milliards de paramètres, bâti sur Cosmos 3 Super Reasoner et post-entraîné par apprentissage par renforcement, à un décodeur d'action de type diffusion de 2,3 milliards de paramètres. En un seul passage sur des vidéos multi-caméras à 360 degrés, le modèle produit une trajectoire planifiée, une explication causale de cette trajectoire et une méta-action comme céder le passage ou changer de voie. Les poids sont diffusés sous licence OpenMDW-1.1 de la Linux Foundation et le code sous Apache 2.0, ce qui autorise dès le premier jour le fine-tuning, la création de modèles dérivés et la redistribution commerciale, y compris pour les versions antérieures de la famille Alpamayo initialement pensées pour la recherche. Le modèle a été entraîné sur environ 115 000 heures de vidéos de conduite multi-caméras annotées, incluant 3,7 millions de traces dites Chain-of-Causation qui relient explicitement une décision de conduite à son raisonnement, sur un corpus dépassant le milliard d'images. Sur le benchmark LingoQA, Alpamayo 2 Super obtient un score Lingo-Judge de 79,2 et se classe premier parmi près de 40 modèles testés, devançant Qwen2.5-VL 72B de 17 points, Gemini 2.5 Pro de 15,1 points et GPT-4o de 23,2 points. Cette architecture cible spécifiquement les situations rares et complexes impliquant plusieurs agents sur la route, un point faible connu des chaînes classiques de détection et de prédiction utilisées par l'industrie. En liant explicitement perception, raisonnement et action dans un seul modèle, NVIDIA permet aux constructeurs et équipementiers de tracer pourquoi une voiture a pris une décision donnée, un enjeu central pour la certification et la confiance du public dans les véhicules autonomes. Les traces causales s'intègrent aux outils de validation de sécurité Halos de NVIDIA et respectent la norme ISO/PAS 8800. Utilisé comme outil d'auto-annotation sur des données de flottes propriétaires, le modèle permettrait, selon l'entreprise, de réduire des cycles d'annotation de plusieurs mois à quelques jours. Ce lancement s'inscrit dans la stratégie de NVIDIA de fournir une pile logicielle complète pour la conduite autonome, du silicium aux modèles de fondation. En rendant commercialement exploitable sans permission supplémentaire toute la famille Alpamayo, l'entreprise cherche à s'imposer comme fournisseur de référence face à des acteurs comme Waymo, Tesla ou les constructeurs chinois qui développent leurs propres piles de perception. Le modèle reste toutefois gourmand en ressources, testé sur un GPU H100 80 Go avec un pic de 72 115 Mo de mémoire, ce qui implique une distillation nécessaire avant tout déploiement embarqué dans un véhicule.

SlicerRoboTMS : extension open source de 3D Slicer pour la stimulation magnétique transcrânienne robotisée

Une équipe de chercheurs a publié SlicerRoboTMS, une extension open-source pour la plateforme logicielle 3D Slicer, dédiée à la stimulation magnétique transcrânienne assistée par robot (Robo-TMS). L'article, déposé sur arXiv (référence 2504.25661), décrit une infrastructure logicielle unifiée qui combine navigation neurologique par IRM, vision par ordinateur et contrôle robotique au sein d'un même environnement. L'extension s'appuie sur les capacités existantes de 3D Slicer en matière d'imagerie médicale et communique avec les systèmes robotiques via des protocoles standardisés et des descriptions de configuration modulaires. Le code source est disponible librement sur GitHub, sous l'organisation OpenRoboTMS. La TMS conventionnelle est une technique non invasive de stimulation cérébrale largement utilisée en psychiatrie, neurologie et recherche en neurosciences, notamment pour traiter la dépression résistante aux médicaments. Son principal défaut : la précision du positionnement de la bobine magnétique sur le crâne dépend entièrement de l'opérateur humain, ce qui nuit à la reproductibilité des traitements et des expériences. SlicerRoboTMS vise à résoudre ce problème en guidant un bras robotique à partir de données IRM du patient, améliorant ainsi la précision et la cohérence entre sessions. Pour les cliniques et les laboratoires, cela représente un gain concret en qualité de soin et en rigueur expérimentale, sans avoir à développer une infrastructure logicielle propriétaire coûteuse. Le développement de systèmes Robo-TMS bute depuis des années sur un obstacle majeur : l'intersection entre imagerie médicale, robotique et traitement du signal exige des compétences multidisciplinaires rares, que peu d'équipes réunissent. En proposant une solution open-source construite sur un logiciel médical déjà adopté mondialement, les auteurs abaissent significativement ce seuil d'entrée et facilitent le prototypage rapide. L'extension est conçue pour s'adapter à diverses configurations matérielles, ce qui la rend potentiellement compatible avec différents fabricants de bras robotiques. Les prochaines étapes naturelles concerneront la validation clinique à grande échelle et l'intégration dans des workflows hospitaliers certifiés.

GroundedPlanBench : planification de tâches longues horizon pour la manipulation robotique avec ancrage spatial

Des chercheurs ont publié GroundedPlanBench, un nouveau benchmark conçu pour évaluer la capacité des modèles de vision-langage (VLM) à planifier des séquences d'actions robotiques tout en déterminant précisément où chaque action doit s'effectuer dans l'espace. Le benchmark s'appuie sur 308 scènes de manipulation robotique issues du dataset DROID, à partir desquelles des experts ont défini 1 009 tâches allant de séquences courtes (1 à 4 actions) à des chaînes longues et complexes (jusqu'à 26 actions). Chaque tâche est formulée selon deux styles d'instruction : explicite ("poser une cuillère sur l'assiette blanche") ou implicite ("ranger la table"). Pour accompagner ce benchmark, l'équipe a également développé V2GP (Video-to-Spatially Grounded Planning), un framework qui convertit des vidéos de démonstration robotique en données d'entraînement spatialement ancrées, en exploitant notamment SAM3, le modèle de segmentation vidéo open-vocabulary de Meta, pour suivre les objets manipulés image par image. Ce processus a permis de générer 43 000 plans ancrés. L'enjeu est de taille : aujourd'hui, la plupart des systèmes robotiques fonctionnent en deux temps séparés, un VLM génère un plan en langage naturel, puis un second modèle le traduit en actions exécutables. Cette approche découplée introduit des erreurs en cascade, car le langage naturel reste ambigu ou halluciné lorsqu'il s'agit de préciser à la fois ce qu'il faut faire et à quel endroit. GroundedPlanBench force les modèles à traiter ces deux dimensions simultanément, ce que les VLMs actuels, qu'ils soient open-source ou propriétaires, peinent à faire sur des tâches longues. Les résultats montrent que l'approche de planification ancrée améliore à la fois le taux de réussite des tâches et la précision des actions, surpassant les architectures découplées aussi bien sur le benchmark qu'en conditions réelles avec de vrais robots. Ce travail s'inscrit dans un mouvement plus large visant à doter les robots d'une compréhension spatiale fine du monde réel, au-delà de la simple compréhension sémantique. Les VLMs ont transformé la planification robotique en rendant possible l'interprétation d'instructions en langage naturel, mais l'ancrage spatial, savoir précisément sur quel objet agir et où le déposer, reste un verrou majeur pour les tâches du quotidien. En proposant à la fois un protocole d'évaluation standardisé et une méthode pour générer automatiquement des données d'entraînement à partir de vidéos de démonstration existantes, cette contribution pourrait accélérer le développement de robots manipulateurs capables d'opérer de façon autonome dans des environnements non contrôlés. Les prochaines étapes probables concerneront l'extension à des scènes encore plus dynamiques et à des instructions encore plus ambiguës, là où la frontière entre compréhension linguistique et raisonnement spatial est la plus ténue.