NVIDIA lance Alpamayo 2 Super, un modèle vision-langage-action open source de 34 milliards de paramètres pour robotaxis et conduite autonome

NVIDIA Alpamayo 2 Super, son modèle ouvert pour robotaxis et véhicules autonomes, disponible en usage commercial

NVIDIA a annoncé la disponibilité commerciale d'Alpamayo 2 Super, son modèle ouvert de référence pour les robotaxis et les véhicules autonomes. Ce modèle appartient à la famille Alpamayo, présentée comme la plus adoptée des collections de modèles de raisonnement ouverts pour la conduite autonome sur Hugging Face. Construit sur la base de NVIDIA Cosmos 3 Super Reasoner et affiné par apprentissage par renforcement, Alpamayo 2 Super est désormais distribué sous licence OpenMDW-1.1, la licence permissive de la Linux Foundation pour les modèles d'IA ouverts. Cette licence autorise le fine-tuning, la création de modèles dérivés et la redistribution commerciale, ce qui permet aux constructeurs automobiles, aux fabricants de poids lourds et à leurs fournisseurs d'adapter le modèle à leurs propres données et stratégies de déploiement. Sur le plan des performances, Alpamayo 2 Super se classe premier sur LingoQA, un benchmark de raisonnement pour la conduite autonome regroupant près de 40 modèles évalués. Selon les tests internes de NVIDIA utilisant la métrique Lingo-Judge, il devance Qwen2.5-VL 72B de 17 points, Gemini 2.5 Pro de 15,1 points et GPT-4o de 23,2 points. Cette ouverture change la donne pour l'écosystème des véhicules autonomes. Jusqu'ici, les premières versions d'Alpamayo étaient réservées à la recherche et développement ; l'extension de la licence OpenMDW à toute la famille de modèles crée désormais un chemin direct entre l'adaptation et le déploiement en production. Les équipes peuvent ainsi construire sur un raisonnement avancé sans avoir à ré-entraîner chaque capacité de base depuis zéro, ni payer le coût d'un modèle frontière pour chaque tâche. Concrètement, cela renforce la concurrence dans un secteur dominé par des solutions propriétaires, tout en donnant aux développeurs davantage de contrôle sur leurs données et leur infrastructure, un enjeu central pour les flottes de véhicules et les questions de sécurité. Pour les programmes de conduite autonome, cela signifie un raisonnement de pointe exploitable dans le cloud, combiné à des modèles plus légers et spécialisés embarqués dans les véhicules. Cette approche illustre la stratégie plus large de NVIDIA autour d'un flux de travail « du cloud à la voiture ». Alpamayo 2 Super sert de modèle de référence pour générer des traces de raisonnement de haute qualité, des données d'entraînement synthétiques et des sorties utilisées pour la distillation de modèles plus compacts. Les versions Alpamayo 1.5 et Alpamayo 1, plus économiques, prennent alors le relais pour le développement dans le cloud et la distillation, avant que les modèles obtenus ne soient optimisés pour une inférence en temps réel embarquée. L'enjeu pour NVIDIA est de s'imposer comme la couche logicielle de référence pour l'industrie des véhicules autonomes, face à des concurrents qui développent leurs propres piles fermées, tout en misant sur les modèles ouverts pour élargir l'adoption et accélérer le déploiement de flottes commerciales de robotaxis.

💬 Sur le papier, c'est exactement ce qu'attendait l'écosystème des véhicules autonomes : un modèle de référence ouvert, licence permissive, et des perfs qui écrasent Gemini et GPT-4o sur le benchmark maison. La vraie bascule, c'est que NVIDIA ne vend plus juste des GPU aux constructeurs, il leur vend le cerveau du véhicule et garde la main sur le standard. Reste que le benchmark est interne à NVIDIA, donc à vérifier sur route avant de crier victoire.

NVIDIA lance Cosmos 3 Edge, un modèle de monde ouvert à 4 milliards de paramètres capable de raisonner et de générer des actions robotiques en local

NVIDIA a dévoilé Cosmos 3 Edge, un modèle du monde open source de 4 milliards de paramètres conçu pour fonctionner directement sur des appareils embarqués, sans connexion à un centre de données. Il permet aux robots et aux agents de vision par IA de comprendre leur environnement, de raisonner en temps réel et de générer des actions robotiques en local. Ce modèle complète la famille Cosmos 3, dont les deux premières déclinaisons, Cosmos 3 Nano (16 milliards de paramètres) et Cosmos 3 Super (64 milliards), avaient été lancées le 31 mai 2026 lors de la GTC Taipei. Edge en constitue le troisième et plus petit palier, environ seize fois plus compact que Super. L'objectif est précis : offrir des performances proches de celles d'un centre de données à des machines aux ressources mémoire limitées, comme celles utilisées dans les usines, les entrepôts ou les hôpitaux. Sur le plan technique, Cosmos 3 repose sur une architecture Mixture-of-Transformers à deux tours : une tour autorégressive dédiée au traitement du texte et de la vision pour la compréhension et le raisonnement, et une tour de diffusion qui gère vision, audio et tokens d'action pour la prédiction, la génération et la simulation. Les deux tours partagent des couches d'attention multimodale tout en conservant des couches de normalisation distinctes. Cosmos 3 Edge s'appuie sur un transformeur dense de 2 milliards de paramètres pour son module de raisonnement, compatible avec les conventions de messages de Qwen3-VL. Cette avancée répond à un besoin concret de l'industrie robotique : déployer une intelligence capable de raisonner sur le monde physique directement sur des systèmes contraints en mémoire et en calcul, sans dépendre du cloud. Pour un bras robotique, une simple reconnaissance visuelle d'un objet ne suffit pas : il faut aussi suivre sa position, anticiper le mouvement du préhenseur et prévoir ce qui se produit au contact. En unifiant ces capacités dans un modèle compact, NVIDIA facilite l'intégration de l'IA embarquée dans des secteurs où la latence, la confidentialité des données et l'autonomie énergétique sont critiques, comme la logistique, la santé ou la production industrielle. Le modèle introduit une représentation d'action commune à plusieurs types de systèmes physiques, sous forme de vecteurs géométriques compacts capturant translation, rotation et état de manipulation, avec des dimensions variant selon le cas d'usage, de 9 pour une caméra ou un véhicule autonome jusqu'à 29 pour un robot humanoïde. En mode politique, Cosmos 3 Edge peut prédire une action à partir d'un état donné ou, inversement, déduire l'action à l'origine d'un changement visuel observé. NVIDIA a également publié Cosmos 3 Edge Policy (DROID), une politique de manipulation robotique entraînée sur le jeu de données DROID pour des tâches de préhension et de dépôt, illustrant la volonté de l'entreprise de rapprocher modélisation du monde et contrôle robotique concret.

Robbyant lance LingBot-VLA 2.0, un modèle VLA open source de 6 milliards de paramètres pour la manipulation robotique multi-morphologies

Robbyant, filiale d'Ant Group, a publié LingBot-VLA 2.0, un modèle fondation de type Vision-Language-Action (VLA) destiné au contrôle de robots, accompagné d'un rapport technique, d'un code source sous licence Apache-2.0 et d'un checkpoint de 6 milliards de paramètres. Ce modèle, baptisé lingbot-vla-v2-6b, s'appuie sur Qwen3-VL-4B-Instruct comme backbone vision-langage et convertit des images de caméra ainsi qu'une instruction textuelle en commandes robotiques concrètes. Deux modèles enseignants, LingBot-Depth et DINO-Video, supervisent l'entraînement par distillation. Sur une carte graphique NVIDIA GeForce RTX 4090D, une inférence prend environ 130 millisecondes avec 10 étapes de débruitage. L'entraînement s'appuie sur environ 60 000 heures de données, dont 50 000 heures de trajectoires robotiques couvrant 20 configurations différentes, du bras unique à l'humanoïde complet, et 10 000 heures de vidéos égocentriques humaines, issues d'un pool brut de 90 000 et 20 000 heures respectivement, filtré par un pipeline qui élimine les échantillons bruités via des scores de secousse, vitesse et accélération. L'annotation des sous-tâches repose sur le modèle Qwen3.6-27B, qui segmente chaque vidéo selon un vocabulaire fermé de 18 catégories d'actions. L'enjeu central visé par Robbyant est de combler l'écart persistant entre les performances des modèles VLA en laboratoire et leurs limites en déploiement réel, un problème récurrent qui freine l'adoption industrielle de la robotique généraliste. En unifiant la représentation des actions dans un vecteur canonique de 55 dimensions, couvrant bras, effecteurs, mains, poignets, tête et base mobile, LingBot-VLA 2.0 permet à un seul modèle de piloter des architectures robotiques très différentes sans réentraînement spécifique. Cette approche pourrait accélérer le déploiement de robots polyvalents dans l'industrie et la logistique, en réduisant les coûts de développement liés à la création d'un modèle par type de robot. L'ouverture du code sous licence permissive vise aussi à stimuler la recherche communautaire sur les modèles VLA multi-embodiment. Le choix d'une architecture Mixture-of-Experts pour l'expert d'action, inspirée des mécanismes de routage sans perte d'équilibrage introduits par DeepSeek-V3, s'inscrit dans une tendance plus large de la recherche en IA visant à augmenter la capacité des modèles sans alourdir le calcul actif. À paramètres actifs équivalents, cette architecture MoE surpasse un modèle dense de référence sur les tâches du benchmark GM-100. LingBot-VLA 2.0 introduit également une distillation à double requête, avec des jetons apprenants ciblant l'observation présente et une observation future, pour anticiper la dynamique du monde plutôt que réagir seulement à l'instant présent. Ces choix technique reflètent la compétition croissante entre laboratoires chinois et occidentaux sur la robotique générale fondée sur des modèles fondation, un terrain où Ant Group cherche désormais à s'imposer aux côtés d'acteurs comme Figure, Physical Intelligence ou Google DeepMind.

💬 C'est le pattern qu'on va voir se répéter partout en robotique cette année : un seul modèle qui pilote bras, mains et humanoïde sans réentraînement par machine. Un vecteur d'action unifié à 55 dimensions, ça règle enfin le vrai problème, celui de devoir refaire un modèle à chaque nouveau robot. Reste que 130ms d'inférence sur une RTX 4090D, c'est loin d'être garanti stable en usine, et Ant Group arrive tard face à Figure ou Physical Intelligence sur ce terrain.

Décision interactive pour la conduite autonome par grands modèles de langage

Des chercheurs ont publié sur arXiv un nouveau cadre de prise de décision pour véhicules autonomes, conçu spécifiquement pour les situations de trafic mixte à forte densité où coexistent voitures humaines et autonomes. Le système exploite les grands modèles de langage non pour générer du texte, mais pour analyser dynamiquement la scène routière et inférer les intentions des autres usagers. Il repose sur l'Object-Process Methodology (OPM), qui traduit les données perceptuelles brutes en objets, processus et relations compréhensibles par le modèle. Celui-ci identifie ensuite les intentions explicites et implicites des véhicules voisins, génère des trajectoires candidates par échantillonnage Monte Carlo, et sélectionne la trajectoire optimale sous contraintes conjointes de sécurité et d'efficacité. La décision finale est retranscrite en langage naturel et diffusée aux autres usagers via une interface homme-machine externe (eHMI). Testé dans un simulateur de conduite en convoi, le système surpasse les approches traditionnelles sur les critères de sécurité, confort et fluidité, et un test de style Turing révèle une forte ressemblance avec les comportements humains au volant. Ce travail s'attaque à l'un des principaux freins à l'adoption des véhicules autonomes : leur tendance aux comportements excessivement prudents dans les situations conflictuelles, qui génèrent blocages et méfiance du public. En dotant le véhicule d'une capacité de lecture des intentions des autres conducteurs et d'une communication proactive en langage naturel, le cadre proposé change la nature de l'interaction : il ne s'agit plus seulement d'éviter les accidents, mais d'expliquer en temps réel les décisions du robot pour instaurer une confiance partagée avec les piétons, cyclistes et automobilistes environnants. La conduite autonome en environnement mixte reste l'un des défis les plus complexes du secteur, au croisement de la robotique, des sciences cognitives et de l'IA générative. Des acteurs comme Waymo ou Mobileye investissent massivement dans ces problèmes d'interaction homme-machine. L'intégration des LLMs dans la boucle de décision en temps réel représente une direction émergente : elle permet d'exploiter le raisonnement de sens commun de ces modèles sans avoir à coder explicitement chaque scénario possible. Encore limité à la simulation, le système devra prouver sa robustesse et sa faible latence en conditions réelles, mais les auteurs y voient une voie crédible vers une conduite autonome réellement interactive et digne de confiance dans un trafic dense.