NVIDIA lance Cosmos 3 Edge, un modèle de monde ouvert à 4 milliards de paramètres capable de raisonner et de générer des actions robotiques en local

NVIDIA lance Cosmos 3 : un modèle de fondation à deux tours mêlant raisonnement physique, génération de mondes et d'actions

NVIDIA a publié Cosmos 3, une nouvelle famille de modèles d'IA fondationnels conçus pour les systèmes d'IA physique, robots, véhicules autonomes et systèmes de surveillance industrielle. La particularité de cette version réside dans son architecture dite Mixture-of-Transformers (MoT) à deux tours, qui réunit pour la première fois dans un seul modèle trois capacités jusqu'ici séparées : le raisonnement physique, la génération de monde (vidéo, images, son) et la génération d'actions. NVIDIA a publié en open source les poids, scripts d'entraînement, outils de déploiement et jeux de données. Deux échelles sont disponibles au lancement : Cosmos3-Nano (16 milliards de paramètres, basé sur Qwen3-VL 8B) pour l'inférence sur GPU workstation comme la RTX PRO 6000, et Cosmos3-Super (64 milliards de paramètres, basé sur Qwen3-VL 32B) pour les datacenters équipés de GPU Hopper ou Blackwell. Des variantes spécialisées accompagnent cette sortie, dont Super Text2Image, Super Image2Video et Nano-Policy-DROID. L'unification de ces trois capacités dans un seul modèle représente un changement structurel pour les équipes qui développent des systèmes robotiques ou de conduite autonome. Jusqu'ici, il fallait orchestrer plusieurs modèles distincts, un pour percevoir, un pour prédire, un pour agir, ce qui multipliait la complexité d'intégration et les points de défaillance. Cosmos 3 propose un flux cohérent : la tour "reasoner" (un VLM autorégressif qui comprend images, vidéos et texte) conditionne la tour "generator" (diffusion pour la vidéo et les actions), l'information circulant dans un seul sens. Les équipes de robotique temps réel peuvent faire tourner le Nano sur du matériel de terrain, tandis que les équipes de R&D génèrent des données synthétiques à grande échelle avec le Super. Sur les benchmarks, Cosmos 3 domine VANTAGE-Bench et le leaderboard TAR (Traffic Anomaly Reasoning) dans leurs catégories respectives. Cette sortie s'inscrit dans la stratégie d'NVIDIA visant à s'imposer comme infrastructure logicielle de l'IA physique, au-delà de la simple vente de GPU. Les versions précédentes de Cosmos fragmentaient les capacités ; Cosmos 3 consolide l'approche autour d'un socle commun initialisé depuis les poids Qwen3-VL de l'écosystème open source. Le modèle gère nativement des entrées texte, image, vidéo et tableaux d'actions JSON, et produit des sorties allant jusqu'à 720p à 24 FPS avec son stéréo AAC 48 kHz, pour une durée maximale d'environ 12,5 secondes. Il supporte une gamme d'embodiments robotiques (caméra, véhicule, bras simple ou double, humanoïde), chacun avec des dimensions d'action fixes. Face à la montée en puissance de Google DeepMind, Boston Dynamics et des startups robotiques chinoises, NVIDIA mise sur l'open source et la verticalisation logicielle pour ancrer son écosystème dans les prochaines années de déploiement d'IA physique.

💬 Orchestrer trois modèles séparés pour percevoir, prédire et agir, c'était le quotidien douloureux des équipes robotique, et Cosmos 3 règle ça proprement. L'open source complet, poids + scripts + datasets, c'est pas de la comm, NVIDIA construit une base logicielle sur laquelle personne ne pourra se passer d'eux dans 3 ans. Reste à voir si le Nano tient en conditions réelles, parce que sur les benchmarks c'est toujours plus joli qu'en prod.

Mistral se lance dans la robotique avec Robostral Navigate, un modèle de 8 milliards de paramètres qui pilote les robots avec une seule caméra

Mistral entre sur le marché de la robotique avec Robostral Navigate, un modèle de 8 milliards de paramètres capable de guider un robot dans un environnement inconnu à partir d'une seule caméra RGB. Entraîné en simulation puis affiné par apprentissage par renforcement grâce à une méthode baptisée CISPO, le modèle atteint un score de 76,6 % sur le benchmark R2R-CE, une référence standard pour évaluer la navigation robotique guidée par le langage en environnement continu. Mistral n'a pour l'instant communiqué aucune date de disponibilité commerciale pour ce modèle. Cette annonce marque un tournant stratégique pour la start-up française, jusque-là concentrée sur les grands modèles de langage textuels et multimodaux. En misant sur une navigation reposant sur une caméra unique plutôt que sur des capteurs coûteux comme le LiDAR ou des systèmes multi-caméras, Mistral vise à rendre l'autonomie robotique plus accessible et moins onéreuse à déployer, un enjeu central pour les fabricants de robots mobiles, de drones ou de véhicules autonomes qui cherchent à réduire les coûts matériels tout en conservant des performances fiables en environnement réel et imprévisible. Ce mouvement s'inscrit dans une compétition mondiale croissante autour de l'intelligence artificielle incarnée, où des acteurs comme Google DeepMind, Nvidia ou encore des start-up spécialisées investissent massivement pour doter les robots d'une compréhension fine de leur environnement physique. En s'appuyant sur son expertise en modèles de langage compacts et efficaces, Mistral cherche à se positionner comme fournisseur de briques logicielles pour l'industrie robotique, un marché encore jeune mais jugé stratégique, alors que les frontières entre IA générative et robotique autonome continuent de s'estomper rapidement.

Cosmos 3 Edge : cette IA de NVIDIA apprend aux robots à comprendre le monde en temps réel

NVIDIA a dévoilé le 20 juillet 2026 Cosmos 3 Edge, un nouveau modèle d'IA physique conçu pour équiper les robots, les véhicules autonomes et les systèmes de vision intelligente. Contrairement aux modèles classiques qui se contentent d'identifier des objets sur une image fixe, ce « world model » suit l'évolution d'une scène dans le temps, relie les objets entre eux, observe leurs déplacements et anticipe les effets de chaque action. Le modèle embarque 4 milliards de paramètres, épaulés par un moteur de raisonnement basé sur Nemotron doté de 2 milliards de paramètres supplémentaires, chargé d'analyser l'information avant de produire une réponse ou de déclencher une action. Sa particularité tient surtout à son mode d'exécution : au lieu de dépendre d'un serveur distant, Cosmos 3 Edge tourne directement sur l'appareil, qu'il s'agisse des plateformes NVIDIA Jetson, des GPU GeForce RTX, des cartes RTX PRO ou des systèmes DGX. Le modèle est d'ores et déjà disponible sur Hugging Face, accompagné de scripts permettant aux développeurs de l'adapter à leurs propres projets. Ce fonctionnement local change concrètement la donne pour les usages où chaque milliseconde compte. En traitant les données sur place plutôt qu'en les envoyant vers le cloud, Cosmos 3 Edge réduit fortement la latence des décisions et permet aux machines de continuer à fonctionner même quand la connexion réseau est instable ou absente. Pour des robots industriels, des entrepôts automatisés, des hôpitaux ou des infrastructures urbaines équipées de caméras intelligentes, ce gain de réactivité peut se traduire par une différence tangible en matière de sécurité et d'efficacité. Un véhicule autonome peut ainsi mieux anticiper le comportement des piétons ou des autres voitures, tandis qu'un bras robotique en usine peut ajuster son geste en temps réel sans attendre de retour d'un serveur distant. Cette autonomie locale répond aussi à une préoccupation industrielle plus large autour de la confidentialité des données, puisque rien ne transite vers l'extérieur. L'architecture de Cosmos 3 Edge repose sur deux moteurs qui travaillent en permanence de concert. Le premier traite les images et le texte pour comprendre une situation et raisonner sur celle-ci, tandis que le second analyse images, sons et actions afin de simuler différents scénarios et de générer les mouvements à exécuter. Le modèle peut ainsi imaginer les conséquences d'une action avant qu'elle ne survienne, mais aussi déduire rétrospectivement quelle action a provoqué un changement observé. Autre choix structurant, NVIDIA traduit les mouvements de bras robotiques, de caméras ou de véhicules dans une représentation commune, ce qui facilite l'adaptation du modèle à des usages très différents sans repartir de zéro à chaque fois. Cette sortie s'inscrit dans la stratégie de NVIDIA de s'imposer comme fournisseur de référence de l'IA physique, un marché où robotique industrielle et conduite autonome convergent de plus en plus vers les mêmes briques technologiques.

Robbyant lance LingBot-VLA 2.0, un modèle VLA open source de 6 milliards de paramètres pour la manipulation robotique multi-morphologies

Robbyant, filiale d'Ant Group, a publié LingBot-VLA 2.0, un modèle fondation de type Vision-Language-Action (VLA) destiné au contrôle de robots, accompagné d'un rapport technique, d'un code source sous licence Apache-2.0 et d'un checkpoint de 6 milliards de paramètres. Ce modèle, baptisé lingbot-vla-v2-6b, s'appuie sur Qwen3-VL-4B-Instruct comme backbone vision-langage et convertit des images de caméra ainsi qu'une instruction textuelle en commandes robotiques concrètes. Deux modèles enseignants, LingBot-Depth et DINO-Video, supervisent l'entraînement par distillation. Sur une carte graphique NVIDIA GeForce RTX 4090D, une inférence prend environ 130 millisecondes avec 10 étapes de débruitage. L'entraînement s'appuie sur environ 60 000 heures de données, dont 50 000 heures de trajectoires robotiques couvrant 20 configurations différentes, du bras unique à l'humanoïde complet, et 10 000 heures de vidéos égocentriques humaines, issues d'un pool brut de 90 000 et 20 000 heures respectivement, filtré par un pipeline qui élimine les échantillons bruités via des scores de secousse, vitesse et accélération. L'annotation des sous-tâches repose sur le modèle Qwen3.6-27B, qui segmente chaque vidéo selon un vocabulaire fermé de 18 catégories d'actions. L'enjeu central visé par Robbyant est de combler l'écart persistant entre les performances des modèles VLA en laboratoire et leurs limites en déploiement réel, un problème récurrent qui freine l'adoption industrielle de la robotique généraliste. En unifiant la représentation des actions dans un vecteur canonique de 55 dimensions, couvrant bras, effecteurs, mains, poignets, tête et base mobile, LingBot-VLA 2.0 permet à un seul modèle de piloter des architectures robotiques très différentes sans réentraînement spécifique. Cette approche pourrait accélérer le déploiement de robots polyvalents dans l'industrie et la logistique, en réduisant les coûts de développement liés à la création d'un modèle par type de robot. L'ouverture du code sous licence permissive vise aussi à stimuler la recherche communautaire sur les modèles VLA multi-embodiment. Le choix d'une architecture Mixture-of-Experts pour l'expert d'action, inspirée des mécanismes de routage sans perte d'équilibrage introduits par DeepSeek-V3, s'inscrit dans une tendance plus large de la recherche en IA visant à augmenter la capacité des modèles sans alourdir le calcul actif. À paramètres actifs équivalents, cette architecture MoE surpasse un modèle dense de référence sur les tâches du benchmark GM-100. LingBot-VLA 2.0 introduit également une distillation à double requête, avec des jetons apprenants ciblant l'observation présente et une observation future, pour anticiper la dynamique du monde plutôt que réagir seulement à l'instant présent. Ces choix technique reflètent la compétition croissante entre laboratoires chinois et occidentaux sur la robotique générale fondée sur des modèles fondation, un terrain où Ant Group cherche désormais à s'imposer aux côtés d'acteurs comme Figure, Physical Intelligence ou Google DeepMind.

💬 C'est le pattern qu'on va voir se répéter partout en robotique cette année : un seul modèle qui pilote bras, mains et humanoïde sans réentraînement par machine. Un vecteur d'action unifié à 55 dimensions, ça règle enfin le vrai problème, celui de devoir refaire un modèle à chaque nouveau robot. Reste que 130ms d'inférence sur une RTX 4090D, c'est loin d'être garanti stable en usine, et Ant Group arrive tard face à Figure ou Physical Intelligence sur ce terrain.