NVIDIA lance Cosmos 3 : un modèle de fondation à deux tours mêlant raisonnement physique, génération de mondes et d'actions

IA physique : raisonnement, modèles du monde et d'action avec NVIDIA Cosmos 3

NVIDIA a annoncé Cosmos 3, un modèle fondamental de frontière dédié à l'IA physique, conçu pour doter les robots, les véhicules autonomes et les espaces intelligents d'une capacité de compréhension du monde réel. L'architecture de Cosmos 3 repose sur trois composantes intégrées : des modèles de raisonnement physique, des modèles de monde et des modèles d'action, permettant à un système de percevoir son environnement, d'anticiper les événements à venir et de produire des séquences d'actions adaptées à une incarnation physique et à une tâche spécifiques. Ce type d'approche unifiant raisonnement, simulation et action au sein d'un seul modèle fondamental représente un changement de paradigme pour les intégrateurs robotiques. Jusqu'ici, ces trois briques étaient souvent développées séparément, ce qui générait des lacunes au niveau du transfert sim-to-real. Un modèle entraîné à raisonner sur la physique du monde avant de planifier l'action offre théoriquement une meilleure généralisation sur des tâches non vues en production, bien que les benchmarks industriels indépendants restent à confirmer. NVIDIA avait introduit la plateforme Cosmos en janvier 2025 au CES, positionnant alors ses modèles génératifs de monde comme infrastructure pour les fabricants de robots et les constructeurs automobiles. Cosmos 3 s'inscrit dans cette trajectoire d'itération rapide, face à une concurrence directe : Google DeepMind avec les modèles Gemini Robotics et RT-2, Physical Intelligence (pi) avec Pi-0, et Figure AI avec ses propres VLA. L'enjeu pour NVIDIA est de s'imposer comme couche d'infrastructure fondamentale de l'IA physique, au-delà du seul matériel GPU.

💬 Le vrai pari de NVIDIA avec Cosmos 3, c'est de s'imposer comme couche d'infrastructure logicielle de l'IA physique, au-delà du GPU. Raisonner sur la physique avant de planifier l'action, et unifier les trois briques dans un seul fondamental, c'est exactement ce qui manquait pour réduire les galères de transfert sim-to-real qui plombent les déploiements robotiques depuis des années. Sans benchmarks industriels indépendants, ça reste du déclaratif, mais la direction est la bonne.

Nvidia mise sur l'IA physique au GTC Taipei : nouveau modèle de monde, cerveau de conduite et robot humanoïde open source

Lors du GTC Taipei, Nvidia a dévoilé plusieurs modèles destinés à accélérer son offensive dans l'IA physique. La conférence a été marquée par trois annonces majeures : Cosmos 3, un nouveau modèle de monde (world model) de dernière génération, Alpamayo 2 Super, une version considérablement élargie du modèle de conduite autonome, et une plateforme de référence ouverte pour robots humanoïdes. Ces annonces s'inscrivent dans la stratégie de Jensen Huang de faire de Nvidia le fournisseur incontournable de l'infrastructure pour les systèmes physiques intelligents. Ces outils visent des marchés en pleine explosion : la robotique industrielle, les véhicules autonomes et les systèmes de surveillance vidéo intelligents. Un world model comme Cosmos 3 permet à des robots ou des voitures autonomes de simuler leur environnement et d'anticiper les conséquences de leurs actions, une brique fondamentale pour passer de la démonstration laboratoire au déploiement à grande échelle. La plateforme humanoïde ouverte, quant à elle, vise à standardiser le développement matériel et logiciel pour les constructeurs de robots à deux jambes, réduisant les coûts d'entrée pour les startups du secteur. Nvidia capitalise ici sur sa domination dans les GPU d'entraînement pour étendre son empreinte vers l'inférence embarquée et les systèmes temps-réel. La concurrence s'intensifie avec des acteurs comme Qualcomm et Intel sur les puces pour véhicules autonomes, tandis que des entreprises comme Figure, Boston Dynamics ou 1X Technologies attendent des plateformes logicielles communes pour accélérer leurs développements. GTC Taipei confirme que Nvidia ne veut pas seulement alimenter les data centers de l'IA, il veut aussi être le cerveau des machines qui bougent.

MolmoAct : implémentation pour le raisonnement spatial 3D, le suivi de trajectoire et la prédiction robotique

Des chercheurs d'AllenAI ont publié MolmoAct, un modèle multimodal de 7 milliards de paramètres conçu pour raisonner dans l'espace tridimensionnel à partir d'observations visuelles. Le modèle, identifié sous la référence allenai/MolmoAct-7B-D-0812, accepte des entrées multi-vues, c'est-à-dire plusieurs images prises sous différents angles, et génère à partir d'instructions en langage naturel trois types de sorties : une estimation de profondeur, une trajectoire visuelle tracée, et des commandes d'action directement exploitables par un système robotique. Un tutoriel d'implémentation complet a été publié pour permettre aux développeurs de reproduire l'ensemble du pipeline dans Google Colab, en s'appuyant sur PyTorch 2.0 ou supérieur, la bibliothèque Transformers en version 4.52, et une infrastructure GPU standard. Ce type de modèle représente un changement de paradigme dans la robotique pilotée par l'IA : plutôt que de séparer la perception visuelle, la compréhension spatiale et la planification motrice dans des modules distincts, MolmoAct intègre ces trois capacités dans un seul réseau neuronal interrogeable en langage humain. Concrètement, un opérateur peut demander au modèle d'atteindre un objet dans une scène complexe, et le système produit directement la séquence d'actions requise, en tenant compte des distances et obstacles perçus dans les images. Pour les équipes travaillant sur des bras robotiques, des drones autonomes ou des systèmes d'assistance, cette architecture réduit considérablement la complexité d'intégration et ouvre la voie à des robots pilotables par des non-spécialistes. MolmoAct s'inscrit dans une vague de modèles dits "action-reasoning" qui cherchent à combler le fossé entre vision par ordinateur et contrôle robotique. AllenAI, l'institut de recherche fondé par Paul Allen et affilié à l'Université de Washington, développe depuis plusieurs années la famille de modèles Molmo, positionnée comme une alternative ouverte aux modèles multimodaux propriétaires de Google ou OpenAI. La publication d'un tutoriel d'implémentation pas-à-pas, avec un code entièrement reproductible et accessible sur des GPUs grand public, traduit une volonté délibérée de démocratiser ces capacités. La prochaine étape naturelle sera l'évaluation de MolmoAct sur des benchmarks robotiques standardisés et son intégration dans des environnements physiques réels, où la robustesse face aux variations d'éclairage et d'occlusion restera le principal défi.

Ce que les discussions entre LG et NVIDIA révèlent sur l'avenir de l'IA physique

LG et NVIDIA sont actuellement en discussions exploratoires portant sur l'IA physique, les centres de données et la mobilité. Une rencontre à Séoul entre Ryu Jae-cheol, PDG de LG, et Madison Huang, directeur senior marketing produit pour Omniverse et la robotique chez NVIDIA, a permis de poser les bases d'une coopération potentielle. Aucun montant ni calendrier n'a encore été formalisé, mais les deux entreprises ont des priorités matérielles qui se recoupent sur deux fronts distincts : l'infrastructure thermique des centres de données et la robotique domestique. Sur le premier point, LG a présenté au CES 2026 des solutions de climatisation et de gestion thermique haute efficacité spécifiquement conçues pour les fermes de serveurs IA. Sur le second, le groupe coréen a dévoilé CLOiD, un robot domestique doté de deux bras à sept degrés de liberté et de cinq doigts à actuation individuelle, fonctionnant sur sa plateforme maison baptisée "Affectionate Intelligence". En parallèle, NVIDIA vient de conclure un essai de deux semaines sur un site Siemens en janvier 2026, annoncé en avril à la foire de Hanovre, où un robot humanoïde HMND 01 Alpha a exécuté des opérations logistiques réelles sur une plage de huit heures. Ces discussions révèlent une dépendance structurelle croissante entre les fabricants d'équipements physiques et les fournisseurs de puissance de calcul. Les racks de serveurs NVIDIA génèrent des densités de chaleur que les systèmes de refroidissement conventionnels ne peuvent plus absorber sans dégrader les performances : lorsque les nœuds de calcul surchauffent, ils réduisent automatiquement leur cadence, détruisant le retour sur investissement des puces haut de gamme. Intégrer les solutions thermiques de LG directement dans l'écosystème NVIDIA permettrait aux opérateurs d'entasser plus de puissance de calcul dans moins d'espace physique. Du côté robotique, LG manque aujourd'hui des environnements de simulation, des modèles de manipulation pré-entraînés et de l'infrastructure de jumeaux numériques nécessaires pour déployer CLOiD en toute sécurité dans des logements réels. La pile Omniverse et Isaac de NVIDIA offre précisément cette architecture, optimisée pour l'inférence physique en temps réel, ce qui permettrait de comprimer drastiquement le délai entre prototype et production commerciale. L'enjeu central de ces négociations illustre une fracture fondamentale de l'IA physique : les environnements industriels, comme l'usine Siemens d'Erlangen, sont structurés et prévisibles, ce qui facilite le déploiement de robots. Les intérieurs domestiques, eux, présentent une variabilité extrême en termes d'éclairage, de disposition et de comportement humain imprévisible, rendant le passage à l'échelle bien plus complexe. LG mise sur NVIDIA pour combler cette lacune via la puissance de simulation et l'inférence en périphérie de réseau. Pour NVIDIA, dont les revenus du segment centres de données battent régulièrement des records, nouer des partenariats avec des constructeurs d'appareils grand public comme LG représente une voie pour ancrer sa plateforme Omniverse comme standard de l'industrie robotique, avant que la concurrence chinoise ou les acteurs spécialisés ne s'imposent.