Into the Omniverse : comment les modèles de monde ouvert repoussent les limites de l'IA physique

NVIDIA a rejoint en juillet plus de 200 entreprises et organisations signataires de la lettre ouverte « Open Weights and American AI Leadership », qui défend l'idée que le leadership en intelligence artificielle ne se mesurera pas à un seul modèle de pointe, mais à la capacité d'un écosystème ouvert à irriguer tous les secteurs. Dans cette logique, l'entreprise a dévoilé Cosmos 3, une famille de modèles de fondation du monde physique en accès ouvert, construite sur une architecture dite mixture of transformers. Cosmos 3 combine raisonnement visuel, génération de mondes et prédiction d'actions dans un seul ensemble de modèles, incluant une version Super de 64 milliards de paramètres destinée aux usages haute fidélité. Ces modèles sont diffusés sous licence OpenMDW 1.1 de la Linux Foundation, ce qui permet aux équipes de les post-entraîner sur leurs propres données et leur propre matériel. Ils s'accompagnent des bibliothèques Omniverse, désormais intégrées au NVIDIA Agent Toolkit, qui fournissent des outils prêts à l'emploi pour construire des environnements de simulation.

Cette ouverture répond à un problème très concret pour l'IA physique, qui doit non seulement reconnaître son environnement mais aussi anticiper les conséquences de ses actions, que ce soit pour un robot, un véhicule autonome ou un système de vision embarquée. Un modèle générique n'a jamais vu le robot, les capteurs ou l'environnement opérationnel propres à une équipe donnée : combler cet écart suppose d'avoir accès aux poids du modèle, à une licence autorisant l'adaptation et aux outils nécessaires au post-entraînement. Les modèles du monde permettent ainsi de générer des données d'entraînement plus riches, de tester des politiques de décision et de spécialiser des systèmes avant leur déploiement réel, réduisant le recours à des essais coûteux et parfois dangereux sur le terrain.

Collecter des données physiques à grande échelle reste en effet difficile et onéreux, en particulier pour les scénarios rares ou les cas extrêmes, difficiles à reproduire de façon sûre et répétée. C'est là qu'interviennent les bibliothèques Omniverse et le framework ouvert OpenUSD, qui permettent de composer, réutiliser et échanger des données 3D complexes entre jumeaux numériques, simulations et générateurs de données synthétiques. Ensemble, ces outils limitent la duplication de travail qui s'accumule à chaque changement d'actifs, de configuration de capteurs ou de conditions environnementales. Avec Cosmos 3, NVIDIA cherche à consolider sa position face à la concurrence dans l'IA physique, un domaine où la robotique, les véhicules autonomes et les systèmes de vision par ordinateur convergent de plus en plus vers des architectures et des outils de simulation partagés.