Into the Omniverse : comment les développeurs transforment leurs idées en simulations avec des agents IA de pointe
NVIDIA publie dans sa série « Into the Omniverse » plusieurs exemples de développeurs qui confient à des agents d'IA de pointe, comme GPT-6 Astra ou Claude Fable 5, l'assemblage de simulations fondées sur les bibliothèques Omniverse. Frank DeLise, chef de produit Omniverse, a demandé à Astra de transformer un entrepôt et un robot humanoïde au format SimReady en simulateur interactif, jouable en vue à la première ou à la troisième personne. L'agent a relié les bibliothèques de physique (ovphysx), de mise à jour de scène (ovstage), de rendu (ovrtx) et d'interface (ovui), puis généré l'animation et le code applicatif. Doyub Kim, de l'équipe de technologie de simulation, a obtenu avec Astra « Zero to Alpamayo », un environnement réutilisable reproduisant Market Street à San Francisco. Il a fait connecter par étapes la création d'actifs, le trafic, la simulation de capteurs RTX et le modèle de conduite Alpamayo, en vérifiant chaque intégration. Une expérience distincte avec Cosmos3-Nano a fait varier météo et éclairage dans des vidéos de simulation. Ashley Reid, spécialiste de la validation de capteurs RTX, a de son côté dirigé des agents Astra et Claude Fable 5 pour comparer les sorties caméra et lidar d'ovrtx à des données enregistrées. En trois jours environ, ils ont créé deux jumeaux numériques de zéro et amélioré deux autres.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de NVIDIA AI Blog. Lire l'article original →
L'intérêt tient à la réduction du travail d'intégration, qui reste long dans la simulation : réunir les actifs, brancher physique et rendu, puis vérifier que la scène se comporte comme prévu. Ici, le développeur formule ses intentions en langage naturel, examine les résultats et oriente les corrections, tandis que les bibliothèques fournissent l'accélération GPU. Pour la conduite autonome, le prototype de Doyub Kim permet de mesurer comment un changement de scène, de capteur ou de modèle se répercute sur le comportement du véhicule. Pour les jumeaux numériques, la méthode d'Ashley Reid transforme les écarts mesurés entre capteurs réels et simulés en indicateurs chiffrés qui guident la correction des objets, de la géométrie et des matériaux manquants, l'acceptation reposant sur des métriques caméra et lidar.
Ces démonstrations s'inscrivent dans la stratégie de NVIDIA de faire d'Omniverse et du format OpenUSD le socle de la simulation pour la robotique et les véhicules autonomes, tout en s'appuyant sur des modèles tiers. Un quatrième projet, « Robo Olympics », vise à vérifier que les mouvements appris par des robots tiennent sous contraintes physiques. NVIDIA indique que d'autres exemples, issus de ses équipes et de l'écosystème, suivront.
Pas d\'impact direct sur la France/UE