Créer une usine de modèles d'IA physique avec NVIDIA Cosmos 3 sur SageMaker HyperPod
NVIDIA et Amazon Web Services ont détaillé, dans un billet technique publié sur le blog AWS, comment construire une "usine à modèles" d'IA physique en combinant le nouveau modèle Cosmos 3 de NVIDIA avec Amazon SageMaker HyperPod, un service de calcul dédié à l'entraînement de modèles à grande échelle sur Amazon EKS. Cosmos 3 est décrit comme un modèle de fondation "omnimodal" ouvert, qui traite vidéo, images, actions et son comme un seul flux de tokens grâce à une architecture Mixture-of-Transformers avec attention conjointe à chaque couche. Un même tronc transformeur fonctionne dans trois modes distincts : générateur de vidéos synthétiques par dynamique directe, étiqueteur d'actions par dynamique inverse, et politique d'action déployable pour piloter un robot ou un véhicule autonome. Le modèle repose sur un transformeur de vision (ViT) pour comprendre les images, un encodeur vidéo Wan2.2 figé pour générer les pixels, et un vecteur compact représentant les deltas de pose et l'état de préhension, permettant à un même système de commander aussi bien un bras robotique qu'un véhicule autonome. NVIDIA a publié Cosmos 3 sous licence OpenMDW-1.1 de la Linux Foundation, avec un rapport technique détaillant l'architecture, et AWS met à disposition le code, les modèles d'infrastructure et les manifestes de tâches dans le dépôt GitHub awsome-distributed-ai, incluant une démonstration complète sur le jeu de données public DROID pour l'étape de politique robotique.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de AWS ML Blog. Lire l'article original →
L'enjeu principal est économique et opérationnel : entraîner un système d'IA physique n'est pas une tâche unique mais une boucle continue de génération de données, post-entraînement et évaluation en simulation, qui nécessite traditionnellement des grappes de GPU séparées pour chaque étape, chacune avec son propre cycle de déploiement. En unifiant génération, post-entraînement et évaluation dans un seul modèle partagé, Cosmos 3 permet de faire tourner ces trois charges de travail sur un unique pool de GPU persistant, géré par un seul plan de contrôle de cluster, plutôt que de multiplier les réservations dédiées. Cela change directement la métrique de référence pour les équipes qui construisent des robots ou des véhicules autonomes : ce n'est plus le débit maximal d'une tâche isolée qui compte, mais le "GPU goodput", soit la progression utile de l'ensemble de la boucle par heure de GPU réservée.
Cette approche s'inscrit dans un contexte où l'accès aux GPU reste une contrainte majeure : la disponibilité et les délais varient fortement, et la capacité obtenue peut se retrouver dans une zone de disponibilité ou une région AWS éloignée des données d'entraînement. AWS recommande donc d'engager la capacité sur l'ensemble de la boucle plutôt que par étape, via un plan de formation flexible pour une campagne limitée dans le temps ou une réservation de capacité pour un usage continu. Cette architecture ouvre la voie à une industrialisation plus fluide du développement de robots et de véhicules autonomes, où les équipes pourraient itérer plus rapidement sur des modèles de perception et de décision sans multiplier les infrastructures dédiées.
Pas d'impact direct sur la France/UE