Tutoriel du framework Cosmos de NVIDIA : concevoir une version miniature compatible Colab des modeles de monde Cosmos 3 avec un mélange de transformeurs omnimodal
Un nouveau tutoriel technique publié par NVIDIA détaille comment reproduire, à petite échelle, l'architecture de ses modèles de monde Cosmos 3 sur une simple instance Google Colab. Le point de départ est un constat honnête: les vrais points de contrôle (checkpoints) de Cosmos 3, et notamment sa version Nano-16B, nécessitent une puissance de calcul largement hors de portée du matériel Colab standard. Le tutoriel commence par une phase de diagnostic qui compare précisément l'environnement disponible aux exigences réelles du modèle: une architecture GPU Ampere ou supérieure (sm80 et plus, comme les A100 ou RTX 30xx), au moins 80 Gio de mémoire GPU pour un seul GPU H100, une version CUDA 12.8 ou ultérieure, environ 150 Gio d'espace disque libre pour le premier lancement, et jusqu'à 1 To de cache pour Hugging Face, ainsi que des noyaux d'attention optimisés comme FlashAttention-3 sur architecture Hopper. Sans surprise, la majorité des configurations Colab classiques, souvent équipées de GPU T4 en architecture sm75, échouent ce test et rendent impossible toute inférence réelle avec Cosmos 3.
Résumé et traduction réalisés par Le Fil IA à partir de MarkTechPost. Lire l'article original →
Plutôt que de s'arrêter à ce constat, les auteurs du tutoriel utilisent la structure réelle du framework cosmos-framework, son interface en ligne de commande, son schéma d'entrée et ses différents modes de modèles, pour construire une version miniature mais techniquement fidèle du concept. Cette démarche pédagogique permet à des chercheurs et développeurs sans accès à des infrastructures coûteuses de comprendre concrètement le fonctionnement interne des modèles de monde omnimodaux, sans attendre un accès matériel hors budget. C'est une réponse pratique à un problème récurrent dans le développement de l'IA générative de pointe: l'écart croissant entre les capacités des modèles annoncés par les grands laboratoires et les moyens de calcul accessibles à la communauté open source.
Le cœur du tutoriel consiste à entraîner un modèle de monde compact reposant sur une architecture Mixture-of-Transformers omnimodale, reprenant l'idée centrale de Cosmos: une attention croisée partagée entre modalités, combinée à un routage vers des experts spécialisés selon qu'il s'agit de texte, de vision ou de flux d'action. À partir de données physiques synthétiques, le modèle apprend par suivi de la perte d'entraînement et par un déroulement autorégressif à prédire les états latents futurs, illustrant de façon simplifiée mais rigoureuse comment ces systèmes multimodaux capturent les relations entre différents types de signaux. Ce type d'initiative s'inscrit dans une tendance plus large de démocratisation des architectures de pointe, où les grandes entreprises comme NVIDIA publient des cadres ouverts permettant à la communauté de s'approprier des concepts avancés malgré des contraintes matérielles très inégales.
Pas d'impact direct sur la France/UE
80 Gio de VRAM minimum pour faire tourner Cosmos 3, quand toi tu bosses sur un Colab gratuit avec un T4 comme tout le monde: voilà l'écart qui structure l'IA open source aujourd'hui, entre ce que les labos annoncent et ce que la communauté peut vraiment exécuter chez elle. Je trouve le geste honnête, NVIDIA pose le diagnostic dès le départ au lieu de vendre du rêve, et livre une version miniature qui reste fidèle à l'architecture Mixture-of-Transformers. Bon, ça reste un jouet pédagogique, pas un début de Cosmos 3 maison, mais pour piger comment ces modèles routent texte, vision et action entre eux, c'est du concret.