Code-as-World » : une boucle d'agents transforme des vidéos réelles en programmes physiques MuJoCo exécutables
MirroS a dévoilé Code-as-World, un système qui reconstruit des vidéos réelles sous forme de programmes physiques exécutables dans le moteur MuJoCo. Plutôt que de représenter une scène par des pixels ou des légendes, l'approche l'encode dans un fichier scene.json décrivant sa composition (objets, masse, friction, gravité), son évolution (forces, collisions, durée) et son apparence (caméra, éclairage). Un agent logiciel reconstruit ce triptyque à partir des images filmées via une boucle itérative de cinq étapes maximum, proposer-instancier-exécuter-restituer-vérifier, en s'appuyant sur les modèles SAM 3 pour le suivi d'objets, VGGT-Omega pour la profondeur et la géométrie de caméra, et SAM 3D pour les maillages en trois dimensions. Les scènes ainsi validées servent à entraîner deux modèles de vision-langage, Code-as-World-VL-4B et 9B, dérivés de Qwen3.5, sur 73 335 paires de questions-réponses issues de RefCOCO, RefCLEF et GOT-10K, puis affinés par apprentissage par renforcement (GRPO) sur 1 585 mondes générés à partir de texte et 988 à partir de vidéo, avec huit GPU Nvidia H100. Sur le benchmark QuantiPhy-validation, la version 9B obtient un score de 55,4, devant Gemini 3.1 Flash (54,8) et environ 15 points devant le meilleur modèle ouvert rival, Qwen3-VL-32B-Instruct (40,2). Le code et les poids, publiés sous licence Apache 2.0, tournent en BF16 via vLLM derrière une interface compatible OpenAI, avec 16 images échantillonnées par vidéo.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de MarkTechPost. Lire l'article original →
Cette approche répond à une limite connue des modèles vidéo actuels, capables de générer des images plausibles sans jamais représenter explicitement la masse, la gravité ou les contacts physiques d'une scène. En rendant la physique explicite, éditable et vérifiable dans du code exécutable, Code-as-World ouvre une voie pour des usages où la fidélité aux lois physiques est indispensable, comme la robotique, l'entraînement d'agents en simulation ou la génération de données annotées avec des valeurs physiques exactes que la vidéo brute ne fournit jamais. Pour les équipes qui développent des modèles multimodaux, cela crée une nouvelle source de données synthétiques vérifiées pour évaluer le raisonnement quantitatif sur la vitesse, la position ou l'accélération, un terrain où même des modèles propriétaires comme ChatGPT-5.1, à 48,4 sur QuantiPhy, restent en retrait.
Le projet s'inscrit dans une compétition grandissante autour du raisonnement physique et spatial des modèles d'IA, jugé stratégique à mesure que les usages se déplacent vers la robotique et les jumeaux numériques. MirroS assemble plusieurs briques externes récentes, dont les familles Segment Anything (SAM 3, SAM 3D), le modèle de géométrie VGGT-Omega, ainsi que des générateurs vidéo comme Wan2.2-VACE pour reconvertir ses mondes simulés en séquences réalistes et boucler la vérification. Les vidéos candidates proviennent du jeu de données WISA-80K après un filtrage centré sur le mouvement. En publiant code, poids et méthode d'évaluation sous licence permissive, MirroS positionne Code-as-World comme une brique ouverte, encore au stade de la recherche et du prototypage interne, que d'autres laboratoires pourront reprendre et affiner sur leurs propres données.
Pas d'impact direct sur la France/UE
Ce qui change vraiment ici, c'est que la scène redevient éditable : au lieu d'une vidéo qui montre une chute, t'as un fichier avec la masse, la friction, la gravité, modifiables comme du code. Selon Le Fil IA, c'est la différence entre générer des images qui ont l'air physiques et générer une physique qui produit des images, et c'est ce deuxième truc que la robotique attend depuis longtemps. Reste que c'est un prototype maison entraîné sur 2500 scènes, donc avant de crier victoire sur QuantiPhy face à Gemini, faut voir si ça généralise hors labo.