L'IFM de MBZUAI publie PAN 2, un modèle de monde ouvert de 29 milliards de paramètres pour l'IA physique
L'Institute of Foundation Models (IFM) de l'université MBZUAI a publié PAN 2, un modèle de monde ouvert destiné à l'intelligence physique, annoncé sur X le 10 novembre 2026. Le système prend en entrée une scène (une première image facultative) et une action décrite en texte, puis simule le résultat sous forme de vidéo en 704×1248 pixels, à 24 images par seconde, pour une durée pouvant atteindre 20 secondes. Il repose sur un transformeur de diffusion dense (MMDiT) de 29 milliards de paramètres, entraîné de zéro sur des centaines de millions de vidéos annotées, avec un encodeur de texte Qwen3.5-9B figé et le décodeur VAE de Wan 2.2. Poids, code d'entraînement et code d'inférence sont distribués sous licence Apache 2.0. Une étape préalable de raisonnement conceptuel confie à un grand modèle de langage (Kimi K3 par défaut) la rédaction de l'état suivant du monde en JSON : événements, actions horodatées liées à des acteurs, mouvements de caméra. Sur 100 tâches à plusieurs étapes, PAN 2 atteint 34,0 % de plans complets réussis, le meilleur score parmi six modèles comparés, selon IFM elle-même. Il reste toutefois derrière MiniMax-H3 sur les actions isolées et la préférence humaine, et obtient 37,48 contre 42,91 à Physics-IQ avec les réglages par défaut.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de MarkTechPost. Lire l'article original →
L'enjeu est de permettre à des développeurs de robotique et d'agents de tester un plan en simulation avant de l'exécuter. Le principe du raisonnement simulatif est qu'un agent propose plusieurs plans, que le modèle simule chacun d'eux, puis que l'agent retient le meilleur. L'ablation menée par IFM montre le rôle décisif du modèle de langage : sans raisonnement conceptuel, la réussite des plans complets tombe de 34,0 % à 0,0 % et celle des étapes de 75,1 % à 8,7 %, tandis qu'une simple reformulation de format remonte le premier chiffre à 27,8 %. Les limites restent sérieuses, puisqu'environ deux plans sur trois échouent encore à au moins une étape. Les exigences matérielles sont aussi élevées : chaque worker charge l'intégralité des 29 milliards de paramètres en BF16, avec un déchargement par blocs en solution de repli, et la mémoire vidéo nécessaire n'est pas précisée. Le déploiement est possible via Diffusers, vLLM ou FastVideo.
PAN 2 succède à PAN, sorti en novembre 2025, et suit l'architecture Generative Latent Prediction (GLP) exposée dans l'article « Critique of World Models » d'IFM. Les chercheurs ont aussi retiré après les premières phases d'entraînement les séquences de jeux vidéo, d'animation et de simulation : un modèle test de 9 milliards de paramètres entraîné sans elles a remporté 58 % des votes en aveugle. Un garde-fou, pan2-guardrail, fait passer la part de contenus dangereux en génération texte-vidéo de 33,9 % à 1,5 %. Cette publication s'inscrit dans la course aux modèles de monde, où des acteurs propriétaires comme MiniMax avec H3 fixent les références de qualité visuelle, tandis qu'IFM mise sur l'ouverture complète. La suite dépendra de la capacité de la communauté à réduire les besoins en calcul et à améliorer la fiabilité des plans longs.