LingBot-World-Infinity : un modèle causal du monde ouvert doté d'un harnais d'agents
Robbyant, l'unité d'intelligence incarnée d'Ant Group, a dévoilé LingBot-World-Infinity, aussi appelé LingBot-World 2.0, un modèle causal de génération vidéo qui fonctionne comme un simulateur de monde interactif. Le système génère l'image image par image, chaque état ne dépendant que des images passées et de l'action en cours, une action qui combine une pose de caméra encodée via des embeddings de Plücker et un prompt textuel injecté par attention croisée. Le modèle principal compte 14 milliards de paramètres, avec une variante allégée de 1,3 milliard déployable sur un seul GPU. L'équipe revendique quatre avancées par rapport à la version précédente : un horizon d'interaction illimité sans perte de qualité, une variante distillée capable de générer un flux vidéo en 720p à 60 images par seconde en temps réel, un espace d'actions élargi incluant l'attaque au corps à corps, le tir à l'arc, les sorts magiques et le tir à distance, ainsi qu'un dispositif agentique associant un agent pilote et un agent directeur.
Résumé et traduction réalisés par Le Fil IA à partir de MarkTechPost. Lire l'article original →
Le cœur technique repose sur un masque d'attention baptisé MoBA, pour Mixture of Bidirectional and Autoregressive Attention. Il corrige un défaut classique de l'entraînement autorégressif par teacher forcing, où le modèle finit par s'appuyer excessivement sur le contexte passé plutôt que d'apprendre à prédire l'avenir, ce qui dégrade la qualité visuelle à mesure que le contexte s'allonge. MoBA ajoute un bloc d'attention bidirectionnelle qui agit comme régularisateur et facilite la génération à longueur variable. L'entraînement se déroule en deux temps : un pré-entraînement par flow matching conditionnel avec interpolation de flux rectifié, puis une distillation qui compresse le modèle enseignant en un modèle étudiant à quelques étapes, via distillation par cohérence et par appariement de distributions. Ce dernier procédé est appliqué non seulement aux séquences guidées par l'enseignant mais aussi aux longues trajectoires générées par le modèle lui-même, ce qui expliquerait sa résistance à la dérive sur le long terme.
Cette robustesse temporelle est cruciale pour les usages visés : simulation d'environnements pour l'entraînement de robots ou d'agents incarnés, où une dérive progressive du monde généré rendrait l'apprentissage inutilisable. Le dispositif agentique illustre cet enjeu : un modèle vision-langage joue le rôle de directeur, gérant la cohérence sémantique globale, pendant qu'un transformeur de diffusion pilote simule la physique locale. Deux modes d'interaction existent, l'un purement sémantique via des cartes d'événements sans masques d'objets, l'autre assisté par suivi d'objets avec Segment Anything Model, permettant aux utilisateurs de sélectionner un objet suivi pour déclencher une action, de modifier l'heure ou la météo, ou de faire apparaître de nouvelles entités dans la scène.
Pas d'impact direct sur la France/UE
Ce qui compte ici, c'est pas l'image qui bouge, c'est que le monde ne parte plus en vrille au bout de deux minutes. Un simulateur qui tient un horizon d'interaction illimité sans dérive, ça change la donne pour entraîner des robots sans les cramer en vrai, alors qu'avant chaque scénario simulé finissait par s'éloigner du réel à force de tourner. Bon, sur le papier, 14 milliards de paramètres pour tenir du temps réel à 60 images par seconde, ça sent surtout le calcul massif planqué derrière la démo Ant Group.