LingBot-World-Infinity : un modèle causal du monde ouvert doté d'un harnais d'agents
Robbyant, l'unité d'intelligence incarnée d'Ant Group, a dévoilé LingBot-World-Infinity, aussi appelé LingBot-World 2.0, un modèle causal de génération vidéo qui fonctionne comme un simulateur de monde interactif. Le système génère l'image image par image, chaque état ne dépendant que des images passées et de l'action en cours, une action qui combine une pose de caméra encodée via des embeddings de Plücker et un prompt textuel injecté par attention croisée. Le modèle principal compte 14 milliards de paramètres, avec une variante allégée de 1,3 milliard déployable sur un seul GPU. L'équipe revendique quatre avancées par rapport à la version précédente : un horizon d'interaction illimité sans perte de qualité, une variante distillée capable de générer un flux vidéo en 720p à 60 images par seconde en temps réel, un espace d'actions élargi incluant l'attaque au corps à corps, le tir à l'arc, les sorts magiques et le tir à distance, ainsi qu'un dispositif agentique associant un agent pilote et un agent directeur.
Le cœur technique repose sur un masque d'attention baptisé MoBA, pour Mixture of Bidirectional and Autoregressive Attention. Il corrige un défaut classique de l'entraînement autorégressif par teacher forcing, où le modèle finit par s'appuyer excessivement sur le contexte passé plutôt que d'apprendre à prédire l'avenir, ce qui dégrade la qualité visuelle à mesure que le contexte s'allonge. MoBA ajoute un bloc d'attention bidirectionnelle qui agit comme régularisateur et facilite la génération à longueur variable. L'entraînement se déroule en deux temps : un pré-entraînement par flow matching conditionnel avec interpolation de flux rectifié, puis une distillation qui compresse le modèle enseignant en un modèle étudiant à quelques étapes, via distillation par cohérence et par appariement de distributions. Ce dernier procédé est appliqué non seulement aux séquences guidées par l'enseignant mais aussi aux longues trajectoires générées par le modèle lui-même, ce qui expliquerait sa résistance à la dérive sur le long terme.
Cette robustesse temporelle est cruciale pour les usages visés : simulation d'environnements pour l'entraînement de robots ou d'agents incarnés, où une dérive progressive du monde généré rendrait l'apprentissage inutilisable. Le dispositif agentique illustre cet enjeu : un modèle vision-langage joue le rôle de directeur, gérant la cohérence sémantique globale, pendant qu'un transformeur de diffusion pilote simule la physique locale. Deux modes d'interaction existent, l'un purement sémantique via des cartes d'événements sans masques d'objets, l'autre assisté par suivi d'objets avec Segment Anything Model, permettant aux utilisateurs de sélectionner un objet suivi pour déclencher une action, de modifier l'heure ou la météo, ou de faire apparaître de nouvelles entités dans la scène.
Dans nos dossiers
Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.
