Ant Group dévoile LingBot-VA 2.0, un modèle causal vidéo-action conçu nativement pour l'IA physique
Ant Group, via sa filiale dédiée à l'IA incarnée Robbyant, a dévoilé LingBot-VA 2.0, un modèle fondation vidéo-action conçu nativement pour le contrôle de robots généralistes. Contrairement à l'approche dominante qui consiste à réutiliser un VAE de reconstruction et un backbone de diffusion vidéo bidirectionnel pensé pour la création de contenu, puis à y greffer un module d'action, l'équipe de recherche a préentraîné l'intégralité de la pile pour l'incarnation robotique dès le départ. La première version de LingBot-VA avait consisté à affiner un modèle existant vers une architecture causale ; la version 2.0 va plus loin en préentraînant directement un DiT (Diffusion Transformer) causal. Le système repose sur deux briques : un tokenizer visuel-action sémantique, qui aligne les latents visuels sur un encodeur de perception gelé et extrait des variables de transition compactes entre images consécutives via des modèles de dynamique directe et inverse, et un DiT causal à mélange d'experts épars (MoE) comprenant 128 experts routés SwiGLU avec un routage top-8. Le backbone vidéo pèse environ 13 milliards de paramètres, dont 1,9 milliard actifs, et l'ensemble du système atteint 15,3 milliards de paramètres pour 2,5 milliards actifs par inférence.
Résumé et traduction réalisés par Le Fil IA à partir de MarkTechPost. Lire l'article original →
Cette refonte architecturale répond à des limites concrètes qui freinaient jusqu'ici le déploiement de robots généralistes capables d'exécuter des tâches de manipulation complexes. Le débruitage itératif typique des modèles de diffusion vidéo est trop lent pour du contrôle en boucle fermée, où chaque décision doit s'enchaîner en temps quasi réel. De plus, les objectifs d'entraînement génériques utilisés pour la génération vidéo n'apprennent jamais à un modèle comment ses actions transforment concrètement le monde physique, un manque comblé ici par le partage d'un même espace latent entre états du monde et actions, ce qui permet d'exploiter de la vidéo web non annotée comme source de supervision. Pour l'industrie de la robotique, cela représente un pas vers des modèles capables d'apprendre à manipuler des objets sans dépendre exclusivement de données de téléopération coûteuses à collecter, tout en gagnant en vitesse d'entraînement.
L'équipe a également introduit une technique de prédiction multi-segments (MCP) pour éviter que le modèle ne se contente de copier l'apparence des images plutôt que d'apprendre une dynamique réelle, obtenant en test un gain de vitesse d'entraînement de 2,3 fois. Cinq objectifs sont coentraînés simultanément, du texte-vers-image jusqu'à la coopération humain-robot, selon un calendrier progressif allant de l'ancrage visuel simple au contrôle vidéo-action complet. Au-dessus de cette politique de contrôle par segments, un planificateur VLM affiné par LoRA génère des instructions structurées à environ 2 Hz, opérant en parallèle asynchrone pour ne jamais bloquer l'exécution du robot, un mécanisme que Robbyant nomme "raisonnement par anticipation" et qui vise à réduire la latence perçue lors de l'exécution de tâches physiques.
Pas d'impact direct sur la France/UE
LingBot-VA 2.0, c'est le genre de truc qu'on attendait depuis 2 ans dans la robotique : au lieu de bricoler un module d'action sur un générateur vidéo pensé pour du contenu, Ant Group repart de zéro avec une pile entraînée nativement pour l'action. Le vrai apport, c'est de partager le même espace latent entre états du monde et actions, ça permet d'apprendre sur de la vidéo web brute sans dépendre uniquement de téléopération, qui coûte une fortune à collecter. Selon Le Fil IA, cette architecture illustre le vrai goulot d'étranglement de la robotique généraliste aujourd'hui : ce n'est plus la puissance de calcul, c'est la donnée d'entraînement de qualité et son coût de collecte.