Kyutai CADRE : des autoencodeurs vidéo qui ramènent la latence des world models sous 230 ms
Kyutai a publié CADRE, une famille de sept autoencodeurs vidéo open source conçus pour les modèles de monde interactifs, avec un objectif unique : réduire le délai de réaction aux actions. Chaque autoencodeur compte environ 476 millions de paramètres entraînés, auxquels s'ajoute un DINOv3 ViT-B/16 gelé de 86 millions de paramètres. Le modèle de monde associé en compte 1,2 milliard. Il produit de la vidéo en 288×512 à 20 images par seconde sur un seul GPU H100 (bf16, batch 1) et réagit en moins de 230 ms. L'encodeur reprend la recette MIRA : DINOv3 extrait des caractéristiques par patch, puis une convolution 3D les compresse en un latent de 64 canaux, seul ce goulot d'étranglement variant entre les sept variantes. Le décodeur est un transformeur de diffusion causal à 24 blocs, qui travaille par segments et apprend en 1 ou 2 étapes grâce à une autodistillation progressive, en une seule phase d'entraînement et sans perte adversariale. L'entraînement porte sur 23 sources vidéo publiques, soit environ 76 000 heures. Sur un H100, CADRE-2×32×32 réagit en 185 ms et tient 23,4 images par seconde avec une seule étape de décodage, contre 317 ms pour l'autoencodeur de Wan 2.2, 492 ms pour LTX-2 et 605 ms pour Cosmos. En conduite, le FVD atteint 162,6 pour CADRE-2×16×16 en une étape, contre 599,7 pour Wan 2.2 et 913,3 pour LTX-2. CADRE fait aussi bien ou mieux que MIRA, Wan 2.2, Cosmos et LTX-2 dans 42 comparaisons sur 48. Son point faible : en manipulation robotique, le suivi d'action (ARR) tombe à 0,45 pour CADRE-2×32×32, contre 0,85 pour Wan 2.2.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de MarkTechPost. Lire l'article original →
L'enjeu est la fluidité ressentie de ces mondes générés. La latence totale correspond au nombre de images par latent divisé par la cadence, plus le temps de génération et de décodage : avec 8 images par latent à 20 images par seconde, le seul regroupement ajoute déjà 400 ms, alors que l'on remarque le retard de ses propres mouvements au-delà d'environ 230 ms. Beaucoup de modèles de monde reprennent pourtant des autoencodeurs conçus pour la génération de texte vers vidéo, qui font attendre chaque action. Les expériences de Kyutai, menées avec le même transformeur de 1,2 milliard de paramètres sur quatre environnements (manipulation robotique ABC, manipulation humaine EgoDex, conduite PhysicalAI AV, navigation en intérieur RealEstate10K), livrent quatre enseignements. Le décodage par diffusion produit une vidéo nette là où la régression perceptuelle devient floue à forte compression, avec un FVD réduit de 1,4 à 2,5 fois face au décodeur MIRA réentraîné. La compression temporelle doit se faire dans l'autoencodeur : la faire dans le modèle de monde fait chuter l'ARR de 0,72 à 0,56 à 8 images. Le mouvement de caméra décide du bon compromis, les caméras fixes tolérant la compression temporelle alors que les caméras mobiles exigent moins d'images par latent et des jetons spatiaux plus fins. Enfin, des jetons grossiers pénalisent d'abord le mouvement : en robotique, une compression spatiale de 32 multiplie le FVD par 2,4 par rapport à 16, alors que le FID bouge à peine.
Ce travail s'inscrit dans l'essor des modèles de monde interactifs, qui exigent une boucle d'action rapide plutôt que seulement une belle vidéo. Les autoencodeurs de Wan 2.2, Cosmos et LTX-2 sont taillés pour la génération hors ligne, d'où des latences de 317 à 605 ms. DC-AE, plus rapide à 118 ms, travaille image par image et renonce à la compression temporelle. CADRE se situe entre les deux : avec 1 152 jetons pour 16 images en 2×32×32, contre 4 608 pour Cosmos, il réduit le coût par image sans sacrifier la cohérence temporelle, mais reste à 175 ms pour la version MIRA, légèrement plus rapide mais moins précise visuellement. Kyutai n'a pas communiqué de variantes quantifiées. Reste à voir si cette approche se généralisera à des scènes plus variées et à des GPU moins puissants que le H100.
Kyutai, laboratoire français, publie en open source des autoencodeurs vidéo pour modèles de monde interactifs, renforçant la recherche européenne en IA générative.