STARFlow2 : des flux de normalisation associés aux modèles de langage pour une génération multimodale unifiée
STARFlow2 est un nouveau modèle multimodal unifié, capable de comprendre, raisonner et générer des séquences entrelacées de texte et d'images. Son apport central : les flux normalisateurs autorégressifs fonctionnent comme des Transformers autorégressifs, puisqu'ils partagent le même masque causal, le même cache KV et la même construction gauche à droite que les grands modèles de langage. Cette parenté permet de réunir les deux paradigmes génératifs dans une seule architecture cohérente, plutôt que d'assembler des techniques hétérogènes.
Résumé et traduction réalisés par Le Fil IA à partir de Apple Machine Learning. Lire l'article original →
Cette avancée compte car les systèmes multimodaux unifiés butent généralement sur le même compromis. La tokenisation discrète des images sacrifie la fidélité visuelle, combiner génération causale de texte et débruitage par diffusion crée une asymétrie entre modalités, et adapter des modèles vision-langage préentraînés pour la génération dégrade souvent leur compréhension d'origine. En unifiant texte et image sous un même cadre autorégressif, STARFlow2 promet des visuels plus fidèles sans sacrifier le raisonnement, un enjeu concret pour les assistants conversationnels, les outils créatifs et les agents multimodaux.
Cette approche s'inscrit dans la course à l'unification des modèles génératifs, entre architectures à diffusion, réputées pour la qualité d'image mais séparées du raisonnement des LLM, et architectures à tokenisation discrète, plus simples à intégrer mais moins fidèles visuellement. Les flux normalisateurs, famille de modèles moins répandue que la diffusion, offrent un calcul de vraisemblance exact et une transformation inversible. En montrant qu'ils s'implémentent comme des Transformers compatibles avec l'infrastructure des LLM existants, cette recherche ouvre une piste de convergence entre génération de langage et d'images, dont la portée dépendra des évaluations comparatives à venir.
Pas d'impact direct sur la France/UE