Polymathic AI et des chercheurs de Princeton publient FlashMap, un drafter à flow map qui accélère le décodage des LLM jusqu'à 6,14 fois
Des chercheurs de Polymathic AI, de l'université de Princeton, de l'USC ISI, de NYU et du Flatiron Institute ont publié FlashMap, un modèle brouillon pour le décodage spéculatif. Il remplace le drafter à diffusion discrète par une « flow map » continue, qui transforme du bruit gaussien en un bloc de 16 tokens en une seule passe. Avec 500 millions de paramètres pour Qwen3-8B et 475 millions pour Qwen3-4B, il tourne sur le même GPU que le modèle cible. Le modèle cible vérifie les 16 tokens en parallèle et garde le plus long préfixe correct, de sorte que la sortie reste identique à celle qu'il aurait produite seul. Sur un GPU NVIDIA H200 NVL, en bf16 et à concurrence 1, l'accélération atteint 6,14 fois sur GSM8K à température 0, avec une longueur d'acceptation de 7,69 tokens. Elle tombe à 2,28 fois sur Alpaca à température 1. Sur 9 benchmarks de mathématiques, de code et de conversation, FlashMap en une étape est le drafter le plus rapide sur toutes les tâches de Qwen3-8B, environ 7 % au-dessus d'un DFlash réentraîné. Il dépasse DFlash en longueur d'acceptation dans 15 des 18 configurations, et dans les 18 avec deux étapes (10 % en moyenne). Sur Qwen3-4B, il reste derrière DFlash sur 4 des 9 tâches.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de MarkTechPost. Lire l'article original →
L'enjeu est la qualité des brouillons à coût constant. DFlash génère lui aussi tout un bloc en une passe, mais prédit chaque position indépendamment. Si la suite attendue est « new york » ou « san diego » avec des probabilités égales, un tel drafter peut proposer « new diego » ou « san york », que le modèle cible rejette dès le deuxième token. FlashMap tire un échantillon de bruit qui fixe conjointement le mode de chaque position, ce qui garde les tokens cohérents entre eux. Les gains sont plus marqués en conversation (11,1 % de longueur d'acceptation de plus que DFlash à température 0) qu'en mathématiques (5,5 %). Face à EAGLE-3, autorégressif, FlashMap accepte 9 % de tokens en moins à température 1 mais va 35 % plus vite. Générer quatre échantillons de bruit sous forme d'arbre améliore encore l'accélération de 11 % en moyenne. Les poids pour Qwen3-8B et Qwen3-4B sont disponibles sur Hugging Face, avec des plugins pour vLLM et SGLang, ce qui facilite l'adoption en production.
Le décodage spéculatif cherche à accélérer l'inférence sans toucher à la qualité, et les approches s'opposent sur le compromis entre coût de génération et fidélité du brouillon. EAGLE-3 produit ses tokens un par un, donc son coût croît avec la longueur du bloc. DFlash, basé sur la diffusion par blocs, règle ce coût mais subit l'approximation factorisée. FlashMap s'appuie sur les Flow Map Language Models. Son drafter est un transformeur de diffusion à 6 blocs, de dimension 2048 et à 16 têtes d'attention, qui lit les états cachés des couches 1, 9, 17, 25 et 33 de la cible. Le plongement et la tête de langage sont copiés de la cible et restent gelés. L'entraînement se fait en deux temps : un flot « professeur » sur des blocs one-hot avec une entropie croisée, puis une distillation par semigroupe vers un « élève » capable de passer du bruit aux données en une étape. Les deux modèles ont été entraînés sur 500 000 échantillons d'Open-PerfectBlend, pour environ 4 600 heures de GPU H200 au total. Un test de mélange montre qu'à deux étapes, FlashMap retrouve l'essentiel de la structure conjointe d'un professeur à 16 étapes, alors qu'à une étape il n'en garde qu'une faible part. Cela laisse entrevoir des gains supplémentaires si la distillation progresse.
Pas d'impact direct sur la France/UE