Tencent open-source AngelSpec, un framework unifié d'entraînement pour le MTP et le décodage spéculatif parallèle par blocs sur les modèles Hy3

DFlash accélère le décodage spéculatif par blocs de tokens en parallèle, jusqu'à 15x plus de débit sur NVIDIA Blackwell

Une équipe de chercheurs de l'UC San Diego (z-lab) a publié DFlash, une nouvelle technique d'inférence qui accélère radicalement la génération de texte par les grands modèles de langage. Là où les approches classiques de décodage spéculatif, comme EAGLE-3, proposent encore les tokens futurs un par un, DFlash adopte une logique de diffusion par blocs : un modèle léger génère un bloc entier de tokens en une seule passe parallèle, puis le grand modèle cible vérifie ce bloc simultanément. Les gains mesurés dépassent 6x d'accélération sans perte de qualité sur une variété de modèles et de tâches. Sur Qwen3-8B avec décodage glouton, DFlash atteint une accélération moyenne de 4,86x, contre 2,02x pour EAGLE-3 dans sa meilleure configuration. Sur les architectures NVIDIA Blackwell, les équipes d'ingénierie de NVIDIA rapportent jusqu'à 15x de débit supplémentaire sur gpt-oss-120b, à cible d'interactivité utilisateur constante, soit environ 2,5x mieux qu'EAGLE-3. Cette progression est significative pour toute l'industrie de l'inférence LLM, notamment pour les modèles de raisonnement à longue chaîne de pensée (Chain-of-Thought), dont la lenteur de génération est devenue le principal goulot d'étranglement opérationnel. Le principal avantage de DFlash réside dans son architecture : son drafter ne comporte que cinq couches (huit pour Qwen3-Coder), là où des approches antérieures comme DiffuSpec ou SpecDiff-2 mobilisaient des drafters de 7 milliards de paramètres pour plafonner à 3-4x. En injectant les représentations internes du modèle cible directement dans les projections Key et Value de chaque couche du drafter, DFlash maintient un signal fort quel que soit la profondeur de génération. Un drafter DFlash à cinq couches générant 16 tokens surpasse EAGLE-3 générant 8 tokens, à la fois en latence et en taux d'acceptation. Le décodage spéculatif existe depuis plusieurs années comme réponse à la sous-utilisation chronique des GPU modernes lors de l'inférence autoregressive : un petit modèle propose, un grand modèle vérifie en parallèle, et les tokens acceptés préservent la distribution de sortie originale. Mais la contrainte autoregressif du drafter limitait les gains réels à 2-3x en production. DFlash contourne ce plafond en empruntant aux modèles de diffusion leur capacité à débruiter un bloc masqué en une passe, sans assumer les inconvénients habituels des LLM diffusion purs, souvent moins précis et nécessitant de nombreuses étapes. La prochaine étape pour z-lab et NVIDIA sera de valider ces résultats en production multi-flux et à grande échelle, mais les chiffres actuels font de DFlash un candidat sérieux à l'adoption dans les infrastructures d'inférence haute performance.

💬 Le décodage spéculatif tournait en rond depuis des années, coincé à 2-3x de gain en production. DFlash passe à autre chose : un drafter de 5 couches génère des blocs entiers en parallèle et dépasse EAGLE-3 sous tous les angles, ce qui explique les 15x rapportés sur Blackwell et redéfinit ce que "inférence pas chère" peut vouloir dire pour des modèles de raisonnement. Si vLLM l'intègre vite, quelques acteurs cloud européens vont souffler.

MEMO : un framework modulaire pour entraîner un modèle de mémoire dédié sur de nouvelles connaissances sans modifier les paramètres du LLM

Une équipe de chercheurs de la National University of Singapore, du MIT CSAIL, d'A*STAR et de la Singapore-MIT Alliance for Research and Technology (SMART) a présenté MEMO (Memory as a Model), un cadre modulaire permettant d'intégrer de nouvelles connaissances dans un grand modèle de langage sans toucher à ses paramètres. L'approche repose sur deux composants distincts : un modèle mémoire dédié, Qwen2.5-14B-Instruct, entraîné spécifiquement sur un corpus cible, et un modèle exécutif figé, soit Qwen2.5-32B-Instruct soit Gemini-3-Flash, qui reste intact et n'est interrogé que via son interface standard. Le modèle mémoire est construit à partir d'un pipeline de synthèse de données en cinq étapes, piloté par un modèle générateur : extraction de faits explicites et inférés, consolidation de paires question-réponse, vérification de leur autonomie, révélation d'entités pour contourner la "malédiction de l'inversion" (où un modèle entraîné sur "A est B" échoue à déduire "B est A"), et enfin synthèse cross-documentaire reliant plusieurs sources. Cette dernière étape s'avère critique : la supprimer fait chuter la précision de 24,00 % à 6,37 % sur le benchmark NarrativeQA. MEMO s'attaque à un problème central : les grands modèles de langage sont figés après leur préentraînement et ne s'actualisent pas au fil des évolutions du monde. Les approches existantes peinent toutes sur un point ou un autre. La génération augmentée par récupération (RAG) est sensible au bruit dans les documents récupérés et échoue lorsque les réponses exigent un raisonnement à travers plusieurs sources. Le fine-tuning continu expose quant à lui au "catastrophic forgetting", où les nouvelles données dégradent les connaissances antérieures. MEMO contourne ces deux écueils en maintenant le modèle principal totalement intact et en traitant la connaissance comme une couche séparée. Les mises à jour de mémoire n'interfèrent jamais avec les capacités générales du modèle exécutif, et le même modèle mémoire peut théoriquement alimenter différents LLM, y compris propriétaires, sans accès à leurs poids ni à leurs logits. Ce travail s'inscrit dans un champ de recherche en pleine effervescence autour de la gestion du savoir dans les LLM. Depuis que des modèles comme GPT-4, Llama ou Mistral ont popularisé ces architectures à grande échelle, la question de leur mise à jour économique est devenue stratégique : réentraîner un LLM de plusieurs dizaines de milliards de paramètres coûte des millions de dollars. Les approches par mémoire latente existantes souffrent en outre d'un fort couplage à l'architecture qui les a générées, les rendant peu transférables d'un modèle à l'autre. MEMO propose une séparation nette entre mémoire et raisonnement, ouvrant la voie à des systèmes où la connaissance peut être mise à jour, remplacée ou spécialisée indépendamment du modèle central. Si les résultats se confirment à plus grande échelle et sur des corpus plus larges, ce type d'architecture modulaire pourrait redéfinir la façon dont les entreprises maintiennent leurs assistants IA à jour sans engager des coûts de réentraînement prohibitifs.

Interfaze lance diffusion-gemma-asr-small, un modèle ASR open source à diffusion transcrivant six langues via le décodeur de débruitage parallèle de DiffusionGemma

La startup américaine Interfaze, issue de l'accélérateur Y Combinator, a publié en open source diffusion-gemma-asr-small, un modèle de reconnaissance vocale qui transcrit la parole via un décodeur à diffusion plutôt que par génération autorégressive mot après mot. Présenté comme le premier système de ce type en open source capable de gérer plusieurs langues, il traite six langues avec un seul adaptateur de 42 millions de paramètres, greffé sur le socle figé de DiffusionGemma, le modèle de mélange d'experts à 26 milliards de paramètres de Google (128 experts, 4 milliards actifs par requête), soit seulement 0,16% du poids total. L'architecture combine un encodeur Whisper-small figé, qui convertit l'audio en trames acoustiques, et un projecteur entraîné d'environ 19 millions de paramètres qui les transforme en 188 tokens audio insérés dans DiffusionGemma. Le décodeur débruite ensuite un texte de 192 tokens en une quinzaine d'étapes. Sur le benchmark LibriSpeech, le modèle affiche un taux d'erreur de mots de 6,6%, devançant son principal rival en diffusion, Whisfusion (8,3%), même s'il reste en retrait par rapport à Whisper, le modèle autorégressif d'OpenAI qui fait référence dans le domaine. L'intérêt principal de l'approche par diffusion tient à son coût de calcul: contrairement aux modèles autorégressifs, dont le temps de transcription augmente avec la longueur du texte, le coût ici dépend uniquement du nombre d'étapes de débruitage, ce qui peut accélérer le traitement de longs enregistrements. Pour les développeurs, la publication de l'adaptateur sous licence Apache 2.0 ouvre la voie à des expérimentations sur une architecture encore marginale, potentiellement utile pour des applications de transcription à grande échelle où la latence compte davantage que la longueur du contenu. Techniquement, DiffusionGemma ne traitait à l'origine que texte, image et vidéo, sans audio, et repose sur une diffusion à tokens aléatoires uniformes plutôt que sur le schéma de masquage classique utilisé par la plupart des modèles de langage à diffusion. Ajouter l'audio n'a pas été trivial: une première tentative consistant à injecter directement le signal brut dans le modèle a échoué, celui-ci n'ayant jamais appris à reconnaître formants ni phonèmes et se contentant de produire un texte fluide mais inventé. L'entraînement a lui aussi buté sur un problème d'amorçage classique: le projecteur, initialisé aléatoirement, produisait un signal si peu informatif que le mécanisme d'attention a appris à l'ignorer, bloquant la perte autour de 8. L'équipe a résolu ce blocage en supervisant directement le projecteur via une perte CTC (Connectionist Temporal Classification), une technique qui aligne audio et texte sans passer par l'attention, rendant enfin les représentations audio exploitables par le décodeur.

💬 Fun fact : Google avait déjà DiffusionGemma pour le texte et l'image, et personne n'avait pensé à y greffer de l'audio avant Interfaze. Le résultat tient la route (6,6% d'erreur, mieux que Whisfusion) mais reste sous Whisper, donc c'est un pari sur la latence plus que sur la qualité. Ce qui est intéressant, c'est que 42 millions de paramètres d'adaptateur suffisent à faire parler un modèle à 26 milliards qui n'entendait rien au départ : la vraie histoire ici, c'est que la diffusion commence à devenir une alternative crédible à l'autorégressif dès qu'on traite du contenu long.

Meta lance Autodata : un framework à base d'agents qui transforme les modèles IA en data scientists autonomes pour créer des données d'entraînement de haute qualité

L'équipe RAM (Reasoning, Alignment and Memory) de Meta AI a présenté Autodata, un cadre de génération de données d'entraînement reposant sur des agents IA autonomes. Plutôt que de produire des données synthétiques en une seule passe, Autodata confie à un agent le rôle d'un data scientist humain : il crée des exemples, les analyse, en évalue la qualité, puis affine sa méthode de génération en boucle fermée. La première implémentation concrète du système, baptisée Agentic Self-Instruct, s'appuie sur un LLM orchestrateur qui coordonne quatre sous-agents spécialisés : un Challenger LLM qui génère des exemples d'entraînement, un Weak Solver (modèle plus faible censé échouer sur ces exemples), un Strong Solver (modèle plus capable censé réussir), et un Evaluator qui valide la pertinence et la difficulté des exemples produits. Testée sur des problèmes de raisonnement scientifique complexe, cette approche surpasse significativement les méthodes classiques de génération de données synthétiques comme Self-Instruct ou ses variantes Chain-of-Thought. L'enjeu est de taille : la qualité des données d'entraînement a toujours été un goulot d'étranglement dans le développement des grands modèles de langage, autant que la puissance de calcul. Autodata ouvre une voie pour convertir du calcul d'inférence supplémentaire en données de meilleure qualité, plus on alloue de ressources à l'agent, plus les données produites sont pertinentes. Pour les équipes qui développent des modèles IA, c'est une rupture méthodologique : il devient possible de piloter et d'améliorer la qualité des données en cours de génération, et non plus seulement de filtrer ou corriger après coup. Cela réduit également la dépendance à l'annotation humaine, coûteuse et difficile à scaler, tout en maintenant un contrôle itératif sur la distribution et la difficulté des exemples générés. Jusqu'ici, la génération de données synthétiques suivait des pipelines largement statiques : on promptait un LLM avec des exemples zéro-shot ou few-shot, parfois en s'appuyant sur des documents source pour limiter les hallucinations. Les méthodes dites "Self-Challenging" avaient commencé à introduire une dynamique agent-outil, mais sans boucle de feedback réelle sur la qualité globale du jeu de données. Autodata représente l'étape suivante en intégrant cette rétroaction directement dans le processus de création. Meta s'inscrit ici dans une tendance plus large du secteur : utiliser des agents IA pour automatiser des tâches d'ingénierie complexes, y compris la construction des données qui servent à entraîner ces mêmes agents. La publication est portée par l'équipe RAM de Meta AI Research, ce qui signale une ambition de long terme autour de l'autonomie des systèmes d'apprentissage.