LLMsVentureBeat AI2h· 2 min de lecture

DiffusionGemma de Google génère 256 tokens en parallèle et s'autocorrige à la volée

Google a publié cette semaine DiffusionGemma, un modèle de langage open source expérimental qui abandonne la génération séquentielle de texte au profit d'une approche par diffusion, inspirée des générateurs d'images comme Stable Diffusion. Construit sur l'architecture Gemma 4 et distribué sous licence Apache 2.0, le modèle génère 256 tokens simultanément en parallèle plutôt qu'un par un, chaque position du bloc ayant accès au contexte complet dans les deux sens. Sur un seul GPU Nvidia H100, la version quantifiée FP8 atteint 1 008 tokens par seconde, et 1 288 sur H200, soit environ six fois les performances d'un modèle autorégressif classique selon les benchmarks vLLM publiés le même jour. Google revendique un gain de vitesse jusqu'à 4x par rapport aux modèles standards sur GPU. C'est également le premier modèle de diffusion textuelle nativement intégré dans la plateforme d'inférence open source vLLM, avec un modèle Mixture of Experts de 26 milliards de paramètres n'en activant que 3,8 milliards à l'inférence, tenant dans 18 Go de VRAM et donc compatible avec une RTX 4090 ou 5090.

L'intérêt principal de cette approche réside dans deux propriétés structurelles absentes des modèles actuels : l'autocorrection et le contexte bidirectionnel. Un modèle autorégressif classique est incapable de revenir sur un token déjà émis, même incorrect, car les tokens suivants en sont déjà conditionnés. DiffusionGemma part d'un bloc de 256 tokens aléatoires, passe plusieurs fois sur l'ensemble, verrouille les positions les plus certaines, randomise les incertaines et les reconsidère à la lumière de ce qui a déjà été stabilisé. Google illustre cette capacité avec un solveur de Sudoku finement ajusté : le modèle de base résolvait zéro grille, après fine-tuning il atteint 80% de réussite en 12 passes de débruitage au lieu de 48, grâce à l'arrêt précoce permis par l'autocorrection. Pour les déploiements locaux ou à faible concurrence, où un GPU classique passe l'essentiel du temps à attendre des tokens un par un, le gain est particulièrement concret.

L'architecture représente un changement de paradigme pour l'inférence de modèles de langage, même si Google a été transparent sur ses limites : la qualité globale des sorties reste inférieure à celle de Gemma 4 standard, et l'entreprise recommande explicitement ce dernier pour les applications exigeant une qualité maximale. L'intégration dans vLLM a nécessité des développements spécifiques puisque DiffusionGemma alterne entre attention causale et bidirectionnelle selon la phase de traitement, une première pour la plateforme. Google et Nvidia ont co-optimisé les noyaux NVFP4 pour les serveurs Hopper et Blackwell d'entreprise. La nouvelle interface ModelState conçue pour cette intégration est pensée pour accueillir d'autres modèles de diffusion à venir, signalant que cette direction de recherche est désormais considérée comme mûre pour la production.

Impact France/UE

Les développeurs et chercheurs européens peuvent déployer DiffusionGemma localement sur GPU grand public (RTX 4090/5090, 18 Go VRAM) via vLLM sous licence Apache 2.0, réduisant la dépendance aux services cloud pour l'inférence rapide.

Dans nos dossiers

Blackwell NVIDIA Open weight & Open source

Cet article vous a été utile ?

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

1Le Big Data

DiffusionGemma : l’IA de Google met un coup d’accélérateur à la génération de texte

Google a présenté DiffusionGemma, un modèle expérimental de génération de texte qui abandonne l'approche séquentielle classique au profit d'une génération par blocs parallèles. Reposant sur une architecture Mixture of Experts de 26 milliards de paramètres, dont seulement 3,8 milliards activés lors de la génération, le modèle traite jusqu'à 256 jetons simultanément plutôt que de les produire un par un. Google revendique une vitesse pouvant atteindre plus de 1 000 jetons par seconde sur certains accélérateurs haut de gamme, soit jusqu'à quatre fois plus rapide que les modèles autorégressifs traditionnels comme Gemma 4. Le fonctionnement s'inspire directement des modèles de diffusion d'images : DiffusionGemma part d'un brouillon de jetons aléatoires, qu'il affine sur plusieurs passes successives jusqu'à produire un texte cohérent. Son attention bidirectionnelle permet à chaque partie du texte généré de prendre en compte l'ensemble du bloc en cours de construction, ce qui le rend particulièrement adapté à des tâches comme l'édition, le remplissage de code ou toute application où le contexte global est déterminant. Cette vitesse d'exécution représente un enjeu concret pour les développeurs qui cherchent à intégrer des IA dans des interfaces temps réel, des outils d'autocomplétion ou des applications où la latence perçue doit être quasi nulle. En exploitant plus efficacement la parallélisation des GPU modernes, DiffusionGemma réduit aussi les ressources laissées inutilisées entre chaque jeton généré sous l'approche classique. Sa compatibilité avec des GPU grand public, grâce à l'activation partielle des paramètres, ouvre également la porte à des déploiements moins coûteux en infrastructure, un argument de poids pour les équipes qui opèrent hors des datacenters hyperscale. Cette annonce s'inscrit dans une dynamique plus large d'expérimentation autour des alternatives aux modèles autorégressifs. La recherche sur les modèles de diffusion textuelle existe depuis plusieurs années, mais leur intégration dans des architectures de grande taille et leur viabilité pratique restaient limitées. Google, en publiant DiffusionGemma sous forme expérimentale, reconnaît lui-même que la qualité globale des réponses reste inférieure à celle de Gemma 4 classique : la vitesse a un coût en précision et en cohérence générale. Le modèle n'est donc pas encore positionné comme un successeur direct de la gamme Gemma, mais comme un terrain d'expérimentation pour les cas d'usage où la rapidité prime sur la finesse. L'enjeu des prochains mois sera de savoir si la recherche parvient à combler cet écart de qualité, et si d'autres acteurs comme Meta, Mistral ou OpenAI s'engagent à leur tour sur cette voie architecturale.

UESi Mistral ou d'autres labos européens adoptent cette voie architecturale, les équipes du continent pourraient disposer d'alternatives ouvertes haute vitesse réduisant leur dépendance aux infrastructures hyperscale américaines.

LLMsOpinion

1 source

2MarkTechPost

Google AI lance DiffusionGemma, un modèle MoE ouvert à 26B paramètres, jusqu'à 4 fois plus rapide par diffusion de texte

Google a publié DiffusionGemma, un modèle expérimental open source de 26 milliards de paramètres en architecture Mixture of Experts (MoE), sous licence Apache 2.0. Contrairement aux modèles de langage classiques qui génèrent les tokens un par un de gauche à droite, DiffusionGemma produit des blocs entiers de texte en parallèle, ce qui lui permet d'atteindre jusqu'à quatre fois la vitesse de génération des modèles autorégressifs traditionnels. Sur un GPU NVIDIA H100, il dépasse les 1 000 tokens par seconde ; sur un RTX 5090, il atteint plus de 700 tokens par seconde. Lors de l'inférence, seuls 3,8 milliards de paramètres sont activés. Le modèle, construit sur la base Gemma 4 26B-A4B, est multimodal : il traite du texte, des images et de la vidéo en entrée, dispose d'une fenêtre de contexte de 256 000 tokens, supporte plus de 140 langues et tient dans 18 Go de VRAM une fois quantifié, le rendant compatible avec les GPU grand public haut de gamme. L'intérêt principal de DiffusionGemma réside dans ses cas d'usage à contrainte de latence forte : édition de texte en ligne, itération rapide, génération de structures non linéaires. En déplaçant le goulot d'étranglement de la bande passante mémoire vers le calcul pur, le modèle exploite mieux les cœurs tensoriels inactifs des GPU locaux. Google cible explicitement les développeurs et chercheurs qui travaillent sur des workflows interactifs en local, où la vitesse prime sur la qualité absolue. L'entreprise est toutefois transparente sur le compromis : DiffusionGemma génère plus vite, mais sa qualité de sortie reste inférieure à celle de Gemma 4 autorégressif standard. Pour les productions critiques nécessitant une qualité maximale, Google recommande toujours ses modèles classiques. Le mécanisme au cœur de DiffusionGemma s'appelle Uniform State Diffusion, inspiré des générateurs d'images IA qui partent d'un bruit visuel pour le raffiner progressivement. Appliqué au texte, le modèle démarre avec un canvas de 256 tokens aléatoires, effectue plusieurs passes en attention bidirectionnelle, verrouille les tokens à haute confiance et les utilise comme contexte pour résoudre les positions adjacentes, jusqu'à ce que le texte converge. Cette attention bidirectionnelle, où chaque token peut en observer un autre dans n'importe quelle direction, tranche radicalement avec les modèles autorégressifs contraints à ne regarder qu'en arrière. Elle permet en outre une auto-correction en temps réel : si la confiance d'un token chute, le modèle peut le re-bruiter et le remplacer lors d'une passe suivante. Pour les sorties longues, Google a développé la Block Autoregressive Diffusion : une fois un bloc de 256 tokens finalisé, il est validé dans le cache KV et un nouveau canvas démarre, conditonné sur l'historique précédent. Cette approche hybride combine la vitesse du traitement parallèle et la stabilité séquentielle des architectures classiques.

UELes développeurs et chercheurs européens bénéficient d'un modèle open source sous licence Apache 2.0 utilisable sur GPU grand public, offrant une alternative locale à faible latence sans dépendance à des services cloud externes.

LLMsOpinion

1 source

3NVIDIA AI Blog

NVIDIA accélère DiffusionGemma de Google DeepMind pour l'IA locale

Google DeepMind a lancé DiffusionGemma, un modèle de langage expérimental open source qui abandonne la génération séquentielle au profit d'une approche par diffusion. Construit sur l'architecture Gemma 4, un modèle mixture-of-experts de 26 milliards de paramètres n'activant que 3,8 milliards par étape, DiffusionGemma génère jusqu'à 256 tokens en parallèle à chaque passe plutôt qu'un seul à la fois. NVIDIA a optimisé ce modèle pour l'ensemble de sa gamme matérielle, et les chiffres sont frappants : 1 000 tokens par seconde sur une carte H100, 150 tokens/sec sur le DGX Spark, 800 tokens/sec sur la DGX Station, et environ quatre fois plus vite qu'un modèle autorégressif équivalent en usage mono-utilisateur. Le modèle est disponible sous licence Apache 2.0 avec un support immédiat dans Hugging Face Transformers, vLLM et Unsloth, et s'exécute entièrement en local sans coût par token. Cette vitesse change concrètement l'expérience pour les développeurs, chercheurs et passionnés d'IA qui font tourner des workflows agentiques ou des assistants interactifs. Les modèles autorégressifs classiques sont fondamentalement limités par la bande passante mémoire en usage mono-utilisateur : le GPU attend plus qu'il ne calcule. L'approche par diffusion retourne l'équation. En traitant un bloc de 256 tokens d'un coup, DiffusionGemma exploite pleinement les Tensor Cores de NVIDIA, conçus pour des calculs matriciels denses en parallèle. Les boucles agentiques, les chats interactifs et les assistants embarqués peuvent désormais répondre à la vitesse à laquelle un développeur pense et itère. Le modèle tourne localement sur les GPU GeForce RTX, les stations de travail RTX PRO 6000, le DGX Spark avec ses 128 Go de mémoire unifiée, et la DGX Station avec ses 748 Go de mémoire cohérente. L'approche par diffusion pour le texte s'inspire du domaine de la génération d'images, où le principe consiste à débruiter progressivement un signal aléatoire pour obtenir un résultat cohérent. Appliquée au langage, cette méthode restait jusqu'ici expérimentale et peu compétitive face aux LLM autorégressifs dominant le marché. DiffusionGemma marque une étape plus sérieuse : Google DeepMind lui apporte une base architecturale solide avec Gemma 4, et NVIDIA l'optimisation matérielle nécessaire pour en faire un outil pratique dès le premier jour. Un support llama.cpp pour les GeForce RTX grand public est annoncé prochainement, ce qui pourrait rendre la génération ultra-rapide accessible au plus grand nombre sans infrastructure cloud. Si les performances en qualité de génération se confirment à l'usage, le modèle pourrait bousculer les hypothèses de base sur lesquelles repose l'architecture de tous les grands LLM actuels.

UELa disponibilité sous licence Apache 2.0 et l'exécution locale sans coût par token ouvrent de nouvelles options pour les développeurs et chercheurs européens souhaitant déployer des workflows agentiques sans dépendance au cloud.

LLMsActu

1 source

4MarkTechPost

NVIDIA AI lance Nemotron-Labs-Diffusion : modèle de langage à trois modes, 6 fois plus de tokens par inférence que Qwen3-8B

NVIDIA a publié Nemotron-Labs-Diffusion, une nouvelle famille de modèles de langage disponible en trois tailles, 3, 8 et 14 milliards de paramètres, avec des variantes de base, instruction et vision-langage. La particularité de cette architecture réside dans sa capacité à fonctionner selon trois modes de décodage distincts au sein d'un seul et même jeu de poids : le décodage autorégressif classique (AR), le décodage par diffusion parallèle, et un mode dit de "self-speculation". L'entraînement combine un objectif AR standard et un objectif de débruitage par diffusion, pondérés selon la formule L(θ) = LAR(θ) + 0,3 × Ldiff(θ). Le coefficient 0,3 a été déterminé par ablation sur une plage de 0,1 à 1,0, et s'est révélé optimal pour les deux modes simultanément. La procédure d'entraînement se déroule en deux phases : un trillion de tokens en mode purement autorégressif pour ancrer des priors linguistiques solides, suivi de 300 milliards de tokens supplémentaires avec l'objectif conjoint. Ce modèle répond à un problème fondamental des LLMs déployés en production : les modèles autorégressifs génèrent un token à la fois, ce qui sous-exploite massivement les GPU dans les scénarios à faible concurrence, typiquement les déploiements en edge ou pour un utilisateur unique. Le mode diffusion de Nemotron-Labs-Diffusion génère plusieurs tokens en parallèle par passe, grâce à une attention bidirectionnelle à l'intérieur de blocs contigus, tout en conservant une attention causale entre blocs pour réutiliser le cache KV. Le mode self-speculation est encore plus original : la voie diffusion génère un bloc de k tokens candidats, que la voie AR vérifie en une seconde passe, en validant le préfixe contigu le plus long. Chaque cycle produit entre 1 et k+1 tokens vérifiés, sans modèle auxiliaire ni tête de prédiction séparée, une différence notable par rapport aux approches comme Eagle3 ou Multi-Token Prediction. Les modèles de diffusion pour le langage souffrent depuis leur émergence d'un déficit de précision par rapport aux modèles autorégressifs : ils nécessitent davantage de données pour atteindre des performances comparables, notamment parce qu'ils ne tirent pas parti du biais gauche-droite naturel du langage. NVIDIA tente de résoudre cette tension structurelle en entraînant un modèle unique sur les deux objectifs, ce qui, selon leurs ablations, apporte un gain moyen de +7,48% via le seul ajout de la perte AR, et +5,74% grâce à l'entraînement en deux étapes. La publication de cette famille de modèles s'inscrit dans une compétition intense autour de l'efficacité inférentielle, où Qwen3-8B sert de référence explicite, NVIDIA revendiquant un ratio de 6× tokens par passe vers l'avant. La prochaine étape naturelle sera de voir si ces gains se confirment dans des benchmarks indépendants et des déploiements réels, et si l'approche tri-modale s'impose comme standard pour les futurs modèles hybrides.

LLMsOpinion

1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, rédigé par un humain · désinscription en un clic