NVIDIA accélère DiffusionGemma de Google DeepMind pour l'IA locale

DiffusionGemma : l’IA de Google met un coup d’accélérateur à la génération de texte

Google a présenté DiffusionGemma, un modèle expérimental de génération de texte qui abandonne l'approche séquentielle classique au profit d'une génération par blocs parallèles. Reposant sur une architecture Mixture of Experts de 26 milliards de paramètres, dont seulement 3,8 milliards activés lors de la génération, le modèle traite jusqu'à 256 jetons simultanément plutôt que de les produire un par un. Google revendique une vitesse pouvant atteindre plus de 1 000 jetons par seconde sur certains accélérateurs haut de gamme, soit jusqu'à quatre fois plus rapide que les modèles autorégressifs traditionnels comme Gemma 4. Le fonctionnement s'inspire directement des modèles de diffusion d'images : DiffusionGemma part d'un brouillon de jetons aléatoires, qu'il affine sur plusieurs passes successives jusqu'à produire un texte cohérent. Son attention bidirectionnelle permet à chaque partie du texte généré de prendre en compte l'ensemble du bloc en cours de construction, ce qui le rend particulièrement adapté à des tâches comme l'édition, le remplissage de code ou toute application où le contexte global est déterminant. Cette vitesse d'exécution représente un enjeu concret pour les développeurs qui cherchent à intégrer des IA dans des interfaces temps réel, des outils d'autocomplétion ou des applications où la latence perçue doit être quasi nulle. En exploitant plus efficacement la parallélisation des GPU modernes, DiffusionGemma réduit aussi les ressources laissées inutilisées entre chaque jeton généré sous l'approche classique. Sa compatibilité avec des GPU grand public, grâce à l'activation partielle des paramètres, ouvre également la porte à des déploiements moins coûteux en infrastructure, un argument de poids pour les équipes qui opèrent hors des datacenters hyperscale. Cette annonce s'inscrit dans une dynamique plus large d'expérimentation autour des alternatives aux modèles autorégressifs. La recherche sur les modèles de diffusion textuelle existe depuis plusieurs années, mais leur intégration dans des architectures de grande taille et leur viabilité pratique restaient limitées. Google, en publiant DiffusionGemma sous forme expérimentale, reconnaît lui-même que la qualité globale des réponses reste inférieure à celle de Gemma 4 classique : la vitesse a un coût en précision et en cohérence générale. Le modèle n'est donc pas encore positionné comme un successeur direct de la gamme Gemma, mais comme un terrain d'expérimentation pour les cas d'usage où la rapidité prime sur la finesse. L'enjeu des prochains mois sera de savoir si la recherche parvient à combler cet écart de qualité, et si d'autres acteurs comme Meta, Mistral ou OpenAI s'engagent à leur tour sur cette voie architecturale.

DiffusionGemma de Google génère 256 tokens en parallèle et s'autocorrige à la volée

Google a publié cette semaine DiffusionGemma, un modèle de langage open source expérimental qui abandonne la génération séquentielle de texte au profit d'une approche par diffusion, inspirée des générateurs d'images comme Stable Diffusion. Construit sur l'architecture Gemma 4 et distribué sous licence Apache 2.0, le modèle génère 256 tokens simultanément en parallèle plutôt qu'un par un, chaque position du bloc ayant accès au contexte complet dans les deux sens. Sur un seul GPU Nvidia H100, la version quantifiée FP8 atteint 1 008 tokens par seconde, et 1 288 sur H200, soit environ six fois les performances d'un modèle autorégressif classique selon les benchmarks vLLM publiés le même jour. Google revendique un gain de vitesse jusqu'à 4x par rapport aux modèles standards sur GPU. C'est également le premier modèle de diffusion textuelle nativement intégré dans la plateforme d'inférence open source vLLM, avec un modèle Mixture of Experts de 26 milliards de paramètres n'en activant que 3,8 milliards à l'inférence, tenant dans 18 Go de VRAM et donc compatible avec une RTX 4090 ou 5090. L'intérêt principal de cette approche réside dans deux propriétés structurelles absentes des modèles actuels : l'autocorrection et le contexte bidirectionnel. Un modèle autorégressif classique est incapable de revenir sur un token déjà émis, même incorrect, car les tokens suivants en sont déjà conditionnés. DiffusionGemma part d'un bloc de 256 tokens aléatoires, passe plusieurs fois sur l'ensemble, verrouille les positions les plus certaines, randomise les incertaines et les reconsidère à la lumière de ce qui a déjà été stabilisé. Google illustre cette capacité avec un solveur de Sudoku finement ajusté : le modèle de base résolvait zéro grille, après fine-tuning il atteint 80% de réussite en 12 passes de débruitage au lieu de 48, grâce à l'arrêt précoce permis par l'autocorrection. Pour les déploiements locaux ou à faible concurrence, où un GPU classique passe l'essentiel du temps à attendre des tokens un par un, le gain est particulièrement concret. L'architecture représente un changement de paradigme pour l'inférence de modèles de langage, même si Google a été transparent sur ses limites : la qualité globale des sorties reste inférieure à celle de Gemma 4 standard, et l'entreprise recommande explicitement ce dernier pour les applications exigeant une qualité maximale. L'intégration dans vLLM a nécessité des développements spécifiques puisque DiffusionGemma alterne entre attention causale et bidirectionnelle selon la phase de traitement, une première pour la plateforme. Google et Nvidia ont co-optimisé les noyaux NVFP4 pour les serveurs Hopper et Blackwell d'entreprise. La nouvelle interface ModelState conçue pour cette intégration est pensée pour accueillir d'autres modèles de diffusion à venir, signalant que cette direction de recherche est désormais considérée comme mûre pour la production.

💬 Le plus intéressant là-dedans, c'est pas la vitesse, c'est l'autocorrection : un autorégressif classique ne peut pas revenir sur un token raté une fois que les suivants s'en sont emparés. DiffusionGemma repart du début à chaque passe, verrouille ce qui est certain, reconsidère le reste, et ça change la logique d'inférence plus profondément qu'un simple gain de débit. La qualité reste sous Gemma 4 standard, Google le dit lui-même, donc pas encore pour la prod, mais comme signal de recherche, c'est le genre de truc qu'on attendait.

Google Gemma 4, NVIDIA et OpenClaw s'attaquent au coût des tokens pour les agents IA en local, du RTX au DGX Spark

Google a lancé la famille de modèles Gemma 4, une nouvelle génération de modèles d'intelligence artificielle open source conçus pour fonctionner localement sur du matériel grand public. Développés en collaboration avec NVIDIA, ces modèles se déclinent en quatre variantes — E2B, E4B, 26B et 31B paramètres — et couvrent un spectre allant des modules embarqués Jetson Orin Nano aux stations de travail RTX, en passant par le DGX Spark, le superordinateur personnel d'IA récemment annoncé par NVIDIA. Ils supportent nativement l'appel de fonctions pour les agents autonomes et acceptent des entrées multimodales mêlant texte et images dans un même prompt. Sur un RTX 5090, les gains de performance atteignent 2,7 fois ceux obtenus sur un Mac M3 Ultra avec llama.cpp, selon les mesures publiées par NVIDIA. L'enjeu central de cette annonce est ce que les développeurs appellent la "token tax" — le coût financier cumulatif engendré par chaque requête envoyée à un modèle cloud comme GPT-4o ou Gemini. Pour une application d'IA toujours active, qui traite en continu des fichiers, des fenêtres d'applications ou des flux de capteurs, ces coûts deviennent rapidement prohibitifs. En exécutant Gemma 4 localement sur un GPU NVIDIA, le coût marginal par inférence tombe à zéro. Des plateformes comme OpenClaw, qui permettent de construire des assistants IA personnels fonctionnant en permanence sur des PC RTX, bénéficient directement de cette combinaison : débit élevé, latence faible, et aucune dépendance à une connexion ou à un abonnement cloud. Cette évolution s'inscrit dans une tendance de fond qui voit les grands laboratoires — Google, Meta, Mistral — publier des modèles compacts capables de rivaliser avec des systèmes bien plus lourds, à mesure que les techniques de distillation et de quantification progressent. NVIDIA, dont la domination sur les GPU d'entraînement est bien établie, cherche à étendre son emprise sur le marché de l'inférence locale, notamment avec le DGX Spark positionné comme outil de développement personnel haut de gamme. La disponibilité de modèles comme Gemma 4 optimisés pour son écosystème renforce cette stratégie. Les prochains mois verront probablement une multiplication d'applications agentiques locales, portées par cette convergence entre modèles ouverts performants et matériel grand public suffisamment puissant pour les faire tourner sans compromis.

Google AI lance DiffusionGemma, un modèle MoE ouvert à 26B paramètres, jusqu'à 4 fois plus rapide par diffusion de texte

Google a publié DiffusionGemma, un modèle expérimental open source de 26 milliards de paramètres en architecture Mixture of Experts (MoE), sous licence Apache 2.0. Contrairement aux modèles de langage classiques qui génèrent les tokens un par un de gauche à droite, DiffusionGemma produit des blocs entiers de texte en parallèle, ce qui lui permet d'atteindre jusqu'à quatre fois la vitesse de génération des modèles autorégressifs traditionnels. Sur un GPU NVIDIA H100, il dépasse les 1 000 tokens par seconde ; sur un RTX 5090, il atteint plus de 700 tokens par seconde. Lors de l'inférence, seuls 3,8 milliards de paramètres sont activés. Le modèle, construit sur la base Gemma 4 26B-A4B, est multimodal : il traite du texte, des images et de la vidéo en entrée, dispose d'une fenêtre de contexte de 256 000 tokens, supporte plus de 140 langues et tient dans 18 Go de VRAM une fois quantifié, le rendant compatible avec les GPU grand public haut de gamme. L'intérêt principal de DiffusionGemma réside dans ses cas d'usage à contrainte de latence forte : édition de texte en ligne, itération rapide, génération de structures non linéaires. En déplaçant le goulot d'étranglement de la bande passante mémoire vers le calcul pur, le modèle exploite mieux les cœurs tensoriels inactifs des GPU locaux. Google cible explicitement les développeurs et chercheurs qui travaillent sur des workflows interactifs en local, où la vitesse prime sur la qualité absolue. L'entreprise est toutefois transparente sur le compromis : DiffusionGemma génère plus vite, mais sa qualité de sortie reste inférieure à celle de Gemma 4 autorégressif standard. Pour les productions critiques nécessitant une qualité maximale, Google recommande toujours ses modèles classiques. Le mécanisme au cœur de DiffusionGemma s'appelle Uniform State Diffusion, inspiré des générateurs d'images IA qui partent d'un bruit visuel pour le raffiner progressivement. Appliqué au texte, le modèle démarre avec un canvas de 256 tokens aléatoires, effectue plusieurs passes en attention bidirectionnelle, verrouille les tokens à haute confiance et les utilise comme contexte pour résoudre les positions adjacentes, jusqu'à ce que le texte converge. Cette attention bidirectionnelle, où chaque token peut en observer un autre dans n'importe quelle direction, tranche radicalement avec les modèles autorégressifs contraints à ne regarder qu'en arrière. Elle permet en outre une auto-correction en temps réel : si la confiance d'un token chute, le modèle peut le re-bruiter et le remplacer lors d'une passe suivante. Pour les sorties longues, Google a développé la Block Autoregressive Diffusion : une fois un bloc de 256 tokens finalisé, il est validé dans le cache KV et un nouveau canvas démarre, conditonné sur l'historique précédent. Cette approche hybride combine la vitesse du traitement parallèle et la stabilité séquentielle des architectures classiques.