NVIDIA AI lance Nemotron-Labs-Diffusion : modèle de langage à trois modes, 6 fois plus de tokens par inférence que Qwen3-8B

NVIDIA lance Nemotron-Labs-TwoTower, un modèle de langage à diffusion à poids ouverts basé sur un backbone autorégressif figé Nemotron-3-Nano-30B-A3B

NVIDIA a publié Nemotron-Labs-TwoTower, un modèle de langage à diffusion construit à partir du backbone autorégressif ouvert Nemotron-3-Nano-30B-A3B, sous licence NVIDIA Nemotron Open Model License. Contrairement aux modèles autorégressifs classiques qui génèrent un token à la fois, ce qui limite le débit de génération, TwoTower produit les tokens en parallèle puis les affine par itérations successives. L'innovation tient dans la séparation en deux tours distinctes là où la plupart des modèles à diffusion utilisent un seul réseau pour représenter les tokens propres et débruiter les tokens corrompus. Chaque tour compte 52 couches, réparties entre 23 couches Mamba-2, 6 couches d'auto-attention et 23 couches de mixture d'experts, pour un total d'environ 60 milliards de paramètres, dont seulement 3 milliards actifs par token et par tour. Sur les 128 experts routables, 6 s'activent à chaque passage, complétés par 2 experts partagés. Les deux tours partent du même point de contrôle, mais seule la tour de débruitage a été entraînée, sur environ 2 100 milliards de tokens, contre 25 000 milliards pour le backbone original resté figé. Cette architecture permet à NVIDIA d'annoncer un débit de génération 2,42 fois supérieur à celui du modèle autorégressif de référence, tout en conservant 98,7% de sa qualité agrégée sur les benchmarks, mesurée sur deux GPU H100 en précision BF16 avec un seuil de confiance de 0,8 et des blocs de 16 tokens. Concrètement, les scores de connaissances générales comme MMLU restent à moins d'un point d'écart avec l'original, tandis que les tâches de code et de mathématiques, comme HumanEval ou MATH-500, accusent un recul plus net, et que les tâches de sens commun et de multilinguisme, comme WinoGrande ou MGSM, sont préservées voire légèrement améliorées. Ce compromis intéresse directement les entreprises qui déploient des modèles de langage à grande échelle, où le coût et la latence de l'inférence pèsent lourd sur les factures de calcul: gagner plus du double en vitesse pour une perte de qualité inférieure à 2% change concrètement l'équation économique des déploiements en production. Sur le plan technique, la tour de contexte autorégressive traite le prompt et les tokens déjà validés de façon causale, en générant un cache clé-valeur et des états Mamba-2 exploités couche par couche par la tour de débruitage via un mécanisme d'attention croisée alignée, une amélioration par rapport aux approches précédentes qui ne transmettaient que le dernier état caché. La génération se fait bloc par bloc: chaque bloc commence masqué, se raffine sur plusieurs étapes de diffusion, puis se valide avant que la tour de contexte ne mette à jour ses caches. Le fait qu'un unique point de contrôle permette de basculer entre les modes diffusion, pseudo-autorégressif et purement autorégressif ouvre la voie à des déploiements flexibles, où les développeurs pourront arbitrer entre vitesse et fidélité selon les besoins de chaque application, une piste que d'autres laboratoires travaillant sur les architectures hybrides devraient probablement explorer à leur tour.

Google AI lance DiffusionGemma, un modèle MoE ouvert à 26B paramètres, jusqu'à 4 fois plus rapide par diffusion de texte

Google a publié DiffusionGemma, un modèle expérimental open source de 26 milliards de paramètres en architecture Mixture of Experts (MoE), sous licence Apache 2.0. Contrairement aux modèles de langage classiques qui génèrent les tokens un par un de gauche à droite, DiffusionGemma produit des blocs entiers de texte en parallèle, ce qui lui permet d'atteindre jusqu'à quatre fois la vitesse de génération des modèles autorégressifs traditionnels. Sur un GPU NVIDIA H100, il dépasse les 1 000 tokens par seconde ; sur un RTX 5090, il atteint plus de 700 tokens par seconde. Lors de l'inférence, seuls 3,8 milliards de paramètres sont activés. Le modèle, construit sur la base Gemma 4 26B-A4B, est multimodal : il traite du texte, des images et de la vidéo en entrée, dispose d'une fenêtre de contexte de 256 000 tokens, supporte plus de 140 langues et tient dans 18 Go de VRAM une fois quantifié, le rendant compatible avec les GPU grand public haut de gamme. L'intérêt principal de DiffusionGemma réside dans ses cas d'usage à contrainte de latence forte : édition de texte en ligne, itération rapide, génération de structures non linéaires. En déplaçant le goulot d'étranglement de la bande passante mémoire vers le calcul pur, le modèle exploite mieux les cœurs tensoriels inactifs des GPU locaux. Google cible explicitement les développeurs et chercheurs qui travaillent sur des workflows interactifs en local, où la vitesse prime sur la qualité absolue. L'entreprise est toutefois transparente sur le compromis : DiffusionGemma génère plus vite, mais sa qualité de sortie reste inférieure à celle de Gemma 4 autorégressif standard. Pour les productions critiques nécessitant une qualité maximale, Google recommande toujours ses modèles classiques. Le mécanisme au cœur de DiffusionGemma s'appelle Uniform State Diffusion, inspiré des générateurs d'images IA qui partent d'un bruit visuel pour le raffiner progressivement. Appliqué au texte, le modèle démarre avec un canvas de 256 tokens aléatoires, effectue plusieurs passes en attention bidirectionnelle, verrouille les tokens à haute confiance et les utilise comme contexte pour résoudre les positions adjacentes, jusqu'à ce que le texte converge. Cette attention bidirectionnelle, où chaque token peut en observer un autre dans n'importe quelle direction, tranche radicalement avec les modèles autorégressifs contraints à ne regarder qu'en arrière. Elle permet en outre une auto-correction en temps réel : si la confiance d'un token chute, le modèle peut le re-bruiter et le remplacer lors d'une passe suivante. Pour les sorties longues, Google a développé la Block Autoregressive Diffusion : une fois un bloc de 256 tokens finalisé, il est validé dans le cache KV et un nouveau canvas démarre, conditonné sur l'historique précédent. Cette approche hybride combine la vitesse du traitement parallèle et la stabilité séquentielle des architectures classiques.

NVIDIA AI lance Star Elastic : un checkpoint unique pour trois modèles de raisonnement de 30B, 23B et 12B paramètres

NVIDIA Research a présenté Star Elastic, une nouvelle méthode post-entraînement qui permet d'intégrer plusieurs sous-modèles de tailles différentes au sein d'un unique checkpoint. Appliquée à Nemotron Nano v3, un modèle hybride Mamba-Transformer-MoE de 30 milliards de paramètres au total (3,6 milliards actifs), la technique génère deux variantes imbriquées : une version 23B (2,8B actifs) et une version 12B (2,0B actifs). Les trois modèles sont entraînés en une seule passe sur environ 160 milliards de tokens, puis stockés dans un seul fichier de poids. Aucun fine-tuning supplémentaire n'est nécessaire pour extraire l'une ou l'autre variante. Jusqu'ici, produire une famille de modèles signifiait multiplier les entraînements complets, les volumes de stockage et les infrastructures de déploiement. Star Elastic tranche ce problème en identifiant, pour chaque budget de paramètres cible, quels composants du modèle parent contribuent le plus à la précision : canaux d'embedding, têtes d'attention, experts MoE, dimensions intermédiaires des couches FFN. Ces composants sont classés par importance, de sorte que les sous-modèles plus petits réutilisent toujours le sous-ensemble le plus performant du modèle plus grand. Pour les couches MoE, la méthode introduit le Router-Weighted Expert Activation Pruning (REAP), qui sélectionne les experts en combinant les valeurs des gates de routage et les magnitudes de sortie, un signal plus fiable que la simple fréquence d'activation. L'architecture de chaque variante est déterminée par un routeur entraînable de bout en bout via Gumbel-Softmax, qui apprend à prendre des décisions architecturales en optimisant simultanément la distillation de connaissance depuis le modèle parent et le respect d'un budget de ressources cible. La pression pour réduire le coût du déploiement de LLMs est constante, notamment pour les équipes qui veulent proposer plusieurs niveaux de qualité sans doubler les coûts d'infrastructure. Star Elastic s'inscrit dans une lignée de techniques de compression comme Minitron (déjà développé par NVIDIA), mais s'en distingue par son routeur différentiable et son entraînement en deux phases : une première sur des contextes courts de 8 192 tokens, puis une seconde sur des contextes longs de 49 152 tokens avec sur-représentation du modèle 30B complet (probabilité 0,5 contre 0,3 pour le 23B et 0,2 pour le 12B). Les ablations sur Nemotron Nano v2 montrent que cette seconde phase seule apporte jusqu'à 19,8 points de gain sur AIME-2025 pour une variante 6B, ce qui justifie son inclusion systématique. La méthode ouvre la voie à des déploiements adaptatifs où un même checkpoint peut servir différentes phases de raisonnement selon les contraintes de latence ou de mémoire disponible.

💬 Un checkpoint, trois modèles, zéro fine-tuning supplémentaire. C'est le genre de truc qui semble évident avec le recul mais qui demandait jusqu'ici de lancer trois entraînements complets, trois pipelines de déploiement, trois factures de stockage. Reste à voir si les variantes 12B et 23B tiennent vraiment face à des modèles entraînés séparément, parce que "imbriqué dans le même fichier" et "aussi bon qu'un modèle dédié", c'est pas forcément la même chose.

Alibaba lance Qwen3.7-Plus : texte, vidéo et images pour 0,4 $/1,6 $ par million de tokens, mais en source fermée

Alibaba a lancé cette semaine Qwen3.7-Plus, son dernier grand modèle de langage multimodal, capable de traiter simultanément du texte, des vidéos et des images. Le modèle est proposé à 0,40 dollar par million de tokens en entrée et 1,60 dollar en sortie, soit 60 % moins cher que son prédécesseur Qwen3.7-Max, sorti quelques semaines plus tôt mais limité au texte seul. Avec une fenêtre de contexte d'un million de tokens et jusqu'à 256 000 tokens dédiés au raisonnement interne, Qwen3.7-Plus cible explicitement les usages agentiques complexes, comme la migration de bases de code ou l'analyse automatisée de documents visuels. Le modèle intègre aussi un paramètre API baptisé "preservethinking", qui conserve les blocs de raisonnement internes entre les tours de conversation, évitant à l'agent de perdre le fil de sa logique au milieu d'une tâche longue. La rupture la plus notable n'est pas technique : Qwen3.7-Plus est distribué sous licence commerciale fermée, uniquement via l'API Alibaba Cloud et le service Qwen Chat. C'est un virage stratégique majeur pour un groupe qui avait construit sa réputation internationale sur la publication de modèles open source puissants, proches de l'état de l'art. Des entreprises comme Airbnb s'appuyaient justement sur ces modèles en accès libre. Pour les développeurs et organisations qui avaient intégré l'open source Qwen dans leurs infrastructures, ce changement de cap impose soit de migrer vers l'API payante d'Alibaba, soit de se tourner vers un concurrent. Sur le plan tarifaire, Qwen3.7-Plus reste compétitif face à des modèles comme MiniMax-M3 (0,30/1,20 dollar) ou Gemini 3.1 Flash-Lite de Google (0,25/1,50 dollar), mais il est dépassé en prix bas par DeepSeek-V4-Flash (0,14/0,28 dollar). Ce lancement s'inscrit dans une dynamique de consolidation des stratégies de monétisation chez les grands labos chinois. Après avoir inondé le marché de modèles open source pour gagner en adoption et en réputation, Alibaba suit une trajectoire similaire à celle d'OpenAI ou Anthropic : garder les modèles les plus capables derrière un accès payant. La fonctionnalité "preservethinking" avait déjà été introduite avec la génération Qwen 3.6, sur les modèles open weight Qwen3.6-27B et le Max propriétaire, signe que la stratégie de différenciation entre open et closed s'élabore depuis plusieurs mois. Avec la course aux modèles multimodaux et agentiques qui s'accélère, l'enjeu pour Alibaba est de ne pas perdre les développeurs séduits par l'ouverture, tout en capturant les revenus que seule une offre cloud fermée peut générer à grande échelle.