« Nemotron Labs 3 Puzzle 75B A9B : un LLM MoE hybride compressé qui multiplie par 2,03 le débit serveur »

NVIDIA lance Nemotron-Labs-3-Puzzle-75B-A9B : un LLM MoE hybride compressé qui double le débit serveur à débit utilisateur égal

NVIDIA a publié Nemotron-Labs-3-Puzzle-75B-A9B, une version compressée de son modèle hybride Mamba-Transformer à mélange d'experts Nemotron-3-Super. Le modèle d'origine comptait 120,7 milliards de paramètres au total, dont 12,8 milliards actifs par requête. La version compressée tombe à 75,3 milliards de paramètres au total et 9,3 milliards actifs, soit une réduction respective à 62,4% et 73,1% de la taille initiale. L'architecture en 88 blocs (40 blocs Mamba, 40 blocs MoE, 8 blocs d'attention) a été préservée telle quelle ; seule la capacité interne de chaque bloc a été réduite, notamment la taille de l'état des couches Mamba (de 128 à 96) et le nombre d'experts routés activés par token (de 22 à une moyenne de 11). Le modèle est disponible sur Hugging Face en trois versions : BF16, FP8 et NVFP4. Les objectifs de conception avaient été fixés avant même la recherche d'architecture : doubler le débit serveur à 100 tokens par seconde et par utilisateur, et permettre huit requêtes simultanées de 1 million de tokens de contexte sur un seul GPU H100. Les gains mesurés dépassent l'objectif initial. Sur un nœud à huit GPU B200, le débit total grimpe de 1,60 à 2,14 fois celui du modèle Super, à format numérique et débit utilisateur équivalents, les meilleurs résultats se situant dans les scénarios à forte génération (jusqu'à 42 601 tokens par seconde contre 20 939 pour Super). Sur un H100 unique avec un contexte d'un million de tokens, le poids des paramètres NVFP4 passe de 70 Go à 44,5 Go, ce qui fait chuter la contrainte mémoire dominante et fait passer la concurrence de requêtes traitables simultanément de 1 à 8, avec un débit de décodage agrégé environ quadruplé. Cette efficacité a un coût en qualité : les scores chutent de 4,2 points sur Arena-Hard-V2 et de 2,6 points sur SWE-Bench, alors que les benchmarks de contexte long comme RULER restent quasiment stables. Pour les entreprises qui déploient de grands modèles hybrides à grande échelle, cela représente une réduction significative des coûts d'infrastructure par utilisateur servi. Cette compression repose sur Puzzletron, un framework de recherche d'architecture neuronale développé par NVIDIA qui explore différentes implémentations possibles pour chaque couche du modèle, leur attribue un score de qualité, puis sélectionne la combinaison optimale via un programme d'optimisation en nombres entiers mixtes sous contrainte de taille cible. L'équipe a par ailleurs démontré qu'une approche itérative de cette recherche surpasse une approche en une seule étape de 0,57 point en moyenne, pour un même niveau de compression. Les couches Mamba ont été élaguées de façon uniforme, faute de support actuel des frameworks d'inférence pour des tailles d'état variables selon les couches, tandis que les couches d'attention sont restées intactes, l'équipe jugeant Nemotron-3-Super déjà très efficace en matière de cache KV. Les détails complets figurent dans un article publié sur arXiv.

NVIDIA lance Audex (Nemotron-Labs-Audex-30B-A3B) : un LLM audio-texte unifié qui préserve l'intelligence textuelle de son modèle de base

NVIDIA a publié Audex, officiellement Nemotron-Labs-Audex-30B-A3B, un grand modèle de langage unifié qui comprend et génère à la fois texte, parole et sons généraux. L'architecture est une Mixture-of-Experts de 30 milliards de paramètres, dont seulement 3 milliards activés par token, bâtie sur le socle textuel Nemotron-Cascade-2-30B-A3B, un hybride Mamba-Transformer de 52 couches avec 128 experts routables et 6 activés. Une version plus légère, Audex-2B, est publiée en parallèle, les deux sous licence non commerciale. L'audio entrant passe par l'encodeur AF-Whisper, issu d'Audio Flamingo 3 et basé sur Whisper Large-v3, projeté dans l'espace d'embedding textuel via des adaptateurs MLP. En sortie, le vocabulaire grimpe de 131 072 à 205 312 tokens pour loger deux codecs : X-Codec2 pour la parole, à 50 tokens par seconde, et X-Codec pour les sons complexes, à 200 tokens par seconde. Le modèle gère jusqu'à un million de tokens de contexte et tourne sur Megatron-LM et vLLM, avec mode instruction et mode raisonnement. L'objectif est d'éviter la "taxe du texte", cette perte de performance linguistique que subissent la plupart des modèles multimodaux quand ils apprennent l'audio. NVIDIA affirme que ce phénomène touche même des modèles qui se contentent de générer de la parole. Sur MMLU-Redux, Audex obtient 86,4 points contre 86,3 pour son socle texte seul, et le dépasse même sur IMO AnswerBench avec 81,1 contre 79,3, avec de légères baisses seulement sur MMLU-Pro et GPQA-Diamond. À titre de comparaison, Qwen3-Omni-30B-A3B-Thinking, de taille similaire, chute nettement face à son propre socle : sur HMMT Feb25, Audex atteint 92,2 points contre 89,0 pour Qwen3.5-35B-A3B et seulement 60,4 pour Qwen3-Omni-Thinking. Pour les entreprises voulant déployer des assistants vocaux sans sacrifier la qualité des réponses écrites, l'enjeu est direct, d'autant qu'Audex compte parmi les rares modèles ouverts à générer des sons au-delà de la simple parole. Cette robustesse vient d'un entraînement progressif plutôt que d'un pré-entraînement audio classique. Audex part d'un point de contrôle texte déjà ajusté, puis enchaîne réchauffement audio, génération audio et compréhension audio, dans cet ordre. Pendant le réchauffement, les embeddings textuels restent gelés, car les dégeler dégradait la qualité du texte. Une recette mélangeant toutes les données en une seule étape a aussi été testée, mais elle cassait la récupération d'information sur les longs contextes. Après l'ajustement supervisé, NVIDIA applique un apprentissage par renforcement limité au texte et une distillation multi-domaine, ce qui améliore encore les scores textuels. L'entraînement mobilise 157,4 milliards de tokens audio et 320,5 milliards de tokens texte, couvrant reconnaissance vocale, traduction, synthèse et compréhension audio, dans une course plus large entre laboratoires pour des modèles multimodaux sans compromis.

💬 Le vrai sujet, c'est pas l'audio, tu t'en doutes, c'est que NVIDIA démonte l'excuse classique du multimodal : ajouter du son dégraderait forcément le texte. Audex fait mieux que son propre socle texte sur MMLU-Redux, quand Qwen3-Omni s'écroule sur les mêmes benchmarks, la preuve que la "taxe du texte" est un problème d'entraînement, pas une fatalité d'architecture. Bonne nouvelle si tu veux déployer un assistant vocal sans sacrifier la qualité des réponses écrites, mais la licence non commerciale ferme la porte à un vrai déploiement en boîte pour l'instant.

Alibaba publie Qwen3.6-27B, un modèle dense qui surpasse le MoE 397B sur les benchmarks de codage par agents

L'équipe Qwen d'Alibaba a publié Qwen3.6-27B, un modèle dense en open-weight de 27 milliards de paramètres disponible sous licence Apache 2.0 sur Hugging Face, en deux variantes : BF16 et FP8. Ce modèle se distingue notamment sur les benchmarks de codage agentique, où il surpasse des modèles bien plus imposants : il atteint 1 487 points sur QwenWebBench (génération de code frontend) contre 1 068 pour son prédécesseur Qwen3.5-27B, et 36,2 sur NL2Repo (génération de code à l'échelle d'un dépôt) contre 27,3. Sur SWE-bench Verified, référence du secteur pour les agents logiciels autonomes, il atteint 77,2, se rapprochant des 80,9 de Claude 4.5 Opus. Fait notable : ces performances dépassent celles du Qwen3.5-397B-A17B, un modèle Mixture-of-Experts quatorze fois plus grand. L'intérêt de cette publication tient à deux innovations concrètes. La première concerne le codage agentique : le modèle a été spécifiquement optimisé pour naviguer dans de larges bases de code, modifier plusieurs fichiers simultanément et produire du code exécutable cohérent, couvrant sept catégories allant du design web à la 3D. La seconde innovation, baptisée Thinking Preservation, répond à une limite structurelle des LLM actuels : par défaut, le raisonnement intermédiaire (chain-of-thought) n'est conservé que pour le message en cours et disparaît au tour suivant. Qwen3.6-27B propose une option pour conserver et réutiliser ces traces de raisonnement sur l'ensemble d'une conversation, ce qui réduit les tokens redondants et améliore l'utilisation du cache KV dans les workflows d'agents itératifs. Cette sortie s'inscrit dans une stratégie accélérée d'Alibaba sur les modèles ouverts : Qwen3.6-27B est le deuxième modèle de la famille Qwen3.6, après le Qwen3.6-35B-A3B (MoE à 3B paramètres actifs) lancé quelques semaines plus tôt, lui-même héritier de la série Qwen3.5. Sur le plan architectural, le modèle adopte une structure hybride originale répartie sur 64 couches : trois sublayers sur quatre utilisent Gated DeltaNet, une attention linéaire en O(n) bien plus efficace que l'attention classique quadratique O(n²), tandis qu'une couche sur quatre conserve l'attention standard. Cette conception permet de traiter de longs contextes avec un coût mémoire réduit, tout en maintenant la précision sur les tâches complexes. Compatible avec SGLang, vLLM et Hugging Face Transformers, le modèle vise directement les développeurs qui construisent des agents de codage, dans un segment où Anthropic et OpenAI restent pour l'instant en tête.

NVIDIA lance Nemotron 3 Ultra, un hybride Mamba-Transformer open source à 550 milliards de paramètres pour agents autonomes

NVIDIA a dévoilé Nemotron 3 Ultra, son modèle d'intelligence artificielle le plus ambitieux à ce jour : un modèle à mélange d'experts (MoE) de 550 milliards de paramètres au total, dont seulement 55 milliards sont activés à chaque token. Conçu spécifiquement pour les agents autonomes de longue durée, il repose sur une architecture hybride Mamba-Attention, une alternative aux Transformers purs. Les couches Mamba gèrent les longues séquences avec une mise à l'échelle sous-quadratique, tandis que quelques couches Attention assurent un rappel précis sur de grands contextes. Le modèle a été pré-entraîné sur 20 000 milliards de tokens, puis sa fenêtre de contexte a été étendue à 1 million de tokens. NVIDIA annonce un débit d'inférence jusqu'à six fois supérieur à celui de modèles open source comparables, à précision équivalente. Le pipeline de post-entraînement combine apprentissage supervisé (SFT), apprentissage par renforcement à récompense vérifiable (RLVR) et une distillation multi-enseignants (MOPD). Les données publiées en open source incluent 50 millions d'exemples SFT, 2 millions de tâches RL et 55 environnements RL, auxquels s'ajoutent 173 milliards de tokens de code GitHub fraîchement collectés. Ce modèle répond à un défi concret du déploiement d'agents IA : plus un agent opère longtemps, plus le nombre de tokens traités explose, et plus le coût d'inférence devient prohibitif. Nemotron 3 Ultra inverse cette dynamique grâce à sa structure MoE et à l'architecture Mamba, dont le coût de décodage reste constant quelle que soit la longueur de la séquence. Pour les entreprises qui construisent des agents capables d'utiliser des outils, de planifier sur de nombreux tours et de raisonner sur de longs contextes, c'est une amélioration directe de viabilité économique. La publication simultanée des jeux de données d'entraînement et des 15 nouveaux environnements RL est également significative : elle permet à la communauté de reproduire et d'affiner le pipeline sans repartir de zéro, ce que les grands modèles fermés ne permettent pas. Nemotron 3 Ultra s'inscrit dans la stratégie de NVIDIA visant à imposer sa stack logicielle dans l'écosystème IA open source, en complément de ses GPU. L'entraînement n'a pas été sans accrocs : deux divergences de loss ont été documentées. La première, vers 8 000 milliards de tokens, était due à une réduction de gradient en BF16 qui écrasait silencieusement la contribution du mécanisme de prédiction multi-token. La seconde, vers 16 000 milliards de tokens, reste inexpliquée et a conduit NVIDIA à tronquer l'entraînement à 20 000 milliards de tokens. Ces incidents, publiquement documentés, constituent une contribution rare à l'ingénierie de l'entraînement à grande échelle. Le modèle est publié en open weights via Hugging Face, positionnant NVIDIA comme un acteur de référence dans la course aux modèles ouverts face à Meta, Mistral et Google.

💬 L'architecture Mamba pour des agents longs, c'est le problème qu'on se prend en pleine figure dès qu'on essaie de faire tourner quelque chose de sérieux en prod. 55 milliards actifs sur 550, contexte à un million de tokens sans faire exploser les coûts à chaque requête, les datasets publiés avec, ça change vraiment l'équation pour qui construit sur de l'open source. Et documenter deux divergences de loss en cours d'entraînement, dont une inexpliquée, c'est rare, et franchement plus utile que trois posts de blog soignés.