Aller au contenu principal
LLMs · Actu ·

NVIDIA publie Nemotron-Labs-Sigma, un modèle de langage à diffusion continue avec 14 checkpoints en 3B et 8B

NVIDIA a publié Nemotron-Labs-Sigma, une collection de 14 checkpoints ouverts aux échelles 3B et 8B milliards de paramètres, présentée comme la première grande famille de modèles de langage à diffusion continue. Contrairement à LLaDA ou Dream, qui opèrent sur des tokens discrets, Sigma débruite le texte dans un espace d'embedding de 16 dimensions. La famille comprend des versions de base (Sigma-3B et Sigma-8B), des versions instruct, des versions distillées en peu d'étapes (NFE 2, 4, 8 et 16, soit 8 checkpoints) et deux variantes auto-spéculatives. Le contexte est de 4 096 tokens, et de 8 192 pour Sigma-8B-instruct. Le modèle repose sur un Transformer décodeur de type Ministral, entraîné après un démarrage autorégressif d'environ 1T de tokens, suivi d'environ 0,3T de tokens d'entraînement en diffusion. Sur le benchmark de base à six tâches de NVIDIA, Sigma-8B atteint 71,16 de moyenne avec 256 étapes DDPM, contre 70,22 pour NLD-8B, 68,91 pour Qwen3-8B en mode autorégressif, 58,74 pour Dream-7B et 41,78 pour LLaDA-8B. Après fine-tuning supervisé, la version instruct obtient 91,96 sur GSM8K, 78,40 sur MATH-500 et 82,50 sur HumanEval, mais seulement 23,33 sur AIME24 et 17,00 sur AIME25. Sa moyenne sur dix tâches, 59,14, reste légèrement sous celle de NLD-8B (59,92).

2 min de lecture

Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie

Source

Résumé et traduction réalisés par Le Fil IA à partir de MarkTechPost. Lire l'article original →

L'intérêt tient surtout à l'efficacité et à la maîtrise de la génération. Le modèle tourne sur un seul GPU NVIDIA en bfloat16 (Ampere, Lovelace, Hopper ou Blackwell) et produit environ 120 à 140 tokens par seconde sur un H100, sans prise en charge du CPU ni version quantifiée à ce stade. Un échantillonneur DDIM à 32 étapes suffit pour une moyenne de 70,18, et la version distillée à 8 étapes conserve 70,34, ce qui rend la diffusion textuelle bien plus économique. Les trajectoires lisses de l'espace continu se dégradent plus progressivement quand le nombre d'étapes baisse, et se prêtent à la distillation. NVIDIA affirme aussi que le guidage dans l'espace d'embedding permet de régler l'équilibre entre qualité et diversité pour l'échantillonnage pass@k. En code, Sigma-8B atteint 65,12 sur HumanEval contre 62,80 pour NLD-8B, même s'il est plus faible sur MBPP (65,74 contre 67,00). Tous ces scores proviennent des évaluations internes de NVIDIA.

Ce lancement s'inscrit dans l'essor des modèles de langage à diffusion, qui cherchent à dépasser la génération token par token des modèles autorégressifs. Jusqu'ici, les approches discrètes comme LLaDA et Dream peinaient à orienter leurs trajectoires de génération, car elles sautent d'un état de tokens à un autre. Sigma contourne ce problème avec des chemins ODE/SDE continus, tout en générant par blocs de 64 tokens par défaut, chacun étant ajouté à un cache KV avant le suivant. Les réglages recommandés sont un guidage de 3 et une température de score de 0,3 à 32 étapes DDIM, la qualité de la version de base chutant nettement sous environ 16 étapes. Reste à voir si la diffusion continue pourra combler l'écart sur le raisonnement difficile, où les résultats restent limités, et si les versions distillées et auto-spéculatives s'imposeront face aux modèles autorégressifs optimisés.

À lire ensuite

01NVIDIA lance Nemotron-Labs-TwoTower, un modèle de langage à diffusion à poids ouverts basé sur un backbone autorégressif figé Nemotron-3-Nano-30B-A3BMarkTechPostLLMs 02NVIDIA publie Nemotron 3.5 Bolt E4B 4GB, un petit modèle de langage ouvert pour agents vocaux, personnages de jeux et robots en localMarkTechPostLLMs 03NVIDIA lance Nemotron 3 Embed, une collection d'embeddings ouverts dont le modèle 8B se classe premier sur RTEBMarkTechPostLLMs 
Dossier · NVIDIASuivi en continu par Le Fil IASuivre ce sujet →

Le brief du matin

L'essentiel de l'IA chaque jour. Gratuit, désinscription immédiate à tout moment.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription à tout moment

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.