NVIDIA lance Nemotron 3 Embed, une collection d'embeddings ouverts dont le modèle 8B se classe premier sur RTEB

NVIDIA lance Nemotron-Labs-TwoTower, un modèle de langage à diffusion à poids ouverts basé sur un backbone autorégressif figé Nemotron-3-Nano-30B-A3B

NVIDIA a publié Nemotron-Labs-TwoTower, un modèle de langage à diffusion construit à partir du backbone autorégressif ouvert Nemotron-3-Nano-30B-A3B, sous licence NVIDIA Nemotron Open Model License. Contrairement aux modèles autorégressifs classiques qui génèrent un token à la fois, ce qui limite le débit de génération, TwoTower produit les tokens en parallèle puis les affine par itérations successives. L'innovation tient dans la séparation en deux tours distinctes là où la plupart des modèles à diffusion utilisent un seul réseau pour représenter les tokens propres et débruiter les tokens corrompus. Chaque tour compte 52 couches, réparties entre 23 couches Mamba-2, 6 couches d'auto-attention et 23 couches de mixture d'experts, pour un total d'environ 60 milliards de paramètres, dont seulement 3 milliards actifs par token et par tour. Sur les 128 experts routables, 6 s'activent à chaque passage, complétés par 2 experts partagés. Les deux tours partent du même point de contrôle, mais seule la tour de débruitage a été entraînée, sur environ 2 100 milliards de tokens, contre 25 000 milliards pour le backbone original resté figé. Cette architecture permet à NVIDIA d'annoncer un débit de génération 2,42 fois supérieur à celui du modèle autorégressif de référence, tout en conservant 98,7% de sa qualité agrégée sur les benchmarks, mesurée sur deux GPU H100 en précision BF16 avec un seuil de confiance de 0,8 et des blocs de 16 tokens. Concrètement, les scores de connaissances générales comme MMLU restent à moins d'un point d'écart avec l'original, tandis que les tâches de code et de mathématiques, comme HumanEval ou MATH-500, accusent un recul plus net, et que les tâches de sens commun et de multilinguisme, comme WinoGrande ou MGSM, sont préservées voire légèrement améliorées. Ce compromis intéresse directement les entreprises qui déploient des modèles de langage à grande échelle, où le coût et la latence de l'inférence pèsent lourd sur les factures de calcul: gagner plus du double en vitesse pour une perte de qualité inférieure à 2% change concrètement l'équation économique des déploiements en production. Sur le plan technique, la tour de contexte autorégressive traite le prompt et les tokens déjà validés de façon causale, en générant un cache clé-valeur et des états Mamba-2 exploités couche par couche par la tour de débruitage via un mécanisme d'attention croisée alignée, une amélioration par rapport aux approches précédentes qui ne transmettaient que le dernier état caché. La génération se fait bloc par bloc: chaque bloc commence masqué, se raffine sur plusieurs étapes de diffusion, puis se valide avant que la tour de contexte ne mette à jour ses caches. Le fait qu'un unique point de contrôle permette de basculer entre les modes diffusion, pseudo-autorégressif et purement autorégressif ouvre la voie à des déploiements flexibles, où les développeurs pourront arbitrer entre vitesse et fidélité selon les besoins de chaque application, une piste que d'autres laboratoires travaillant sur les architectures hybrides devraient probablement explorer à leur tour.

Microsoft AI lance Harrier-OSS-v1 : une nouvelle famille de modèles d'embeddings multilingues atteignant l'état de l'art sur Multilingual MTEB v2

Microsoft a publié Harrier-OSS-v1, une famille de trois modèles d'embedding de texte multilingues qui décrochent les meilleurs scores du moment sur le benchmark Multilingual MTEB v2, la référence principale pour évaluer la qualité des représentations vectorielles de texte. La famille comprend trois variantes : un modèle de 270 millions de paramètres, un de 0,6 milliard, et un de 27 milliards. Tous trois partagent une fenêtre de contexte de 32 768 tokens — soit entre 32 et 64 fois celle des modèles classiques comme les dérivés de BERT — et produisent des embeddings de dimensions variables (1 024, 2 048 ou 5 376 selon la taille). Les modèles sont disponibles en open source sur HuggingFace. Ce lancement représente une rupture technique notable dans le domaine des embeddings. Contrairement aux architectures encodeur bidirectionnelles qui dominent ce secteur depuis BERT en 2018, Harrier repose sur une architecture décodeur-seulement, identique à celle des grands modèles de langage modernes. Pour obtenir un vecteur représentatif d'un texte entier, le modèle utilise le mécanisme de last-token pooling : l'état caché du dernier token de la séquence sert de représentation agrégée, puis est normalisé. La fenêtre de 32k tokens est particulièrement précieuse pour les systèmes RAG (Retrieval-Augmented Generation), où l'obligation de découper de longs documents en petits morceaux dégrade souvent la cohérence sémantique. Par ailleurs, les modèles plus petits (270M et 0,6B) ont été entraînés par distillation de connaissance à partir de modèles enseignants plus grands, leur permettant d'atteindre des performances supérieures à ce que leur taille laisserait espérer — un avantage concret pour les déploiements contraints en mémoire ou en latence. La course aux embeddings multilingues s'intensifie depuis que les applications RAG et la recherche sémantique sont devenues des composantes centrales des produits IA en entreprise. Microsoft entre sur ce terrain avec une approche instruction-tuned : pour obtenir les performances annoncées, chaque requête doit être précédée d'une instruction décrivant la tâche (par exemple, "Retrieve semantically similar text"), tandis que les documents sont encodés sans instruction. Ce design permet au modèle d'adapter dynamiquement son espace vectoriel selon le cas d'usage — recherche web, mining de traductions, classification. Face à des concurrents comme Cohere, Voyage AI ou les modèles E5 de Microsoft lui-même, Harrier-OSS-v1 se positionne comme une option open source sérieuse couvrant une gamme de tailles adaptée à des contraintes très différentes, du serveur embarqué au cluster GPU haute capacité.

Nemotron Labs : comment les modèles ouverts donnent aux entreprises et aux États une IA fiable, maîtrisable et personnalisable

Traduction résumée de l'article : NVIDIA a publié un nouveau billet dans sa série de blog Nemotron Labs, consacrée à sa famille de modèles ouverts Nemotron. Le texte détaille comment plusieurs entreprises ont déjà personnalisé ces modèles pour des usages métiers précis. Abridge construit ainsi le premier modèle de fondation conçu spécifiquement pour les conversations cliniques. Glean a développé Waldo, un modèle de recherche agentique qui combine Nemotron avec des modèles fermés plus volumineux pour offrir une recherche d'entreprise à latence réduite et avec moins de tokens consommés. H Company a créé Holotron 3 Nano en post-entraînant Nemotron 3 Nano Omni sur des données propriétaires d'utilisation d'ordinateur, atteignant plus de 76% de précision sur OSWorld-Verified, un benchmark de référence pour les tâches informatiques, tout en égalant les modèles fermés les plus avancés pour une fraction du coût. Harvey a de son côté post-entraîné Nemotron 3 Ultra sur son propre benchmark juridique et obtenu une précision de niveau frontière, équivalente aux meilleurs modèles fermés sur des tâches juridiques complexes, avec un coût par exécution au moins dix fois inférieur. Heidi Health atteint des résultats comparables aux modèles de pointe en documentation clinique sans recourir à une puissance de calcul massive, tandis que YTL AI Labs a adapté un modèle Nemotron à la langue malaisienne pour la communauté de développeurs du pays. L'enjeu central mis en avant par NVIDIA est celui du contrôle et de la confiance. Contrairement aux modèles fermés, dont l'accès reste limité à une interface d'utilisation, les modèles ouverts permettent aux entreprises d'inspecter leur fonctionnement, de les évaluer selon leurs propres critères métier et de les affiner sans faire transiter leurs données sensibles par un tiers. Cet avantage est particulièrement décisif dans des secteurs comme la santé ou le droit, où une erreur peut avoir des conséquences lourdes et où les exigences de traçabilité et de conformité sont strictes. Pour ces industries, pouvoir auditer l'entraînement d'un modèle et le corriger devient un critère aussi important que sa performance brute. Cette approche s'inscrit dans une tendance plus large où l'avantage compétitif en IA ne dépend plus seulement du choix d'un modèle, mais de la manière dont il est adapté et intégré. NVIDIA promeut une architecture hybride où des modèles ouverts comme Nemotron gèrent des tâches spécialisées aux côtés de modèles fermés plus puissants chargés du raisonnement complexe, une répartition qui permet d'optimiser les coûts d'inférence tout en conservant de la flexibilité. L'exemple malaisien avec YTL AI Labs illustre par ailleurs un enjeu de souveraineté numérique, montrant comment des nations peuvent s'approprier des capacités d'IA adaptées à leur langue et à leur contexte local plutôt que de dépendre entièrement de fournisseurs étrangers.

NVIDIA lance Nemotron 3 Ultra, un modèle open source de 550 milliards de paramètres

Deux annonces majeures ont dominé l'actualité IA des 3 et 4 juin 2026. NVIDIA a lancé Nemotron 3 Ultra, un modèle open source de 550 milliards de paramètres au format MoE, avec 55 milliards de paramètres actifs et une fenêtre de contexte d'un million de tokens. Entraîné sur 20 000 milliards de tokens en précision NVFP4, le modèle repose sur une architecture hybride Mamba/attention avec LatentMoE, et est publié sous licence OpenMDW 1.1 avec poids, données synthétiques, checkpoints et recettes d'entraînement. NVIDIA affirme qu'il est jusqu'à 5 fois plus rapide et 30 % moins coûteux pour les tâches agentiques. Testé indépendamment par Artificial Analysis, il obtient 47,7 sur l'Intelligence Index, ce qui en fait le modèle open weights américain le plus performant à ce jour, bien qu'il reste derrière le modèle chinois Kimi K2.6. Disponible dès le jour du lancement sur vLLM, Modal, Together AI, Fireworks, Ollama et Baseten, il génère plus de 400 tokens par seconde via BlackBox. NVIDIA a également publié Nemotron 3.5 ASR, un modèle de reconnaissance vocale en streaming de 0,6 milliard de paramètres, couvrant 40 combinaisons langue-locale avec une latence inférieure à 100 millisecondes. L'autre annonce marquante vient d'Anthropic, qui a publié une note de recherche affirmant que ses systèmes actuels présentent des signes précoces d'amélioration récursive d'eux-mêmes. Les chiffres opérationnels sont frappants : plus de 80 % du code fusionné en interne chez Anthropic est désormais écrit par Claude, les ingénieurs produisent 8 fois plus de code par trimestre qu'avant, et le taux de succès de Claude sur des tâches d'ingénierie complexes en conditions ouvertes est passé de 26 % à 76 % en six mois. Le point de données le plus saisissant concerne un benchmark interne consistant à optimiser un script d'entraînement : Claude Opus 4 obtient en moyenne une accélération de 3x, tandis que Mythos Preview, un modèle expérimental plus avancé, atteint 52x. Ce même modèle surpasse des chercheurs humains 64 % du temps lorsqu'il s'agit de suggérer la prochaine étape dans une session de recherche ayant pris une mauvaise direction. Ces résultats s'inscrivent dans un contexte où la question de la gouvernance de l'IA devient centrale. Anthropic écrit explicitement qu'il serait "bénéfique pour le monde d'avoir la possibilité de ralentir ou de suspendre temporairement le développement de l'IA de frontier", appelant à des mécanismes de vérification et de coordination face à une dynamique auto-accélératrice. La publication intervient alors que ChatGPT vient de franchir le milliard d'utilisateurs actifs mensuels, avec cinq mois de retard sur les prévisions. Ensemble, le lancement d'un modèle open source de cette envergure par NVIDIA et les métriques internes d'Anthropic dessinent un moment charnière : l'IA est désormais un acteur central de sa propre évolution, et les questions de contrôle rejoignent en urgence celles de performance.

💬 Ce qui m'a arrêté, c'est pas Nemotron (solide, disponible sur Ollama dès le lancement, on s'en servira). C'est les chiffres internes d'Anthropic : 80% de leur code écrit par Claude, taux de réussite sur des tâches d'ingénierie complexes passé de 26% à 76% en six mois, et un modèle expérimental qui optimise des scripts d'entraînement à 52x. Quand ceux qui construisent l'outil publient ces chiffres ET appellent dans le même document à ralentir le développement, c'est qu'ils voient quelque chose qu'on ne voit pas encore.