Le consortium Soofi publie Soofi S 30B-A3B, un modèle hybride Mamba-Transformer MoE ouvert pour l'allemand et l'anglais

NVIDIA lance Nemotron 3 Ultra, un hybride Mamba-Transformer open source à 550 milliards de paramètres pour agents autonomes

NVIDIA a dévoilé Nemotron 3 Ultra, son modèle d'intelligence artificielle le plus ambitieux à ce jour : un modèle à mélange d'experts (MoE) de 550 milliards de paramètres au total, dont seulement 55 milliards sont activés à chaque token. Conçu spécifiquement pour les agents autonomes de longue durée, il repose sur une architecture hybride Mamba-Attention, une alternative aux Transformers purs. Les couches Mamba gèrent les longues séquences avec une mise à l'échelle sous-quadratique, tandis que quelques couches Attention assurent un rappel précis sur de grands contextes. Le modèle a été pré-entraîné sur 20 000 milliards de tokens, puis sa fenêtre de contexte a été étendue à 1 million de tokens. NVIDIA annonce un débit d'inférence jusqu'à six fois supérieur à celui de modèles open source comparables, à précision équivalente. Le pipeline de post-entraînement combine apprentissage supervisé (SFT), apprentissage par renforcement à récompense vérifiable (RLVR) et une distillation multi-enseignants (MOPD). Les données publiées en open source incluent 50 millions d'exemples SFT, 2 millions de tâches RL et 55 environnements RL, auxquels s'ajoutent 173 milliards de tokens de code GitHub fraîchement collectés. Ce modèle répond à un défi concret du déploiement d'agents IA : plus un agent opère longtemps, plus le nombre de tokens traités explose, et plus le coût d'inférence devient prohibitif. Nemotron 3 Ultra inverse cette dynamique grâce à sa structure MoE et à l'architecture Mamba, dont le coût de décodage reste constant quelle que soit la longueur de la séquence. Pour les entreprises qui construisent des agents capables d'utiliser des outils, de planifier sur de nombreux tours et de raisonner sur de longs contextes, c'est une amélioration directe de viabilité économique. La publication simultanée des jeux de données d'entraînement et des 15 nouveaux environnements RL est également significative : elle permet à la communauté de reproduire et d'affiner le pipeline sans repartir de zéro, ce que les grands modèles fermés ne permettent pas. Nemotron 3 Ultra s'inscrit dans la stratégie de NVIDIA visant à imposer sa stack logicielle dans l'écosystème IA open source, en complément de ses GPU. L'entraînement n'a pas été sans accrocs : deux divergences de loss ont été documentées. La première, vers 8 000 milliards de tokens, était due à une réduction de gradient en BF16 qui écrasait silencieusement la contribution du mécanisme de prédiction multi-token. La seconde, vers 16 000 milliards de tokens, reste inexpliquée et a conduit NVIDIA à tronquer l'entraînement à 20 000 milliards de tokens. Ces incidents, publiquement documentés, constituent une contribution rare à l'ingénierie de l'entraînement à grande échelle. Le modèle est publié en open weights via Hugging Face, positionnant NVIDIA comme un acteur de référence dans la course aux modèles ouverts face à Meta, Mistral et Google.

💬 L'architecture Mamba pour des agents longs, c'est le problème qu'on se prend en pleine figure dès qu'on essaie de faire tourner quelque chose de sérieux en prod. 55 milliards actifs sur 550, contexte à un million de tokens sans faire exploser les coûts à chaque requête, les datasets publiés avec, ça change vraiment l'équation pour qui construit sur de l'open source. Et documenter deux divergences de loss en cours d'entraînement, dont une inexpliquée, c'est rare, et franchement plus utile que trois posts de blog soignés.

Zyphra lance Zamba2-VL : modèles vision-langage hybrides Mamba2-Transformer réduisant le temps de premier token d'un facteur 10

Zyphra a publié Zamba2-VL, une famille de modèles de vision-langage (VLM) open source déclinée en trois tailles : 1,2 milliard, 2,7 milliards et 7 milliards de paramètres. Ces modèles sont capables d'analyser conjointement des images et du texte, graphiques, documents, photos, pour répondre à des questions ou extraire des informations. Contrairement à la quasi-totalité des VLM ouverts actuels, qui reposent sur un Transformer dense comme moteur de langage, Zamba2-VL intègre une architecture hybride combinant des couches Mamba2 (de type SSM, state-space model) et des blocs Transformer partagés. Le modèle utilise le tokeniseur de Mistral v0.1 et a été entraîné sur 100 milliards de tokens de données visuelles et textuelles issues du web ouvert. Pour l'encodage visuel, Zyphra a retenu le Vision Transformer de Qwen2.5-VL, choisi pour sa gestion native des résolutions dynamiques et ses embeddings positionnels 2D rotatifs. L'avantage principal de cette architecture se mesure à l'inférence : là où l'attention des Transformers classiques évolue de façon quadratique avec la longueur des séquences, les couches Mamba2 opèrent en temps quasi-linéaire avec un état récurrent de taille fixe. Sur un préfixe de 32 000 tokens, Zamba2-VL affiche un temps avant premier token (TTFT) inférieur d'environ un ordre de grandeur à celui de ses concurrents Transformer, tout en maintenant des scores comparables. C'est un avantage décisif pour des usages embarqués ou en périphérie (edge), où mémoire et latence sont contraintes. Sur 14 benchmarks couvrant la compréhension de documents, le comptage visuel et la perception générale, le modèle 2,7B atteint 90,9 sur DocVQA et 82,5 sur PixMoCount, surpassant largement InternVL3.5-2B (32,8) et Qwen3-VL-2B (55,7) sur ce dernier test. Il reste en revanche en retrait sur les benchmarks de raisonnement intensif comme MMMU (37,7 contre 49,9 pour InternVL3.5-2B) et MathVista. Cette publication s'inscrit dans une dynamique plus large qui voit les architectures SSM et hybrides progressivement s'imposer comme alternatives sérieuses aux Transformers purs, notamment pour les contraintes d'inférence à bas coût. Zyphra, qui développe la famille Zamba2 depuis plusieurs mois, cible explicitement les gammes 1,2B et 2,7B pour des déploiements sur appareils et en périphérie de réseau, un segment en forte croissance avec la multiplication des assistants locaux et des applications industrielles d'analyse documentaire. Les modèles sont publiés en open source, ce qui devrait accélérer l'adoption et permettre à la communauté d'évaluer indépendamment les compromis entre efficacité d'inférence et performance sur les tâches de raisonnement complexe, domaine où les hybrides SSM-Transformer restent encore challengés par les architectures full-attention à plus grande échelle.

Poolside lance Laguna XS.2, un modèle ouvert gratuit et performant pour le codage local à base d'agents

La startup américaine Poolside, fondée à San Francisco en 2023, a lancé ce 28 avril 2026 deux nouveaux modèles de langage sous la marque Laguna, conçus spécifiquement pour les tâches de codage agentique. Le premier, Laguna M.1, est un modèle propriétaire de 225 milliards de paramètres au format Mixture of Experts (MoE), avec 23 milliards de paramètres actifs, destiné aux environnements d'entreprise et gouvernementaux à hautes exigences de sécurité. Le second, Laguna XS.2, est un modèle open source sous licence Apache 2.0 de 33 milliards de paramètres (3 milliards actifs), téléchargeable et exécutable localement sur un simple GPU de bureau ou d'ordinateur portable, sans connexion internet. Poolside accompagne ces deux modèles d'un agent de codage en ligne de commande baptisé "pool" et d'un environnement de développement web mobile appelé "shimmer". Temporairement, même le plus grand modèle M.1 est accessible gratuitement via l'API Poolside et des partenaires comme OpenRouter, Ollama et Baseten. L'arrivée de Laguna XS.2 en open source représente un signal fort dans un secteur dominé soit par des modèles propriétaires coûteux comme Claude d'Anthropic ou GPT-5.5 d'OpenAI, soit par des modèles chinois à licence ouverte comme ceux de DeepSeek. Poolside offre ici une alternative américaine, exécutable entièrement hors ligne, ce qui répond à un besoin critique pour les agences gouvernementales et les entreprises opérant dans des environnements ultra-sécurisés. L'ingénieur post-entraînement George Grigorev a précisé que Poolside peut "livrer des poids dans des environnements totalement isolés on-premises, sans connexion réseau", un avantage décisif face aux solutions cloud d'Anthropic ou Google. Par ailleurs, les deux modèles Laguna ont été entraînés intégralement from scratch, contrairement à plusieurs laboratoires américains qui s'appuient sur les modèles de base Qwen d'Alibaba, ce qui leur confère une indépendance technique notable. Poolside s'est jusqu'ici concentrée sur des contrats gouvernementaux et de défense, construisant ses modèles dans un environnement interne appelé "Model Factory", dont le moteur central est un logiciel maison nommé Titan. L'entreprise utilise également un optimiseur d'entraînement appelé Muon, qui accélère l'apprentissage d'environ 15% par rapport aux méthodes standards, un avantage compétitif non négligeable en termes de coûts et de délais. En s'ouvrant maintenant à la communauté des développeurs et à la recherche publique, Poolside change de stratégie et entre de plein pied dans la bataille de l'open source agentique, à un moment où les entreprises tech cherchent à réduire leur dépendance aux API propriétaires pour des raisons de coût, de confidentialité et de souveraineté technologique.

Tencent lance Hy3, un modèle MoE ouvert de 295 milliards de paramètres (21 milliards actifs) et 256K de contexte

Tencent a présenté Hy3, un nouveau modèle de langage à architecture Mixture-of-Experts (MoE) doté de 295 milliards de paramètres au total, dont seulement 21 milliards sont activés à chaque requête grâce à un système de 192 experts avec routage top-8. Le modèle intègre également une couche de prédiction multi-tokens (MTP) de 3,8 milliards de paramètres, compatible avec vLLM et SGLang pour accélérer le décodage. Hy3 gère un contexte de 256 000 tokens, dispose d'un vocabulaire de 120 832 éléments et repose sur 80 couches en précision BF16, avec une version allégée en FP8 également disponible. Les poids sont publiés sous licence Apache 2.0, rendant le modèle librement réutilisable. Sur le plan des performances, Tencent revendique un score de 78,0 sur SWE-Bench Verified, 57,9 sur SWE-Bench Pro et 90,4 sur GPQA Diamond, ainsi que 90,0 sur IMOAnswerBench. Un test à l'aveugle mené auprès de 270 experts, totalisant 312 comparaisons sur des tâches réelles, a donné à Hy3 un score de 2,67 sur 4, devançant GLM-5.1 crédité de 2,51, notamment sur le développement frontend, les pipelines CI/CD et la gestion de données. Cette publication marque une avancée notable pour les modèles ouverts destinés aux usages professionnels et agentiques. Tencent a concentré une grande partie de ses efforts sur la fiabilité en production, un point souvent négligé par les modèles expérimentaux. Le taux d'hallucination est ainsi passé de 12,5 % à 5,4 % dans les évaluations internes, tandis que les erreurs de bon sens ont chuté de 25,4 % à 12,7 %. Le suivi des intentions sur plusieurs tours de conversation s'est également amélioré, avec un taux d'incidents internes réduit de 17,4 % à 7,9 %, et un score passant de 42,9 % à 75,1 % sur le benchmark de dialogue long MRCR. Ces progrès concernent directement les développeurs qui déploient des agents autonomes pour la programmation ou le traitement de documents longs, un secteur où les erreurs d'appels d'outils et les boucles infinies restent un frein majeur à l'adoption en production. Le modèle s'inscrit dans un contexte de compétition intense entre acteurs chinois et américains sur les modèles ouverts à grande échelle, avec des rivaux comme GLM-5.1 pris comme référence de comparaison directe. Hy3 expose une API compatible OpenAI, déployable via vLLM ou SGLang, avec un paramètre reasoningeffort ajustable entre "nothink", "low" et "high" selon la complexité de la tâche, les développeurs de Tencent recommandant une température de 0,9 et un top_p de 1,0. Le modèle est aussi accessible sans matériel local via OpenRouter, où une route gratuite tencent/hy3:free est proposée, mais cette gratuité doit prendre fin le 21 juillet 2026. Les cas d'usage visés incluent les agents de programmation capables d'ingérer un dépôt entier grâce à la fenêtre de contexte de 256 000 tokens, ainsi que le traitement de documents longs comme des contrats, positionnant Hy3 comme un outil taillé pour les flux de travail professionnels exigeants en fiabilité et en capacité de raisonnement.