Thinking Machines Lab publie Inkling-Small, un modèle multimodal MoE en open weights (276 milliards de paramètres, 12 milliards actifs)

Thinking Machines Lab lance Inkling, un modèle multimodal MoE open-weights de 975 milliards de paramètres (41 milliards actifs) à effort de raisonnement ajustable

Thinking Machines Lab vient de publier Inkling, son premier modèle entraîné entièrement en interne, avec des poids ouverts et un réglage fin possible via sa plateforme Tinker. Il s'agit d'un transformeur à mélange d'experts (MoE) comptant 975 milliards de paramètres au total, dont 41 milliards actifs, doté d'une fenêtre de contexte pouvant atteindre 1 million de tokens. Le préentraînement a porté sur 45 000 milliards de tokens mêlant texte, images, audio et vidéo ; le modèle accepte du texte, des images et de l'audio en entrée, mais ne produit que du texte en sortie. Le laboratoire a également dévoilé Inkling Small, une version de 276 milliards de paramètres avec 12 milliards actifs, qui égale voire dépasse son grand frère sur de nombreux benchmarks ; ses poids seront publiés une fois les tests terminés. L'architecture, proche de celle de DeepSeek V3, comprend 66 couches de décodeur avec 256 experts routés et 2 experts partagés par couche MoE, six experts routés s'activant par token via un routeur à base de sigmoïde. Le modèle alterne couches d'attention locale et globale selon un ratio de 5 pour 1, utilise un encodage positionnel relatif plutôt que RoPE, et a été entraîné avec l'optimiseur Muon sur des systèmes NVIDIA GB300 NVL72, avec un post-entraînement basé sur du SFT synthétique (notamment généré par Kimi K2.5) suivi d'un apprentissage par renforcement asynchrone dépassant 30 millions de déploiements. L'innovation la plus notable concerne le contrôle de l'effort de raisonnement : durant l'entraînement RL, l'équipe a fait varier le budget de tokens alloué au modèle en ajustant le message système et le coût par token, si bien qu'Inkling a appris à moduler lui-même sa profondeur de réflexion selon la tâche. Ce curseur, réglable de 0,2 à 0,99, est directement exposé via un paramètre reasoning_effort dans la bibliothèque transformers, ce qui permet aux développeurs d'ajuster coût et latence à la demande plutôt que de choisir entre plusieurs modèles figés. Concrètement, Inkling consomme trois fois moins de tokens que Nemotron 3 Ultra pour une performance équivalente sur Terminal Bench 2.1, un gain d'efficacité qui pourrait peser lourd pour les entreprises déployant des agents à grande échelle. Sur les benchmarks, évalués à effort maximal (0,99), Inkling se montre compétitif face à des modèles ouverts comme Kimi K2.6, GLM 5.2 ou DeepSeek V4 Pro, dominant notamment le test d'adversarialité FORTRESS avec 78 %, mais accusant un retard de près de 19 points sur GLM 5.2 en Terminal Bench 2.1. Il affiche aussi 73,5 % sur MMMU Pro et 91,4 % sur VoiceBench. Ce lancement s'inscrit dans la course des laboratoires d'IA à proposer des modèles open-weights toujours plus personnalisables, où Thinking Machines Lab, fondé par d'anciens cadres d'OpenAI, mise sur la finesse de réglage et la maîtrise du coût de calcul comme argument différenciant face aux géants du secteur.

💬 Le vrai coup ici c'est le curseur reasoning_effort, pas la taille du modèle. Thinking Machines Lab remplace le choix entre plusieurs modèles figés par un seul réglage de profondeur de réflexion, ajustable à la volée, et trois fois moins de tokens que Nemotron 3 Ultra pour la même perf sur Terminal Bench, ça pèse lourd sur la facture des boîtes qui font tourner des agents à grande échelle. Reste que sur ce même benchmark il traîne 19 points derrière GLM 5.2, donc l'efficacité ne rattrape pas encore un vrai écart de capacité.

Mistral AI lance Mistral Small 4 : un modèle MoE de 119 milliards de paramètres qui unifie instruction, raisonnement et tâches multimodales

Mistral AI franchit une étape importante avec le lancement de Mistral Small 4, un modèle d'architecture Mixture-of-Experts (MoE) qui unifie pour la première fois sous un seul déploiement des capacités jusqu'ici réparties entre plusieurs modèles distincts : suivi d'instructions, raisonnement, compréhension multimodale et codage agentique. Ce choix architectural répond à une friction réelle dans les environnements de production : la nécessité de router les requêtes entre plusieurs modèles spécialisés selon leur nature. Mistral Small 4 supprime ce besoin en exposant un unique point d'entrée API capable de gérer aussi bien les tâches conversationnelles légères que les raisonnements complexes ou l'analyse d'images, une simplification significative pour les équipes d'ingénierie qui gèrent des infrastructures d'inférence à grande échelle. Sur le plan technique, le modèle repose sur 128 experts dont 4 sont activés par token, pour un total de 119 milliards de paramètres mais seulement 6 milliards actifs par inférence. Il prend en charge une fenêtre de contexte de 256 000 tokens. L'innovation la plus notable reste le paramètre reasoning_effort configurable à la requête : réglé sur none, il produit des réponses rapides comparables à Mistral Small 3.2 ; réglé sur high, il active un raisonnement pas-à-pas équivalent aux anciens modèles Magistral. En termes de performances, Mistral annonce une réduction de 40 % du temps de complétion et 3x plus de requêtes par seconde face à Small 3, tout en surpassant GPT-OSS 120B sur LiveCodeBench et AIME 2025 avec 20 % de tokens générés en moins. Cette dernière métrique, la performance par token généré, est au cœur du positionnement commercial de Mistral : face aux modèles Qwen qui nécessitent entre 5 800 et 6 100 caractères pour des résultats comparables sur les benchmarks de raisonnement, Small 4 atteint des performances équivalentes avec seulement 1 600 caractères, ce qui se traduit directement par une réduction de la latence et des coûts d'inférence en production.

L'équipe Qwen publie en open source Qwen3.6-35B-A3B, modèle vision-langage MoE à 3 milliards de paramètres actifs

L'équipe Qwen d'Alibaba a publié Qwen3.6-35B-A3B, le premier modèle open-weight de la génération Qwen3.6, une architecture multimodale de type Mixture of Experts (MoE) qui combine 35 milliards de paramètres au total, mais n'en active que 3 milliards lors de l'inférence. Le modèle repose sur 256 experts par couche, dont seulement 8 sont mobilisés par token, ce qui maintient les coûts de calcul et la latence au niveau d'un modèle bien plus petit. Il intègre un encodeur visuel natif capable de traiter images, documents, vidéos et tâches de raisonnement spatial, avec une fenêtre de contexte native de 262 144 tokens, extensible jusqu'à plus d'un million via la technique YaRN. Le modèle est disponible en open-weight, accompagné d'un billet de blog technique détaillé publié sur qwen.ai. Les performances en développement logiciel autonome constituent l'argument le plus fort de ce lancement. Sur SWE-bench Verified, le benchmark de référence pour la résolution de problèmes GitHub réels, Qwen3.6-35B-A3B obtient 73,4 points, contre 70,0 pour son prédécesseur Qwen3.5-35B-A3B et 52,0 pour Gemma4-31B de Google. Sur Terminal-Bench 2.0, qui évalue un agent accomplissant des tâches dans un vrai terminal avec trois heures allouées, il atteint 51,5, devant tous les modèles comparés. En génération de code frontend, l'écart est encore plus marqué: le modèle score 1 397 sur QwenWebBench interne, contre 978 pour la version précédente. Sur les benchmarks de raisonnement scientifique, il obtient 92,7 sur AIME 2026 et 86,0 sur GPQA Diamond. Côté vision, il surpasse Claude Sonnet 4.5 sur MMMU (81,7 contre 79,6), sur RealWorldQA (85,3 contre 70,3) et sur VideoMMMU (83,7 contre 77,6). Ce lancement s'inscrit dans une course intense entre les grands laboratoires chinois et occidentaux pour produire des modèles à la fois performants et économiquement viables à déployer. L'approche MoE, popularisée par Mistral avec Mixtral puis reprise par Meta, DeepSeek et désormais Alibaba, répond directement à la contrainte centrale du déploiement en production: réduire le coût par token sans sacrifier la qualité. Qwen3.6-35B-A3B joue ici sur deux tableaux simultanément, en ciblant à la fois les développeurs qui cherchent un agent de codage capable et les équipes qui ont besoin de capacités visuelles avancées sans financer un modèle dense de 100 milliards de paramètres. La disponibilité en open-weight renforce l'attractivité du modèle pour les entreprises soucieuses de garder la main sur leur infrastructure, dans un contexte où les modèles propriétaires de frontier comme GPT-4o ou Gemini Ultra restent hors de portée pour un déploiement local.

Thinking Machines lance Inkling Small, un modèle open source proche des performances de son prédécesseur pour environ un quart de sa taille

La startup Thinking Machines, dirigée par l'ancienne directrice technique d'OpenAI Mira Murati, a dévoilé Inkling-Small, un nouveau modèle d'intelligence artificielle open source, seulement deux semaines après le lancement de son premier modèle, Inkling. Inkling-Small compte 276 milliards de paramètres, contre 975 milliards pour son prédécesseur, mais n'utilise que 12 milliards de paramètres actifs par token, contre 41 milliards pour Inkling. Distribué sous licence permissive Apache 2.0, ce modèle multimodal accepte du texte, des images et de l'audio en entrée, produit du texte en sortie, et gère une fenêtre de contexte allant jusqu'à un million de tokens. Sur l'index d'intelligence de référence publié par Artificial Analysis, il obtient un score de 40, contre 41 pour Inkling, un écart minime qui en fait, selon l'organisme, le modèle open source le plus performant à cette taille ou en dessous. Les poids complets sont disponibles sur Hugging Face, avec un support pour le fine-tuning via l'API Tinker de l'entreprise, et un tarif de lancement réduit de 50%, soit 0,58 dollar par million de tokens en entrée, 1,44 dollar par million de tokens générés et 1,73 dollar par million de tokens d'entraînement pour la version standard à 64000 tokens de contexte. Pour les entreprises, l'intérêt ne réside pas seulement dans la taille réduite du modèle, mais dans le fait qu'il conserve l'essentiel des capacités de son grand frère tout en réduisant nettement les besoins en calcul, les coûts d'inférence et l'empreinte de déploiement. Inkling-Small dépasse même Inkling sur plusieurs benchmarks techniques, avec 80,2% contre 77,6% sur SWE-bench Verified et 64,7% contre 63,8% sur Terminal Bench 2.1, ce qui en fait un candidat solide pour les assistants de codage, les systèmes d'outils automatisés ou l'analyse documentaire. Cette avancée reste toutefois inégale: sur les tâches nécessitant des connaissances factuelles ou certains usages agentiques, comme le benchmark bancaire τ³-Banking où il chute à 15,5% contre 23,7% pour Inkling, le modèle marque un net recul, ce qui impose aux entreprises de maintenir des mécanismes de vérification et de relecture humaine pour les usages à fort enjeu. Sur le plan technique, Inkling-Small repose sur une architecture de type mélange d'experts, avec un décodeur à 42 couches qui redirige chaque token vers six experts spécialisés parmi un ensemble de 256, complétés par deux experts partagés qui restent actifs en permanence. Cette conception explique l'écart entre ses 276 milliards de paramètres totaux et ses 12 milliards de paramètres réellement mobilisés à chaque calcul. Elle illustre une tendance plus large du secteur de l'IA générative, où les laboratoires cherchent désormais à comprimer les performances des grands modèles dans des architectures plus légères et moins coûteuses à exploiter, sans sacrifier la compétitivité face aux modèles propriétaires fermés.

💬 Bon, sur le papier c'est exactement le genre de compression qu'on attendait : un quart de la taille, un tiers des paramètres actifs, et l'essentiel des perfs qui suit, voire dépasse le modèle d'origine sur le code (SWE-bench, Terminal Bench). Mais la chute sur τ³-Banking (15,5% contre 23,7%) dit un truc important qui dépasse Thinking Machines : compresser un modèle, ça ne rétrécit pas uniformément ses capacités, ça les découpe de façon inégale, et personne ne sait encore prédire quelles compétences sautent en premier. Pour une boîte qui veut déployer ça en prod sur des tâches à enjeu, ça reste un pari, pas un remplacement automatique.