VibeThinker-3B : modèle de raisonnement dense basé sur Qwen2.5-Coder-3B via le pipeline Spectrum-to-Signal

Le petit modèle VibeThinker-3B de Weibo relance le débat sur les benchmarks

Dimanche dernier, neuf chercheurs de Sina Weibo, le géant chinois des réseaux sociaux surtout connu pour sa plateforme de microblogging, ont publié sur arXiv un rapport technique de 14 pages qui a immédiatement agité la communauté de recherche en intelligence artificielle. Leur modèle de langage, baptisé VibeThinker-3B, ne compte que 3 milliards de paramètres, mais affiche des performances en raisonnement mathématique qui rivalisent avec des systèmes cent fois plus grands. Sur l'AIME 2026, l'un des examens de mathématiques les plus exigeants au monde, VibeThinker-3B obtient 94,3 points, soit autant que DeepSeek V3.2, un modèle de 671 milliards de paramètres, et davantage que Gemini 3 Pro de Google, qui plafonne à 91,7. Avec une technique propriétaire appelée Claim-Level Reliability Assessment, le score grimpe à 97,1, devançant pratiquement tous les systèmes publiquement documentés. Le modèle obtient aussi 91,4 sur l'AIME 2025, 89,3 sur le Harvard-MIT Mathematics Tournament 2025, 80,2 sur LiveCodeBench v6 en génération de code, et un taux d'acceptation de 96,1 % sur les concours hebdomadaires LeetCode entre fin avril et fin mai 2026. En quelques heures, le dépôt GitHub cumulait 685 étoiles et la fiche Hugging Face 130 likes. Ces chiffres remettent en question une hypothèse structurante de l'industrie de l'IA : celle selon laquelle les capacités de raisonnement avancé exigent des modèles toujours plus massifs et des investissements toujours plus lourds. Si un modèle de 3 milliards de paramètres, capable de tourner sur un ordinateur portable grand public, peut égaler des systèmes comme GLM-5 de Zhipu AI (744 milliards de paramètres) ou Kimi K2.5 de Moonshot AI (plus de 1 000 milliards), c'est la logique même des milliards investis dans la course à la puissance brute qui vacille. Pour les entreprises, les utilisateurs et les décideurs qui fondent leurs choix d'infrastructure sur la hiérarchie des benchmarks, la question n'est pas anodine. Les chercheurs de Weibo théorisent ce résultat à travers ce qu'ils appellent la "Parametric Compression-Coverage Hypothesis" : le raisonnement vérifiable, comme les maths ou le code, où les réponses peuvent être contrôlées objectivement, serait une capacité compressible dans un modèle compact, alors que la connaissance encyclopédique exigerait de nombreux paramètres pour couvrir l'étendue des faits et des cas limites. Cette distinction est corroborée par le score du modèle sur GPQA-Diamond, un benchmark de connaissances scientifiques au niveau master : VibeThinker-3B n'atteint que 70,2, loin derrière les meilleurs modèles. La réaction sur X, résumée par un post ayant dépassé 161 000 vues ("Je ne sais vraiment pas si c'est une percée ou si les benchmarks sont cassés"), illustre le doute croissant sur la valeur réelle de ces classements, devenus l'enjeu central d'un secteur qui peine à distinguer le progrès scientifique de l'optimisation de tests.

💬 La vraie info dans ce papier, c'est pas que les benchmarks sont cassés (même si un peu quand même). C'est que le raisonnement vérifiable, les maths, le code, ça se compresse bien dans un petit modèle, alors que la connaissance encyclopédique non. Un 3B qui cartonne sur l'AIME mais tombe à 70% sur GPQA-Diamond, c'est exactement ce que ça prédit, et ça devrait changer la façon dont on choisit ses modèles selon ce qu'on veut vraiment faire.

Qwen lance Qwen3.7-Max : un modèle agent de raisonnement avec une fenêtre de contexte d'un million de tokens

Alibaba a présenté officiellement Qwen3.7-Max le 20 mai 2026 lors de l'Alibaba Cloud Summit, bien que deux versions preview du modèle aient discrètement fait leur apparition sur le classement Arena AI quelques jours plus tôt, sans communiqué de presse ni accès API annoncé. Le modèle texte uniquement obtient un score de 56,6 sur l'Intelligence Index d'Artificial Analysis, le plaçant cinquième mondial, devant le Gemini 3.5 Flash de Google (55,3) mais derrière GPT-5.5 (60,2) et Claude Opus 4.7 (57,3). Les gains par rapport à son prédécesseur Qwen3.6 Max Preview (51,8) sont concentrés sur le raisonnement scientifique, les tâches agentiques et le code : le benchmark CritPt a progressé de 9,7 points, Humanity's Last Exam de 9,2 points, et Terminal-Bench Hard de 6,9 points. Le modèle dispose d'une fenêtre de contexte d'un million de tokens, quadruplant la capacité des 256 000 tokens de la version précédente, de quoi ingérer un dépôt de code complet ou une grande pile de documents en une seule requête. Ce qui distingue Qwen3.7-Max des modèles classiques, c'est son architecture orientée agent longue durée. L'équipe Qwen le positionne comme son modèle agentique le plus avancé à ce jour, capable de gérer des tâches s'étendant sur des centaines, voire des milliers d'étapes successives : refactoring de code itératif, automatisation de flux bureautiques, orchestration d'outils sur de longues périodes sans intervention humaine. Le modèle utilise un mode de raisonnement étendu où il génère une chaîne de pensée interne avant de produire une réponse, ce qui se traduit par un volume de tokens considérable : lors des tests d'Artificial Analysis, Qwen3.7-Max a produit environ 97 millions de tokens, contre une moyenne de 24 millions pour les autres modèles du même benchmark. Pour des tâches simples, cette latence supplémentaire n'apporte rien ; pour de la planification complexe ou des pipelines agentiques, c'est précisément là que réside la valeur du modèle. Alibaba s'inscrit dans une course mondiale à l'agent IA autonome, où les grands laboratoires cherchent à dépasser les assistants conversationnels pour atteindre des systèmes capables d'exécuter des projets complets en autonomie. La série Qwen3 illustre la montée en puissance des acteurs chinois dans ce domaine : Alibaba se positionne désormais sixième laboratoire mondial en capacités texte et cinquième en vision selon LM Arena. La tarification de Qwen3.7-Max n'est pas encore annoncée, la version précédente étant facturée 1,30 $/7,80 $ le million de tokens en entrée/sortie sur Alibaba Cloud. Le modèle est propriétaire et fermé, et les tests indépendants sur la fiabilité effective de la fenêtre d'un million de tokens restent à venir, la dégradation du raisonnement sur de très longs contextes étant un problème connu dans l'industrie.

Meta Superintelligence Labs lance Muse Spark 1.1, un modèle de raisonnement multimodal pour les tâches à base d'agents sur Meta Model API

Meta Superintelligence Labs a dévoilé Muse Spark 1.1, un modèle de raisonnement multimodal conçu pour les tâches agentiques, et a ouvert en parallèle un aperçu public de la Meta Model API. Ce second élément marque un tournant structurel : jusqu'ici, les modèles de Meta étaient distribués principalement en poids ouverts, alors que Muse Spark 1.1 est fermé, hébergé et facturé au token. Le modèle dispose d'une fenêtre de contexte d'un million de tokens (1 048 576 selon la documentation technique de l'API) et accepte du texte, des images, de la vidéo et des documents en entrée, avec une sortie textuelle. Son effort de raisonnement est ajustable à chaque requête, et l'API propose en complément la sortie structurée, l'appel d'outils en parallèle, une Files API, la mise en cache des prompts et un outil de recherche web renvoyant des réponses sourcées. Côté accès, les particuliers profitent du mode "Thinking" gratuitement dans l'application Meta AI et sur meta.ai, tandis que les développeurs paient 1,25 dollar par million de tokens en entrée et 4,25 dollars par million en sortie, avec 20 dollars de crédits offerts à la création d'un compte. Le lancement reste pour l'instant réservé aux États-Unis, sans disponibilité en Europe. Sur le plan des performances, Meta positionne clairement Muse Spark 1.1 comme un modèle d'orchestration plutôt qu'un champion du code. Il domine les benchmarks liés à l'usage d'outils : 88,1 sur MCP Atlas contre 82,2 pour Opus 4.8, 75,3 pour GPT-5.5 et 78,2 pour Gemini 3.1 Pro, et 54,7 sur JobBench contre 48,4, 38,3 et seulement 15,9 pour Gemini. Il obtient aussi le meilleur score sur Humanity's Last Exam (62,1). En revanche, sur le code pur, il se classe troisième, avec 61,5 sur SWE-Bench Pro et 53,3 sur DeepSWE 1.1, loin derrière Gemini 3.1 Pro sur ce dernier test (67,0). Ce qui distingue vraiment le modèle, c'est sa gestion active de son contexte massif : il mémorise ses actions, retrouve des informations issues de travaux antérieurs et compacte ce qu'il conserve. Il peut aussi déléguer des tâches à des sous-agents en parallèle lorsqu'il agit comme agent principal, et exécuter fidèlement une mission tout en sachant remonter un problème lorsqu'il agit comme sous-agent, avec une capacité de généralisation immédiate à de nouveaux outils, serveurs MCP ou compétences personnalisées. Cette sortie s'inscrit dans une bataille plus large entre grands laboratoires d'IA pour dominer les usages agentiques, où la capacité à orchestrer des outils et des sous-tâches complexes compte désormais autant que la performance brute sur le code. En rendant son API compatible avec le format OpenAI, Meta facilite l'intégration : migrer vers Muse Spark 1.1 revient essentiellement à changer une URL de base plutôt qu'à réécrire une application, et les environnements compatibles avec le format Anthropic peuvent pointer vers l'équivalent Messages API. Pour l'automatisation d'ordinateur, le modèle a été entraîné à choisir entre écrire un script ou cliquer directement selon ce qui est le plus efficace, générant des lots d'actions à chaque étape. L'absence d'accès européen et le choix par Meta de son propre jeu de benchmarks invitent toutefois à la prudence avant d'en tirer des conclusions définitives sur sa supériorité réelle face aux modèles concurrents.

💬 Muse Spark 1.1 n'essaie pas de battre GPT-5.5 ou Gemini sur le code, il joue une autre partie : celle de chef d'orchestre qui délègue à des sous-agents et gère un million de tokens de contexte sans perdre le fil. C'est révélateur d'un vrai basculement dans la course à l'IA, la bataille se déplace du "qui code le mieux" vers "qui orchestre le mieux", et les scores sur MCP Atlas ou JobBench comptent maintenant autant que SWE-Bench. Reste que c'est fermé, payant, réservé aux US, et benchmarké par Meta lui-même, donc j'attends de voir ça tourner ailleurs qu'en démo avant de crier au génie.

KAT-Coder-V2.5 : KwaiKAT lance un modele de codage a base d'agents entraine sur plus de 100 000 environnements de depot verifiables

L'équipe KwaiKAT de Kuaishou a dévoilé KAT-Coder-V2.5, un modèle de codage conçu pour opérer directement dans des dépôts de code réels et exécutables plutôt que de se contenter de générer du code en une seule passe. Le modèle est accessible via la plateforme StreamLake, et une variante à poids ouverts, KAT-Coder-V2.5-Dev, a été publiée séparément sur Hugging Face sous licence Apache-2.0. Le cœur du projet repose sur un système baptisé AutoBuilder, qui définit une tâche vérifiable comme un triplet associant une description précise de la tâche, un environnement de dépôt exécutable et une série de tests de validation : un correctif n'est jugé correct que s'il satisfait l'ensemble de ces critères. Les tâches proviennent de vraies pull requests et de vrais commits, dans la lignée de SWE-bench, avec un correctif de référence et un correctif de test associés. Un agent de construction analyse chaque dépôt pour écrire un script de configuration installant les dépendances et lançant les tests depuis une copie propre, tandis qu'un agent de vérification exécute ce script dans un environnement isolé, n'acceptant l'environnement que si plus de 90% des tests attendus sont collectés et que leurs résultats sont reproductibles. Grâce à cette méthode, associée à des modèles de systèmes de build et à une bibliothèque de recettes réutilisables, le taux de réussite de construction des environnements est passé de 16,5% à 57,2%, aboutissant à plus de 100 000 environnements vérifiables couvrant 12 langages de programmation. Cette approche change la manière dont les modèles de codage sont entraînés et évalués, avec des conséquences concrètes pour les équipes d'ingénierie logicielle et les développeurs d'outils d'IA agentique. Plutôt que de juger un modèle sur sa capacité à produire un extrait de code plausible, KAT-Coder-V2.5 est évalué sur sa capacité à résoudre de vrais problèmes dans un contexte réaliste, avec compilation, dépendances et tests automatisés. Cela réduit le risque que des modèles obtiennent de bons scores en exploitant des raccourcis artificiels, comme le contournement de mécanismes de test ou le codage en dur de résultats attendus, une dérive fréquente dans l'entraînement par renforcement appliqué au code. Pour les entreprises qui cherchent à déployer des agents capables de naviguer, corriger et faire évoluer des bases de code existantes de façon autonome, ce type d'entraînement rapproche les modèles des conditions réelles de production, où la correction d'un bug implique bien plus que produire une ligne de code correcte isolément. Le projet met en lumière un problème plus large de fiabilité dans l'entraînement des modèles de codage par renforcement. Lors du développement de la version précédente, KAT-Coder-V2, l'équipe avait d'abord attribué la lenteur des courbes de récompense à des limites de l'algorithme d'apprentissage, avant qu'un audit ne révèle qu'environ 16% des trajectoires échouaient en réalité à cause de problèmes d'infrastructure des bacs à sable, notamment des défauts d'alignement qui vidaient les observations, et non à cause du modèle lui-même. KwaiKAT a donc développé un mécanisme de filtrage fondé sur le processus plutôt que sur le seul succès final des tests, avec des indices ciblés pour les tentatives proches de la réussite, une régénération de trajectoires sans indice pour éviter les fuites d'information, et un système de notation évaluant l'exploration, la localisation du bug, la fidélité aux spécifications et la qualité de la vérification. Un mécanisme de randomisation des noms d'outils, formats de sortie et modèles de prompts vise également à limiter le surapprentissage lié au harnais d'évaluation, une préoccupation croissante à mesure que les benchmarks de codage agentique deviennent des cibles d'optimisation pour l'industrie.

💬 Ce qui compte ici, c'est pas le modèle en lui-même, c'est l'aveu : 16% des trajectoires ratées à cause du bac à sable, pas du modèle. Ça confirme un truc qu'on soupçonnait depuis longtemps sur le RL appliqué au code, à savoir que la moitié du boulot c'est l'infra de vérification, pas l'algo. Selon Le Fil IA, la vraie course en ce moment se joue sur qui a les environnements de test les plus fiables, pas sur qui a le meilleur modèle. Bon, sur le papier, passer de 16,5% à 57,2% de taux de construction c'est solide, reste à voir si KAT-Coder tient la route face à Claude ou GPT sur du vrai code de prod.