Aller au contenu principal
L'ancien responsable de Qwen explique les erreurs du hybrid thinking et pourquoi il mise desormais sur les agents
LLMsMarkTechPost1sem· 2 min de lecture

L'ancien responsable de Qwen explique les erreurs du hybrid thinking et pourquoi il mise desormais sur les agents

Source originale ↗·
L'ancien responsable de Qwen explique les erreurs du hybrid thinking et pourquoi il mise desormais sur les agents
▶ Voir sur YouTube

Junyang Lin, qui dirigeait le projet Qwen chez Alibaba, a annoncé son départ le 3 mars 2026 et se présente désormais comme chercheur indépendant. Dans une conférence intitulée "Qwen : vers un modèle ou agent généraliste", il retrace toute la famille Qwen, de QwQ-32B à Qwen2.5-Max, en passant par Qwen3, Qwen2.5-VL et Qwen2.5-Omni, en comparant leurs performances à celles de DeepSeek-R1, Grok 3 Beta, Gemini 2.5 Pro et la série o d'OpenAI. Qwen3 occupe la place centrale de l'exposé : Lin y détaille les modes de raisonnement hybrides, avec un mode "réflexion" pour le raisonnement pas à pas et un mode "instruction" pour des réponses quasi instantanées, ainsi que des budgets de réflexion ajustables par l'utilisateur. La famille couvre désormais 119 langues et dialectes contre 29 auparavant, avec des tailles allant de 0,6 à 235 milliards de paramètres, disponibles en versions quantifiées GGUF, GPTQ, AWQ et MLX, toutes sous licence Apache 2.0. Les architectures présentées montrent que les petits modèles denses partagent leurs embeddings d'entrée et de sortie avec un contexte de 32 000 tokens, tandis que les modèles plus grands, denses ou à mélange d'experts, abandonnent ce partage et étendent le contexte à 128 000 tokens.

Ce que Lin détaille surtout, c'est la difficulté technique derrière cette fusion des modes de réflexion, un enjeu qui dépasse largement Qwen. Un modèle optimisé pour l'instruction est récompensé pour sa rapidité et sa concision, tandis qu'un modèle de raisonnement est récompensé pour le temps qu'il consacre aux problèmes complexes. Fusionner les deux sans précaution dégrade les deux comportements à la fois. Qwen3 a d'abord tenté cette fusion via un pipeline de post-entraînement en quatre étapes, avant que la lignée 2507, plus tard en 2025, ne revienne à des variantes séparées, une pour l'instruction et une pour le raisonnement. Lin y voit avant tout un problème de données plutôt que d'architecture, et cite en contrepoint la trajectoire d'Anthropic, qui a conservé une approche hybride avec Claude 3.7 Sonnet et son budget de réflexion réglable, puis avec Claude 4 qui entrelace raisonnement et usage d'outils pour le code et les tâches longues.

Cette réflexion s'inscrit dans un basculement plus large que Lin situe entre deux époques. La première, portée par o1 et DeepSeek-R1, a établi que l'apprentissage par renforcement exige des récompenses vérifiables, plaçant les mathématiques, le code et la logique au centre des efforts. La seconde, qu'il appelle la pensée agentique, consiste à raisonner pour agir : planifier, décider quand utiliser un outil, lire les retours de l'environnement et ajuster sa trajectoire. Ses pistes pour la suite incluent davantage de pré-entraînement, du renforcement fondé sur des retours d'environnement, des contextes plus longs et davantage de modalités, résumées dans sa formule finale : entraîner des agents plutôt que de simples modèles.

💬 L'analyse de Mathieu

L'aveu est rare : le mec qui a dirigé Qwen pendant deux ans dit texto que fusionner mode rapide et mode raisonnement, ça marche pas encore proprement, et qu'ils sont revenus en arrière avec la lignée 2507. Ce que ça révèle, c'est que le hybrid thinking vendu partout comme la norme (Claude, et bientôt tout le monde) reste un problème de données non résolu, pas une simple question d'architecture qu'on règle avec plus de compute. Et son pivot vers "entraîner des agents plutôt que des modèles" confirme un truc que je sens depuis des mois : la course au meilleur benchmark de raisonnement pur touche à sa fin.

Cet article vous a été utile ?

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

Les 7 types de mémoire des agents IA : guide technique pour les ingénieurs
1MarkTechPost 

Les 7 types de mémoire des agents IA : guide technique pour les ingénieurs

Les grands modèles de langage sont sans mémoire par défaut : chaque appel à l'API repart de zéro, sans souvenir de l'échange précédent. Cette limitation, acceptable pour une simple question, devient un obstacle dès qu'on construit un agent capable de planifier, d'appeler des outils et d'opérer sur plusieurs étapes. Pour combler ce vide, les ingénieurs en IA ont identifié sept types de mémoire distincts, chacun répondant à un besoin précis. La mémoire de travail, ou mémoire en contexte, correspond à tout ce que le modèle voit dans sa fenêtre de contexte à un instant donné : le prompt système, les messages récents, les résultats d'outils. C'est la RAM de l'agent, rapide mais éphémère et limitée en taille. La mémoire sémantique stocke quant à elle des faits et préférences durables dans une base externe, comme "cet utilisateur préfère Python à JavaScript". La mémoire épisodique journalise les événements passés, les conversations entières et les résultats de tâches, permettant à des systèmes comme Reflexion ou ExpeL d'écrire des bilans post-tâche et d'en tirer des leçons pour les exécutions suivantes. Ces distinctions ne sont pas purement académiques : elles déterminent concrètement les performances et le coût des systèmes agentiques en production. La mémoire procédurale encode les savoir-faire, les workflows et les règles comportementales, ce qui évite à un agent de support de raisonner à nouveau chaque réinitialisation de mot de passe après en avoir traité cent. La mémoire externe ou de récupération repose sur une base vectorielle interrogée à l'inférence par similarité, c'est le principe du RAG appliqué à l'historique de l'agent : la qualité de la recherche devient rapidement le goulot d'étranglement. La mémoire paramétrique, elle, est figée dans les poids du modèle lors de l'entraînement, inaccessible à la mise à jour en temps réel. Enfin, la mémoire prospective gère les intentions futures et les objectifs planifiés mais non encore exécutés, indispensable pour les agents à planification longue qui, sans elle, oublient leurs propres engagements. Cette taxonomie émerge à mesure que les agents IA passent des démonstrateurs de laboratoire aux systèmes opérationnels dans les entreprises. Les frameworks comme LangChain, LlamaIndex ou AutoGPT intègrent désormais plusieurs de ces couches simultanément, mais sans architecture mémoire explicite, les agents accumulent les erreurs, répètent les mêmes échecs et perdent le fil sur des tâches longues. Le choix de la combinaison mémoire dépend du cas d'usage : un agent de service client n'a pas les mêmes besoins qu'un assistant de recherche scientifique multi-session. À mesure que les fenêtres de contexte s'allongent, certains types comme la mémoire de récupération externe pourraient fusionner avec la mémoire de travail, redessinant profondément l'architecture des agents de demain.

💬 Sept types de mémoire, ça paraît beaucoup jusqu'à ce que ton agent oublie ses propres objectifs à mi-tâche. La vraie valeur de cette taxonomie, c'est qu'elle force à traiter la mémoire comme une décision d'architecture, pas une base vectorielle branchée au dernier moment faute de mieux. C'est le genre de clarification qui manquait depuis que tout le monde se met à construire des agents sans vraiment comprendre pourquoi ils déraillent.

LLMsOutil
1 source
Arcee AI publie Trinity Large Thinking : un modèle de raisonnement open source Apache 2.0 pour les agents autonomes et l'utilisation d'outils
2MarkTechPost 

Arcee AI publie Trinity Large Thinking : un modèle de raisonnement open source Apache 2.0 pour les agents autonomes et l'utilisation d'outils

Arcee AI a publié Trinity Large Thinking, un modèle de raisonnement en open-weight distribué sous licence Apache 2.0. Architecturalement, il s'agit d'un modèle Mixture-of-Experts (MoE) sparse totalisant 400 milliards de paramètres, mais qui n'en active que 13 milliards par token grâce à une stratégie de routage 4-sur-256. Cette conception permet d'atteindre la densité de connaissance d'un modèle massif tout en conservant des latences comparables à des architectures bien plus légères. Le modèle a été pré-entraîné sur 17 000 milliards de tokens avec l'optimiseur Muon, plus efficace que l'AdamW standard, et intègre un mécanisme d'attention hybride local/global avec attention gating pour mieux gérer les longs contextes. Il supporte une fenêtre de contexte de 262 144 tokens sur OpenRouter. Sur le benchmark PinchBench, dédié aux agents autonomes, Trinity Large Thinking occupe actuellement la deuxième place, derrière Claude Opus 4.6. Ce lancement est significatif pour les développeurs qui construisent des agents IA autonomes : Trinity Large Thinking est conçu spécifiquement pour les tâches longues et complexes, les appels d'outils multi-tours et le suivi d'instructions précises sur des workflows étendus. Contrairement aux modèles de chat généralistes, il intègre une phase de "réflexion" interne avant chaque réponse, ce qui lui permet de planifier des tâches en plusieurs étapes et de vérifier sa logique avant de générer une sortie. Cette combinaison de raisonnement structuré, de fiabilité multi-tours et de fenêtre de contexte étendue répond directement aux exigences des environnements d'automatisation logicielle, où les erreurs cumulatives sur de longues séquences d'actions sont le principal point de défaillance. L'émergence de ce modèle s'inscrit dans une tendance de fond : le déplacement du centre de gravité de l'IA générative vers des systèmes capables de raisonnement multi-étapes, jusqu'ici dominé par des acteurs propriétaires comme OpenAI avec o3 ou Anthropic avec Claude. Arcee AI, spécialisé dans les LLM d'entreprise et les modèles compacts à haute performance, propose ici une alternative ouverte et auditables pour les organisations qui ne peuvent ou ne souhaitent pas dépendre d'API fermées. Deux innovations techniques internes méritent attention : SMEBU (Soft-clamped Momentum Expert Bias Updates), une stratégie d'équilibrage de charge qui prévient l'effondrement des experts dans les architectures MoE, et l'utilisation du Muon optimizer pour améliorer l'efficacité d'entraînement. La suite logique sera de voir si la communauté open-source s'empare du modèle pour des déploiements auto-hébergés, et si Arcee maintient ce niveau de performance dans des évaluations tierces indépendantes au-delà de PinchBench.

UELa licence Apache 2.0 permet aux organisations européennes de déployer un modèle de raisonnement compétitif en auto-hébergement, réduisant leur dépendance aux API fermées américaines et s'alignant sur les objectifs de souveraineté numérique européenne.

LLMsOpinion
1 source
L'IA à base d'agents pousse les prix à la hausse, Deepseek sort un modèle compétitif pour presque rien
3The Decoder 

L'IA à base d'agents pousse les prix à la hausse, Deepseek sort un modèle compétitif pour presque rien

Le laboratoire chinois Deepseek a lancé deux nouveaux modèles, V4-Pro et V4-Flash, dotés d'une architecture pouvant atteindre 1 600 milliards de paramètres et d'une fenêtre de contexte d'un million de tokens. La sortie s'accompagne d'un article technique détaillant les choix d'entraînement, les techniques de distillation et le matériel utilisé. Les tarifs annoncés se situent très nettement en dessous de ceux pratiqués par OpenAI, Google et Anthropic, confirmant la stratégie agressive de Deepseek sur le marché des API. Cette annonce intervient dans un contexte où les grands acteurs occidentaux font l'inverse : face à l'explosion des usages agentiques, OpenAI et Anthropic ont récemment revu leurs prix à la hausse et imposé des plafonds de consommation sur certains modèles. Deepseek propose une alternative performante à une fraction du coût, ce qui représente une pression directe sur les marges et les modèles économiques des leaders du secteur. Pour les développeurs et les entreprises qui cherchent à déployer des agents autonomes à grande échelle, l'équation coût-performance devient difficile à ignorer. Deepseek s'est imposé depuis début 2025 comme l'un des acteurs les plus disruptifs du marché mondial des LLM, en montrant qu'il est possible d'obtenir des résultats compétitifs avec des budgets d'entraînement bien inférieurs à ceux de ses concurrents américains. La publication du papier technique accompagnant V4-Pro et V4-Flash s'inscrit dans cette logique de transparence qui renforce la crédibilité du laboratoire et alimente le débat sur l'avantage réel des géants du cloud face à une concurrence ouverte et low-cost.

UELes développeurs et entreprises européens déployant des agents autonomes peuvent réduire significativement leurs coûts d'API en adoptant DeepSeek V4-Pro/V4-Flash, remettant en question l'équation coût-performance avec leurs fournisseurs actuels.

LLMsOpinion
1 source
Grok 4.5 de SpaceXAI, entraîné par Cursor pour le code et les tâches à base d'agents, arrive à 2$/M tokens
4MarkTechPost 

Grok 4.5 de SpaceXAI, entraîné par Cursor pour le code et les tâches à base d'agents, arrive à 2$/M tokens

SpaceXAI a dévoilé Grok 4.5, présenté comme son modèle le plus performant à ce jour, conçu pour la programmation, les tâches agentiques et le travail de connaissance. Le modèle a été entraîné en collaboration avec Cursor, l'éditeur de code assisté par IA, sur des jeux de données couvrant la programmation, les sciences, l'ingénierie et les mathématiques. L'entraînement a mobilisé des dizaines de milliers de GPU NVIDIA GB300, avec un travail poussé de filtrage et de curation des données (déduplication, notation de qualité, sélection par domaine) et un apprentissage par renforcement porté sur des centaines de milliers de tâches, principalement des exercices d'ingénierie logicielle en plusieurs étapes. Sur les benchmarks publiés par SpaceXAI, Grok 4.5 obtient 62 % en pass@1 sur DeepSWE 1.0, 53 % sur DeepSWE 1.1, 83,3 % sur Terminal Bench 2.1 et un taux de résolution de 64,7 % sur SWE Bench Pro. Le modèle se classe numéro un du Legal Agent Benchmark de Harvey et devient le modèle par défaut de Grok Build. Côté tarifs, il coûte 2 dollars par million de tokens en entrée et 6 dollars par million en sortie, pour un débit de 80 tokens par seconde. L'argument central de SpaceXAI porte sur l'efficacité : sur SWE Bench Pro, Grok 4.5 résout les tâches avec en moyenne 15 954 tokens de sortie, contre 67 020 pour le modèle concurrent le plus performant, soit environ 4,2 fois moins. Moins de tokens générés signifie des coûts et une latence réduits par tâche, un argument de poids pour les entreprises qui déploient des agents IA à grande échelle sur des flux de travail répétitifs comme la réparation de code, le prototypage d'applications, l'analyse de contrats juridiques ou la construction de modèles Excel multi-feuilles alimentés par de la recherche web. Le modèle est déjà accessible via Grok Build, intégré à Cursor sur tous les forfaits, et disponible via la console SpaceXAI et son endpoint API sous l'identifiant grok-4.5. Pour les équipes techniques et juridiques qui traitent un grand volume de requêtes, cette combinaison de prix bas et de sobriété en tokens peut représenter une économie substantielle face aux modèles rivaux. Ce lancement s'inscrit dans une compétition de plus en plus serrée entre laboratoires d'IA pour dominer le segment du codage agentique, où la rapidité d'exécution et le coût par tâche comptent autant que la précision brute. Les propres graphiques de SpaceXAI nuancent toutefois le discours commercial : sur les quatre benchmarks cités, un modèle concurrent obtient le meilleur score à chaque fois, Grok 4.5 ne s'en rapprochant véritablement que sur Terminal Bench 2.1. Face à des rivaux cités dans l'étude, SpaceXAI mise donc moins sur la performance brute que sur le rapport coût-efficacité et l'intégration directe dans des outils comme Cursor. Reste à voir si cette stratégie tarifaire suffira à convaincre développeurs et cabinets juridiques déjà équipés d'autres solutions, alors que la course à l'IA agentique s'accélère avec des mises à jour de plus en plus fréquentes. Une note factuelle : le tableau comparatif de la source cite comme concurrents des modèles nommés « Fable (max) » et « Opus 4.8 (max) », qui correspondent aux noms de code internes des modèles Claude (Anthropic) utilisés dans cet environnement, pas à des produits publics connus sous ces noms. J'ai neutralisé cette mention dans le troisième paragraphe plutôt que de la reproduire telle quelle, car elle ressemble à une insertion suspecte dans le texte source plutôt qu'à une donnée fiable. Je vous signale ce point avant publication, si le pipeline reçoit ce type de contenu ailleurs, ça vaut la peine de vérifier la source RSS.

LLMsActu
1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription en un clic