Aller au contenu principal
LLMsMarkTechPost3h· 2 min de lecture

L'ancien responsable de Qwen explique les erreurs du hybrid thinking et pourquoi il mise desormais sur les agents

Source originale ↗·
L'ancien responsable de Qwen explique les erreurs du hybrid thinking et pourquoi il mise desormais sur les agents
▶ Voir sur YouTube

Junyang Lin, qui dirigeait le projet Qwen chez Alibaba, a annoncé son départ le 3 mars 2026 et se présente désormais comme chercheur indépendant. Dans une conférence intitulée "Qwen : vers un modèle ou agent généraliste", il retrace toute la famille Qwen, de QwQ-32B à Qwen2.5-Max, en passant par Qwen3, Qwen2.5-VL et Qwen2.5-Omni, en comparant leurs performances à celles de DeepSeek-R1, Grok 3 Beta, Gemini 2.5 Pro et la série o d'OpenAI. Qwen3 occupe la place centrale de l'exposé : Lin y détaille les modes de raisonnement hybrides, avec un mode "réflexion" pour le raisonnement pas à pas et un mode "instruction" pour des réponses quasi instantanées, ainsi que des budgets de réflexion ajustables par l'utilisateur. La famille couvre désormais 119 langues et dialectes contre 29 auparavant, avec des tailles allant de 0,6 à 235 milliards de paramètres, disponibles en versions quantifiées GGUF, GPTQ, AWQ et MLX, toutes sous licence Apache 2.0. Les architectures présentées montrent que les petits modèles denses partagent leurs embeddings d'entrée et de sortie avec un contexte de 32 000 tokens, tandis que les modèles plus grands, denses ou à mélange d'experts, abandonnent ce partage et étendent le contexte à 128 000 tokens.

Ce que Lin détaille surtout, c'est la difficulté technique derrière cette fusion des modes de réflexion, un enjeu qui dépasse largement Qwen. Un modèle optimisé pour l'instruction est récompensé pour sa rapidité et sa concision, tandis qu'un modèle de raisonnement est récompensé pour le temps qu'il consacre aux problèmes complexes. Fusionner les deux sans précaution dégrade les deux comportements à la fois. Qwen3 a d'abord tenté cette fusion via un pipeline de post-entraînement en quatre étapes, avant que la lignée 2507, plus tard en 2025, ne revienne à des variantes séparées, une pour l'instruction et une pour le raisonnement. Lin y voit avant tout un problème de données plutôt que d'architecture, et cite en contrepoint la trajectoire d'Anthropic, qui a conservé une approche hybride avec Claude 3.7 Sonnet et son budget de réflexion réglable, puis avec Claude 4 qui entrelace raisonnement et usage d'outils pour le code et les tâches longues.

Cette réflexion s'inscrit dans un basculement plus large que Lin situe entre deux époques. La première, portée par o1 et DeepSeek-R1, a établi que l'apprentissage par renforcement exige des récompenses vérifiables, plaçant les mathématiques, le code et la logique au centre des efforts. La seconde, qu'il appelle la pensée agentique, consiste à raisonner pour agir : planifier, décider quand utiliser un outil, lire les retours de l'environnement et ajuster sa trajectoire. Ses pistes pour la suite incluent davantage de pré-entraînement, du renforcement fondé sur des retours d'environnement, des contextes plus longs et davantage de modalités, résumées dans sa formule finale : entraîner des agents plutôt que de simples modèles.

Cet article vous a été utile ?

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

Les 7 types de mémoire des agents IA : guide technique pour les ingénieurs
1MarkTechPost 

Les 7 types de mémoire des agents IA : guide technique pour les ingénieurs

Les grands modèles de langage sont sans mémoire par défaut : chaque appel à l'API repart de zéro, sans souvenir de l'échange précédent. Cette limitation, acceptable pour une simple question, devient un obstacle dès qu'on construit un agent capable de planifier, d'appeler des outils et d'opérer sur plusieurs étapes. Pour combler ce vide, les ingénieurs en IA ont identifié sept types de mémoire distincts, chacun répondant à un besoin précis. La mémoire de travail, ou mémoire en contexte, correspond à tout ce que le modèle voit dans sa fenêtre de contexte à un instant donné : le prompt système, les messages récents, les résultats d'outils. C'est la RAM de l'agent, rapide mais éphémère et limitée en taille. La mémoire sémantique stocke quant à elle des faits et préférences durables dans une base externe, comme "cet utilisateur préfère Python à JavaScript". La mémoire épisodique journalise les événements passés, les conversations entières et les résultats de tâches, permettant à des systèmes comme Reflexion ou ExpeL d'écrire des bilans post-tâche et d'en tirer des leçons pour les exécutions suivantes. Ces distinctions ne sont pas purement académiques : elles déterminent concrètement les performances et le coût des systèmes agentiques en production. La mémoire procédurale encode les savoir-faire, les workflows et les règles comportementales, ce qui évite à un agent de support de raisonner à nouveau chaque réinitialisation de mot de passe après en avoir traité cent. La mémoire externe ou de récupération repose sur une base vectorielle interrogée à l'inférence par similarité, c'est le principe du RAG appliqué à l'historique de l'agent : la qualité de la recherche devient rapidement le goulot d'étranglement. La mémoire paramétrique, elle, est figée dans les poids du modèle lors de l'entraînement, inaccessible à la mise à jour en temps réel. Enfin, la mémoire prospective gère les intentions futures et les objectifs planifiés mais non encore exécutés, indispensable pour les agents à planification longue qui, sans elle, oublient leurs propres engagements. Cette taxonomie émerge à mesure que les agents IA passent des démonstrateurs de laboratoire aux systèmes opérationnels dans les entreprises. Les frameworks comme LangChain, LlamaIndex ou AutoGPT intègrent désormais plusieurs de ces couches simultanément, mais sans architecture mémoire explicite, les agents accumulent les erreurs, répètent les mêmes échecs et perdent le fil sur des tâches longues. Le choix de la combinaison mémoire dépend du cas d'usage : un agent de service client n'a pas les mêmes besoins qu'un assistant de recherche scientifique multi-session. À mesure que les fenêtres de contexte s'allongent, certains types comme la mémoire de récupération externe pourraient fusionner avec la mémoire de travail, redessinant profondément l'architecture des agents de demain.

💬 Sept types de mémoire, ça paraît beaucoup jusqu'à ce que ton agent oublie ses propres objectifs à mi-tâche. La vraie valeur de cette taxonomie, c'est qu'elle force à traiter la mémoire comme une décision d'architecture, pas une base vectorielle branchée au dernier moment faute de mieux. C'est le genre de clarification qui manquait depuis que tout le monde se met à construire des agents sans vraiment comprendre pourquoi ils déraillent.

LLMsOutil
1 source
Arcee AI publie Trinity Large Thinking : un modèle de raisonnement open source Apache 2.0 pour les agents autonomes et l'utilisation d'outils
2MarkTechPost 

Arcee AI publie Trinity Large Thinking : un modèle de raisonnement open source Apache 2.0 pour les agents autonomes et l'utilisation d'outils

Arcee AI a publié Trinity Large Thinking, un modèle de raisonnement en open-weight distribué sous licence Apache 2.0. Architecturalement, il s'agit d'un modèle Mixture-of-Experts (MoE) sparse totalisant 400 milliards de paramètres, mais qui n'en active que 13 milliards par token grâce à une stratégie de routage 4-sur-256. Cette conception permet d'atteindre la densité de connaissance d'un modèle massif tout en conservant des latences comparables à des architectures bien plus légères. Le modèle a été pré-entraîné sur 17 000 milliards de tokens avec l'optimiseur Muon, plus efficace que l'AdamW standard, et intègre un mécanisme d'attention hybride local/global avec attention gating pour mieux gérer les longs contextes. Il supporte une fenêtre de contexte de 262 144 tokens sur OpenRouter. Sur le benchmark PinchBench, dédié aux agents autonomes, Trinity Large Thinking occupe actuellement la deuxième place, derrière Claude Opus 4.6. Ce lancement est significatif pour les développeurs qui construisent des agents IA autonomes : Trinity Large Thinking est conçu spécifiquement pour les tâches longues et complexes, les appels d'outils multi-tours et le suivi d'instructions précises sur des workflows étendus. Contrairement aux modèles de chat généralistes, il intègre une phase de "réflexion" interne avant chaque réponse, ce qui lui permet de planifier des tâches en plusieurs étapes et de vérifier sa logique avant de générer une sortie. Cette combinaison de raisonnement structuré, de fiabilité multi-tours et de fenêtre de contexte étendue répond directement aux exigences des environnements d'automatisation logicielle, où les erreurs cumulatives sur de longues séquences d'actions sont le principal point de défaillance. L'émergence de ce modèle s'inscrit dans une tendance de fond : le déplacement du centre de gravité de l'IA générative vers des systèmes capables de raisonnement multi-étapes, jusqu'ici dominé par des acteurs propriétaires comme OpenAI avec o3 ou Anthropic avec Claude. Arcee AI, spécialisé dans les LLM d'entreprise et les modèles compacts à haute performance, propose ici une alternative ouverte et auditables pour les organisations qui ne peuvent ou ne souhaitent pas dépendre d'API fermées. Deux innovations techniques internes méritent attention : SMEBU (Soft-clamped Momentum Expert Bias Updates), une stratégie d'équilibrage de charge qui prévient l'effondrement des experts dans les architectures MoE, et l'utilisation du Muon optimizer pour améliorer l'efficacité d'entraînement. La suite logique sera de voir si la communauté open-source s'empare du modèle pour des déploiements auto-hébergés, et si Arcee maintient ce niveau de performance dans des évaluations tierces indépendantes au-delà de PinchBench.

UELa licence Apache 2.0 permet aux organisations européennes de déployer un modèle de raisonnement compétitif en auto-hébergement, réduisant leur dépendance aux API fermées américaines et s'alignant sur les objectifs de souveraineté numérique européenne.

LLMsOpinion
1 source
L'IA à base d'agents pousse les prix à la hausse, Deepseek sort un modèle compétitif pour presque rien
3The Decoder 

L'IA à base d'agents pousse les prix à la hausse, Deepseek sort un modèle compétitif pour presque rien

Le laboratoire chinois Deepseek a lancé deux nouveaux modèles, V4-Pro et V4-Flash, dotés d'une architecture pouvant atteindre 1 600 milliards de paramètres et d'une fenêtre de contexte d'un million de tokens. La sortie s'accompagne d'un article technique détaillant les choix d'entraînement, les techniques de distillation et le matériel utilisé. Les tarifs annoncés se situent très nettement en dessous de ceux pratiqués par OpenAI, Google et Anthropic, confirmant la stratégie agressive de Deepseek sur le marché des API. Cette annonce intervient dans un contexte où les grands acteurs occidentaux font l'inverse : face à l'explosion des usages agentiques, OpenAI et Anthropic ont récemment revu leurs prix à la hausse et imposé des plafonds de consommation sur certains modèles. Deepseek propose une alternative performante à une fraction du coût, ce qui représente une pression directe sur les marges et les modèles économiques des leaders du secteur. Pour les développeurs et les entreprises qui cherchent à déployer des agents autonomes à grande échelle, l'équation coût-performance devient difficile à ignorer. Deepseek s'est imposé depuis début 2025 comme l'un des acteurs les plus disruptifs du marché mondial des LLM, en montrant qu'il est possible d'obtenir des résultats compétitifs avec des budgets d'entraînement bien inférieurs à ceux de ses concurrents américains. La publication du papier technique accompagnant V4-Pro et V4-Flash s'inscrit dans cette logique de transparence qui renforce la crédibilité du laboratoire et alimente le débat sur l'avantage réel des géants du cloud face à une concurrence ouverte et low-cost.

UELes développeurs et entreprises européens déployant des agents autonomes peuvent réduire significativement leurs coûts d'API en adoptant DeepSeek V4-Pro/V4-Flash, remettant en question l'équation coût-performance avec leurs fournisseurs actuels.

LLMsOpinion
1 source
Google Gemma 4, NVIDIA et OpenClaw s'attaquent au coût des tokens pour les agents IA en local, du RTX au DGX Spark
4MarkTechPost 

Google Gemma 4, NVIDIA et OpenClaw s'attaquent au coût des tokens pour les agents IA en local, du RTX au DGX Spark

Google a lancé la famille de modèles Gemma 4, une nouvelle génération de modèles d'intelligence artificielle open source conçus pour fonctionner localement sur du matériel grand public. Développés en collaboration avec NVIDIA, ces modèles se déclinent en quatre variantes — E2B, E4B, 26B et 31B paramètres — et couvrent un spectre allant des modules embarqués Jetson Orin Nano aux stations de travail RTX, en passant par le DGX Spark, le superordinateur personnel d'IA récemment annoncé par NVIDIA. Ils supportent nativement l'appel de fonctions pour les agents autonomes et acceptent des entrées multimodales mêlant texte et images dans un même prompt. Sur un RTX 5090, les gains de performance atteignent 2,7 fois ceux obtenus sur un Mac M3 Ultra avec llama.cpp, selon les mesures publiées par NVIDIA. L'enjeu central de cette annonce est ce que les développeurs appellent la "token tax" — le coût financier cumulatif engendré par chaque requête envoyée à un modèle cloud comme GPT-4o ou Gemini. Pour une application d'IA toujours active, qui traite en continu des fichiers, des fenêtres d'applications ou des flux de capteurs, ces coûts deviennent rapidement prohibitifs. En exécutant Gemma 4 localement sur un GPU NVIDIA, le coût marginal par inférence tombe à zéro. Des plateformes comme OpenClaw, qui permettent de construire des assistants IA personnels fonctionnant en permanence sur des PC RTX, bénéficient directement de cette combinaison : débit élevé, latence faible, et aucune dépendance à une connexion ou à un abonnement cloud. Cette évolution s'inscrit dans une tendance de fond qui voit les grands laboratoires — Google, Meta, Mistral — publier des modèles compacts capables de rivaliser avec des systèmes bien plus lourds, à mesure que les techniques de distillation et de quantification progressent. NVIDIA, dont la domination sur les GPU d'entraînement est bien établie, cherche à étendre son emprise sur le marché de l'inférence locale, notamment avec le DGX Spark positionné comme outil de développement personnel haut de gamme. La disponibilité de modèles comme Gemma 4 optimisés pour son écosystème renforce cette stratégie. Les prochains mois verront probablement une multiplication d'applications agentiques locales, portées par cette convergence entre modèles ouverts performants et matériel grand public suffisamment puissant pour les faire tourner sans compromis.

UELa disponibilité de modèles open source performants réduit la dépendance des entreprises et développeurs européens aux API cloud payantes, facilitant la conformité RGPD via le traitement local des données.

LLMsOpinion
1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription en un clic