500 banquiers d'investissement ont évalué les résultats de l'IA : aucun n'est prêt pour les clients

Les 7 benchmarks qui comptent vraiment pour le raisonnement des agents autonomes dans les LLM

Alors que les agents d'intelligence artificielle quittent les laboratoires pour entrer dans les environnements de production, une question s'impose : comment évaluer concrètement leurs capacités ? Les métriques classiques comme les scores MMLU ou la perplexité ne disent rien sur la capacité d'un modèle à naviguer sur un site web, à résoudre un ticket GitHub ou à gérer un flux de service client sur des centaines d'interactions. Face à ce vide, la communauté a développé une nouvelle génération de benchmarks agentiques, dont sept ont émergé comme de véritables signaux de capacité. Premier avertissement fondamental : ces scores dépendent fortement du scaffolding utilisé. Le design du prompt, les outils disponibles, le budget de tentatives, l'environnement d'exécution et la version de l'évaluateur peuvent tous modifier significativement les résultats publiés. Un chiffre isolé ne vaut rien sans son contexte de production. Le benchmark SWE-bench, disponible sur swebench.com, est aujourd'hui la référence la plus citée pour l'ingénierie logicielle. Il soumet les agents à 2 294 problèmes réels tirés d'issues GitHub sur 12 dépôts Python populaires : le modèle doit produire un patch fonctionnel qui passe les tests unitaires, pas simplement décrire une solution. Le sous-ensemble Verified, composé de 500 échantillons validés par des ingénieurs professionnels en collaboration avec OpenAI, est la version standard des évaluations actuelles. Sa trajectoire est éloquente : en 2023, Claude 2 ne résolvait que 1,96 % des problèmes ; fin 2025 et début 2026, les modèles frontier les plus avancés franchissent la barre des 80 % sur ce même jeu de données. GAIA, hébergé sur Hugging Face, teste quant à lui des capacités d'assistance généraliste : raisonnement en plusieurs étapes, navigation web, usage d'outils et compréhension multimodale. Ses tâches paraissent simples en surface mais exigent des chaînes d'opérations non triviales, ce qui en fait un détecteur efficace de fragilité dans l'usage des outils. WebArena, sur webarena.dev, évalue la navigation web autonome dans des environnements fonctionnels simulant e-commerce, forums, développement collaboratif et gestion de contenus. Ces benchmarks reflètent une transformation profonde de ce que l'on attend des LLMs. L'ère des modèles évalués sur des QCM académiques est révolue : l'enjeu est désormais de mesurer leur capacité à agir de façon autonome dans des environnements complexes et bruités. Un score élevé sur SWE-bench indique une force spécifique en réparation de code, pas une autonomie universelle, ce qui explique pourquoi les équipes sérieuses croisent plusieurs benchmarks. Les modèles propriétaires tendent à surpasser les modèles open source, mais la performance dépend autant du harness d'exécution que du modèle sous-jacent. À mesure que les déploiements agentiques se généralisent en entreprise, ces outils d'évaluation deviennent des instruments de pilotage essentiels, non plus de simples curiosités académiques.

💬 SWE-bench à 80%, c'est le chiffre qui claque, mais le vrai message est ailleurs : un score sans son contexte de scaffolding ne vaut rien, et les équipes qui déploient des agents en prod commencent à l'intégrer. Passer de 2% à 80% sur ce benchmark en deux ans, ça donne le vertige, mais ça mesure la réparation de code Python sur GitHub, pas l'autonomie universelle. Reste à voir si les prochains modèles seront entraînés dessus et rendront ces évaluations caduques avant même qu'elles soient adoptées en entreprise.

xAI lance grok-voice-think-fast-1.0, en tête du benchmark τ-voice à 67,3 %, devant Gemini et GPT Realtime

xAI a lancé grok-voice-think-fast-1.0, son nouveau modèle de voix phare, disponible via l'API xAI. Ce modèle s'impose en tête du classement τ-voice Bench avec un score de 67,3 %, devançant largement ses concurrents directs : Gemini 3.1 Flash Live atteint 43,8 %, GPT Realtime 1.5 de OpenAI 35,3 %, et même la précédente version maison, Grok Voice Fast 1.0, ne dépasse pas 38,3 %. Les écarts sont encore plus marqués par secteur : en télécom, domaine couvrant les litiges de facturation et le support technique, grok-voice-think-fast-1.0 atteint 73,7 % contre 21,9 % pour Gemini et 21,1 % pour GPT Realtime 1.5, soit plus de 33 points d'avance. Dans le commerce de détail, il score 62,3 %, contre 44,7 % pour Gemini. Dans le secteur aérien, il atteint 66 %, contre 40 % pour Gemini. Le modèle est déjà déployé en production chez Starlink pour alimenter ses opérations téléphoniques en direct. Ces chiffres sont significatifs parce que le τ-voice Bench évalue les agents vocaux dans des conditions réalistes : bruit de fond, accents, interruptions et prises de parole naturelles, là où la plupart des benchmarks historiques utilisent de l'audio propre et non représentatif des usages réels. Ce qui distingue fondamentalement le modèle est sa nature full-duplex : il traite la parole entrante et génère ses réponses simultanément, comme le font les humains, sans attendre que l'interlocuteur ait fini sa phrase. Cette capacité rend la gestion des interruptions techniquement très complexe : le modèle doit décider en temps réel si une intervention à mi-phrase est une correction, une précision ou simplement un mot de remplissage. Autre avancée majeure : le raisonnement s'effectue en arrière-plan, ce qui permet au modèle de traiter des requêtes complexes sans allonger le temps de réponse perçu par l'utilisateur, un problème structurel des modèles de raisonnement classiques. La course aux agents vocaux de production s'est intensifiée depuis que Google a lancé Gemini Live et qu'OpenAI a déployé son API Realtime, deux systèmes qui avaient eux-mêmes marqué un saut par rapport aux architectures pipeline en cascade traditionnelles. xAI, fondé par Elon Musk en 2023, entre dans ce segment avec une approche explicitement orientée entreprise, ciblant le support client, la vente et les workflows en plusieurs étapes où les erreurs coûtent cher. Le déploiement chez Starlink constitue un test grandeur nature à grande échelle, ce qui renforce la crédibilité des benchmarks publiés. La disponibilité via API ouvre la voie à une intégration rapide dans des centres d'appel et des plateformes SaaS, un marché évalué à plusieurs dizaines de milliards de dollars et encore dominé par des solutions reposant sur des pipelines STT/LLM/TTS fragmentés.

DeepSeek V4 Pro (1.6T-A49B) et Flash (284B-A13B), Base et Instruct, compatibles avec les puces Huawei Ascend

DeepSeek a publié les 23 et 24 avril 2026 deux nouveaux modèles d'intelligence artificielle, DeepSeek V4 Pro et DeepSeek V4 Flash, marquant la première mise à jour majeure de l'architecture depuis DeepSeek V3 en décembre 2024 et DeepSeek R1 en janvier 2025. Le modèle phare, V4 Pro, embarque 1 600 milliards de paramètres au total dont 49 milliards actifs simultanément via une architecture de type Mixture of Experts (MoE), tandis que V4 Flash reste plus compact avec 284 milliards de paramètres et 13 milliards actifs. Les deux modèles ont été entraînés sur 32 à 33 000 milliards de tokens en précision FP4 et atteignent une fenêtre contextuelle d'un million de tokens, contre 128 000 pour V3.2. DeepSeek a publié sous licence MIT à la fois les versions Base et Instruct, et livre un rapport technique de 58 pages salué par de nombreux chercheurs comme l'un des mieux documentés de l'année. Cette publication représente une avancée significative pour l'écosystème des modèles open-weights. V4 Pro se classe autour de la deuxième position parmi les modèles à poids ouverts, dans une fourchette comparable à Kimi K2.6 et GLM-5.1, et rivalise selon les benchmarks avec des modèles fermés de la gamme Claude Sonnet à Opus. La fenêtre d'un million de tokens, rendue possible par deux nouvelles techniques maison nommées Compressed Sparse Attention (CSA) et Heavily Compressed Attention (HCA), est l'élément le plus commenté : à cette longueur, le modèle ne consomme que 27 % des opérations flottantes et 10 % de la mémoire KV cache comparé à DeepSeek V3.2. Les performances en codage agentique et en traitement de documents longs sont particulièrement relevées. La licence MIT et la publication des poids de base ouvrent par ailleurs la voie à des variantes spécialisées et, potentiellement, à un futur DeepSeek R2 orienté raisonnement. La sortie intervient dans un contexte géopolitique tendu autour des semi-conducteurs. DeepSeek a conçu V4 pour fonctionner sur les puces Huawei Ascend via la pile CANN, réduisant explicitement sa dépendance aux GPU Nvidia soumis aux restrictions américaines à l'export. Une étape symbolique forte : les Ascend représentent encore environ un quart des volumes d'H100, mais leur compatibilité avec un modèle de cette envergure signale une trajectoire vers une autonomie technologique chinoise complète. Sur le plan technique, le rapport documente aussi l'intégration de Muon, l'optimiseur développé par Moonshot, ainsi que des hyper-connexions contraintes par variété (mHC), publiées en janvier 2025. La complexité architecturale du modèle suscite un débat dans la communauté : certains chercheurs estiment que peu de laboratoires ouverts disposent des moyens pour reproduire ou affiner une telle infrastructure, relativisant ainsi la portée réelle de la "démocratisation" annoncée.

💬 Le million de tokens à 10% du cache de V3.2, ça c'est de l'ingénierie sérieuse. Mais le signal fort, c'est la compatibilité Huawei Ascend : DeepSeek documente explicitement sa sortie des GPU Nvidia, et un modèle de cette taille qui tourne sur CANN, c'est pas symbolique, c'est structurel. La licence MIT fait briller les yeux, mais reproduire 1,6T de paramètres, c'est une autre conversation.

Le nouveau modèle V4 de DeepSeek : trois raisons pour lesquelles il compte

DeepSeek a publié vendredi une version préliminaire de V4, son nouveau modèle phare attendu depuis plusieurs mois. Disponible en open source, le modèle se décline en deux versions : V4-Pro, conçu pour le code et les tâches d'agents complexes, et V4-Flash, plus léger et optimisé pour la vitesse. Sur les principaux benchmarks, V4-Pro rivalise avec les meilleurs modèles fermés du marché, se situant au niveau de Claude Opus de chez Anthropic, de GPT-5 d'OpenAI et de Gemini de Google. Face aux autres modèles open source, notamment Qwen d'Alibaba ou GLM de Z.ai, V4 les surpasse en codage, mathématiques et disciplines scientifiques. L'entreprise rapporte qu'une enquête interne auprès de 85 développeurs expérimentés a montré que plus de 90 % d'entre eux classent V4-Pro parmi leurs premiers choix pour les tâches de programmation. DeepSeek a également optimisé le modèle pour des frameworks d'agents populaires comme Claude Code ou CodeBuddy. Ce qui distingue V4, c'est son rapport performance-prix particulièrement agressif. V4-Pro est facturé 1,74 dollar par million de tokens en entrée et 3,48 dollars en sortie, une fraction du tarif pratiqué par OpenAI ou Anthropic pour des modèles comparables. V4-Flash descend encore plus bas, à 0,14 dollar par million de tokens en entrée et 0,28 dollar en sortie, ce qui en fait l'un des modèles haut de gamme les moins chers du marché. Pour les développeurs et les entreprises, cela signifie un accès à des capacités d'IA frontier sans les coûts habituellement prohibitifs des API propriétaires. Les deux versions intègrent un mode de raisonnement pas à pas, et V4 introduit une nouvelle architecture qui améliore significativement la gestion de longs contextes, ouvrant la voie à des applications sur des documents ou des bases de code entières. Cette sortie intervient dans un contexte particulier pour DeepSeek. La firme de Hangzhou avait provoqué un séisme dans l'industrie en janvier 2025 avec R1, un modèle de raisonnement entraîné avec des ressources limitées qui avait mis en question la suprématie américaine en matière d'IA. Depuis, l'entreprise a traversé des mois difficiles, marqués par des départs de personnels clés, des retards dans ses lancements et une surveillance accrue des gouvernements américain et chinois. V4 constitue son retour sur la scène des modèles frontier, même si l'effet de surprise de R1 ne se reproduira probablement pas. L'enjeu est désormais de confirmer que DeepSeek peut tenir dans la durée face à des adversaires disposant de ressources computationnelles autrement plus importantes, et de s'imposer comme une alternative crédible et pérenne dans un écosystème open source en pleine effervescence.