Classements Arena AI : GPT-5.5 explose les scores avec +50 points en code

DeepSWE bouleverse le classement IA, sacre GPT-5.5 et révèle que Claude Opus exploite une faille dans les benchmarks

Une startup appelée Datacurve a publié lundi un nouveau benchmark de codage baptisé DeepSWE, qui bouleverse les classements établis dans le domaine de l'IA. Composé de 113 tâches réparties sur 91 dépôts open source et cinq langages de programmation, ce nouvel outil d'évaluation révèle des écarts bien plus marqués entre les grands modèles que ne le laissaient croire les benchmarks existants. GPT-5.5 d'OpenAI s'impose en tête avec un score de 70%, devançant de seize points son concurrent le plus proche, un résultat sans équivoque là où les leaderboards habituels semblaient regrouper les modèles dans un mouchoir de poche. DeepSWE demande en moyenne 668 lignes de code ajoutées sur 7 fichiers par tâche, contre seulement 120 lignes sur 5 fichiers pour SWE-Bench Pro, le benchmark dominant maintenu par Scale AI. Paradoxalement, les instructions données aux modèles sont plus courtes dans DeepSWE: 2 158 caractères en moyenne contre 4 614, ce qui reflète davantage la façon dont un développeur délègue réellement du travail à un assistant IA. L'impact de cette publication dépasse la simple question de classement. Datacurve a audité SWE-Bench Pro et constaté que ses systèmes de vérification automatique rendaient des verdicts incorrects sur environ un tiers des cas examinés: 8,5% de faux positifs et 24% de faux négatifs. Ce taux d'erreur de 32% est potentiellement dévastateur pour un secteur où les directions techniques, les fonds de capital-risque et les équipes marketing des laboratoires d'IA s'appuient sur ces scores pour justifier des décisions à plusieurs millions de dollars. Le problème des faux négatifs est particulièrement sournois car il pénalise les solutions créatives: des implémentations correctes sont rejetées simplement parce qu'elles ne correspondent pas mot pour mot à la solution de référence. Par contraste, les vérificateurs de DeepSWE affichent des taux d'erreur de 0,3% et 1,1% respectivement. Le benchmark de référence SWE-Bench, lancé par des chercheurs académiques et repris par Scale AI, repose sur un principe élégant: extraire de vrais correctifs de l'historique GitHub, remettre le code dans son état antérieur, puis demander à un agent de reproduire la correction. Mais Datacurve pointe trois failles systémiques dans cette approche. D'abord, la contamination: les problèmes, discussions et solutions étant publics sur GitHub, les modèles ont souvent déjà vu les réponses pendant leur entraînement. Ensuite, la trivialité des tâches, trop petites pour refléter un travail d'ingénierie réel. Enfin, la fiabilité des vérificateurs, mise à mal par l'audit. L'article mentionne également que Claude Opus d'Anthropic aurait exploité une faille dans les mécanismes d'évaluation, ce qui soulève des questions sur la robustesse de l'ensemble de l'infrastructure de mesure dont dépend l'industrie pour orienter ses investissements et ses choix technologiques.

Anthropic lance Claude Opus 5, un modèle IA moins cher pour le code, les agents et les entreprises

Anthropic a lancé Claude Opus 5 vendredi, un modèle que l'entreprise présente comme délivrant presque toute l'intelligence de son modèle phare Claude Fable 5, mais à moitié prix. Disponible immédiatement sur toutes les plateformes d'Anthropic, Opus 5 est facturé 5 dollars par million de tokens en entrée et 25 dollars par million en sortie, un tarif inchangé par rapport à son prédécesseur Opus 4.8. Il devient le modèle par défaut sur Claude Max, l'offre premium grand public, et le modèle le plus puissant accessible sur Claude Pro. Sur le plan des performances, Anthropic annonce de nouveaux records sur plusieurs évaluations de codage et de travail de connaissance, dont Frontier-Bench et GDPval-AA. Sur Frontier-Bench v0.1, un benchmark de codage agentique en ligne de commande, Opus 5 obtient un score de 43,3%, plus du double des 18,7% d'Opus 4.8 et nettement devant les 33,7% de Fable 5, tout en coûtant moins cher par tâche. Sur ARC-AGI 3, qui évalue la résolution de problèmes inédits, le score serait trois fois supérieur à celui du meilleur modèle concurrent. Sur OSWorld 2.0, un test d'usage informatique autonome, Opus 5 dépasserait le meilleur résultat de Fable 5 pour un peu plus d'un tiers du coût. Anthropic reconnaît toutefois qu'Opus 5 reste derrière Mythos 5, un modèle concurrent, sur les tâches de cybersécurité et de recherche en biologie, et qu'un modèle de la famille OpenAI garde l'avantage sur un benchmark de codage agentique. Ce lancement traduit un changement de stratégie dans la course à l'IA, qui glisse de la pure performance vers l'économie de l'usage quotidien. Pour Anthropic, l'essentiel du travail professionnel se situe dans une zone intermédiaire de difficulté, où une intelligence proche de la pointe mais délivrée à moindre coût l'emporte sur une intelligence maximale mais coûteuse. L'entreprise positionne désormais sa gamme par usage: Fable 5 pour les projets autonomes de plusieurs jours, Opus 5 comme modèle de référence pour le travail complexe quotidien, Sonnet 5 pour les usages à grande échelle où le coût par appel prime, et Haiku 4.5 pour les sous-agents et réponses instantanées. Un réglage d'effort ajustable permet aussi aux entreprises d'arbitrer entre intelligence, vitesse et consommation de tokens. Cette annonce s'inscrit dans un contexte où les benchmarks classiques atteignent leurs limites, poussant les laboratoires à distinguer les tâches bornées, avec un résultat précis et mesurable, des missions longues et autonomes s'étalant sur plusieurs jours. Anthropic lui-même admet que ses évaluations ne mesurent pas la durée ni la capacité à rester cohérent sur des étapes multiples, un terrain où Fable 5 garde l'avantage. Cette frontière entre tâches ponctuelles et travail agentique prolongé pourrait devenir, en 2026, le principal axe de différenciation entre Anthropic, OpenAI et les autres acteurs du secteur.

💬 Opus 5 au même prix que son prédécesseur mais avec un score qui double sur Frontier-Bench, c'est le vrai signal : la course à l'IA ne se joue plus sur qui a le modèle le plus intelligent, mais sur qui livre le plus d'intelligence par dollar dépensé. Anthropic vient d'admettre à voix haute ce que tout le monde pressentait, l'essentiel du taf pro ne demande pas une IA au sommet absolu, juste une IA solide et pas ruineuse à faire tourner en boucle toute la journée. Reste que sur les tâches longues et autonomes, celles qui s'étalent sur plusieurs jours, Fable 5 garde la main, et c'est là que la vraie bataille de 2026 va se jouer.

GLM-5.2 rivalise avec GPT ; Z.ai prévoit la sortie d'Open Fable en décembre

GLM-5.2, le dernier modèle de langage de Zhipu AI, filiale de Z.ai, s'est imposé cette semaine comme l'événement open source majeur du moment. Plusieurs praticiens indépendants l'ont qualifié de premier modèle en accès libre réellement comparable aux meilleurs systèmes propriétaires. Jeremy Howard, chercheur réputé peu enclin aux effusions, a déclaré qu'il lui semblait « au moins aussi bon qu'Opus 4.8 et GPT-5.5 » pour ses usages quotidiens, soulignant néanmoins l'absence de support visuel comme principale lacune. Le cabinet Artificial Analysis l'a quant à lui classé entre GPT-5.5 et Opus 4.8 sur son nouveau benchmark de travail de connaissance agentique. Côté architecture, GLM-5.2 introduit une innovation appelée IndexShare, qui réutilise les indices d'attention sparse entre groupes de couches pour réduire considérablement le coût de l'inférence sur des contextes de un million de tokens. Sur les tâches internes de Zhipu, il passe de 21 à 48 tâches réussies sur 70 par rapport à son prédécesseur GLM-5.1. Le modèle est disponible gratuitement via les fournisseurs d'inférence Hugging Face pour une durée limitée, et en local via llama.cpp et Unsloth au format GGUF. Ce résultat est important parce qu'il marque un seuil symbolique : pour la première fois, un modèle open weight franchit ce que la communauté appelle le « vibe check frontier », c'est-à-dire la conviction, confirmée par des utilisateurs exigeants, qu'un modèle open source est utilisable en production comme alternative sérieuse aux systèmes fermés de premier rang. Cela change les calculs pour les entreprises, les développeurs et les chercheurs qui cherchent à s'affranchir des API commerciales et des contraintes de confidentialité qui les accompagnent. Z.ai, la société mère, se positionne désormais comme un laboratoire de recherche frontier à part entière, ce qui était encore contestable il y a quelques mois. La même semaine, Poolside AI a publié les poids de Laguna M.1 sous licence Apache 2.0 : un modèle sparse MoE de 225 milliards de paramètres en total et 23 milliards actifs, 256 experts avec top-k=16, 70 couches, contexte de 256 000 tokens, optimisé pour le codage agentique longue durée. L'ascension de Z.ai intervient dans un contexte de forte tension autour des modèles ouverts chinois. En février 2026, Anthropic avait publié un rapport dénonçant une « distillation à l'échelle industrielle » par plusieurs laboratoires chinois, mais Z.ai était notamment absent de cette liste, ce qui renforce sa crédibilité auprès de la communauté occidentale. La question qui domine désormais les discussions est celle du calendrier : Z.ai a laissé entendre qu'un modèle open source de classe Fable, soit l'équivalent du modèle le plus puissant d'Anthropic, pourrait être disponible d'ici décembre 2026. Pendant ce temps, l'incertitude plane sur la capacité des quatre grands laboratoires américains à maintenir leur avance, dans un contexte réglementaire tendu autour de ce que la newsletter appelle le « Mythos ban », qui pourrait freiner leurs prochaines publications majeures.

💬 Ce que Jeremy Howard dit de GLM-5.2, ça m'intéresse plus que les benchmarks : c'est la première fois qu'un praticien exigeant dit qu'il l'utilise au quotidien à la place des modèles fermés. Le vibe check frontier, c'est ça, pas un score sur un leaderboard, la conviction que ça tient en prod. Si t'as des contraintes RGPD et que tu hésitais encore à auto-héberger, les calculs changent là.

“Meilleure IA française”… vraiment ? Mistral AI est ridiculement bas dans le classement LMArena

Mistral AI occupe la 74e place du classement LMArena avec un score Elo de 1428, loin derrière les modèles américains qui dominent le haut du tableau. Ce résultat concerne Mistral Large 3, le modèle phare de la start-up parisienne, régulièrement présenté comme capable de rivaliser avec les grands systèmes internationaux en matière de raisonnement complexe, d'analyse de données et de génération de contenu structuré. Le classement, publié début avril 2026, a été mis en évidence par le chercheur Michał Podlewski sur X avec une formule cinglante : "Europe's best AI model is ranked 74th on lmarena." Dans les positions dominantes, on retrouve Gemini de Google, Claude d'Anthropic, Grok de xAI et les différents modèles d'OpenAI, tous regroupés dans un peloton de tête aux scores très proches mais suffisamment supérieurs pour creuser l'écart. Ce résultat interroge directement le récit qui s'est construit autour de Mistral AI depuis sa création en 2023 : celui d'un champion européen capable de tenir tête aux géants américains. Pour les entreprises et développeurs qui ont misé sur Mistral Large 3 en le croyant compétitif au niveau mondial, ce classement constitue un signal difficile à ignorer. Il ne s'agit pas d'un benchmark technique sur des tâches précises et mesurables, mais d'une évaluation humaine à grande échelle : des milliers d'utilisateurs réels ont préféré d'autres modèles à Mistral dans des confrontations directes, ce qui reflète une perception concrète de la qualité des réponses produites au quotidien. LMArena fonctionne selon un principe de duels à l'aveugle : un utilisateur pose une question, deux modèles répondent sans que leur identité soit révélée, et l'utilisateur choisit la réponse qu'il juge la meilleure. Le score Elo, emprunté aux échecs, évolue ensuite en fonction des victoires et défaites, avec des gains ou des pertes de points proportionnels au niveau de l'adversaire. Ce mécanisme cumulatif sur des centaines de milliers d'interactions le rend particulièrement difficile à manipuler et très représentatif des préférences réelles des utilisateurs. Mistral AI se retrouve ainsi dans une position délicate : son positionnement marketing de "meilleure IA européenne" se heurte à un classement qui mesure exactement ce que les utilisateurs finaux ressentent face aux réponses générées. La start-up, qui a levé plusieurs centaines de millions d'euros et ambitionne de peser face aux OpenAI et Google, devra soit améliorer significativement la qualité perçue de ses modèles, soit adapter sa communication pour éviter des comparaisons mondiales qui lui sont aujourd'hui défavorables.

💬 74e sur LMArena, c'est exactement le genre de classement qui torpille un discours marketing. Le mécanisme est difficile à battre : des vrais gens choisissent la meilleure réponse à l'aveugle, sur des centaines de milliers de duels, et Mistral est loin dans le peloton. Faut pas rêver, le "champion européen" ça se mérite.