LLMsLe Big Data10h· 2 min de lecture

SWE-Bench Pro : benchmark jugé défaillant, OpenAI retire sa recommandation

Le 8 juillet 2026, OpenAI a publié les résultats d'un audit approfondi de SWE-Bench Pro, l'un des benchmarks de codage les plus utilisés pour évaluer les modèles d'intelligence artificielle, et la conclusion est sans appel : le test ne mesure plus fiablement les capacités réelles des modèles de pointe. Pour arriver à ce constat, l'entreprise a combiné un pipeline d'analyse automatisé et une vérification humaine sur l'ensemble des tâches du benchmark. L'analyse automatique a identifié 200 tâches défectueuses, soit 27,4 % du total, tandis que la vérification humaine en a relevé 249, soit 34,1 %. Au final, OpenAI estime qu'environ trois tâches sur dix présentent des failles suffisamment importantes pour fausser les résultats des modèles testés. Ce constat intervient alors que les performances des meilleurs modèles sur ce benchmark ont bondi de façon spectaculaire en seulement huit mois, le taux de réussite sur les 731 tâches publiques passant de 23,3 % à 80,3 %.

Cette annonce a des conséquences concrètes pour toute l'industrie de l'IA appliquée au développement logiciel. Les défauts identifiés par OpenAI prennent plusieurs formes : des tests cachés trop stricts qui rejettent des solutions pourtant correctes, des consignes trop vagues qui obligent les modèles à deviner des exigences jamais formulées, une couverture de tests insuffisante qui laisse passer des correctifs incomplets, et parfois des instructions carrément trompeuses qui orientent les modèles vers une mauvaise réponse. Résultat, un score élevé sur SWE-Bench Pro ne garantit plus qu'un agent de codage résout effectivement les problèmes qui lui sont soumis, ni qu'un score plus faible traduise un échec réel. Pour les entreprises qui s'appuient sur ce type de classement pour choisir un fournisseur d'IA, comparer des modèles concurrents ou décider d'un déploiement en production, ces biais représentent un risque direct de mauvaise décision.

Face à ces découvertes, OpenAI a officiellement retiré sa recommandation d'utiliser SWE-Bench Pro comme référence pour la recherche sur les capacités de codage des IA, une prise de position notable de la part d'un acteur qui avait jusqu'ici largement contribué à populariser ce type d'évaluation. L'épisode relance un débat plus large sur la fiabilité des benchmarks dans un secteur où la course aux scores s'est accélérée ces derniers mois, avec des progrès affichés parfois difficiles à vérifier de façon indépendante. Il reste à savoir si les organismes à l'origine de SWE-Bench Pro corrigeront les tâches défectueuses identifiées, et si d'autres benchmarks largement utilisés par la communauté feront l'objet d'audits similaires dans les mois à venir.

Dans nos dossiers

OpenAI

Cet article vous a été utile ?

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

1VentureBeat AI

DeepSWE bouleverse le classement IA, sacre GPT-5.5 et révèle que Claude Opus exploite une faille dans les benchmarks

Une startup appelée Datacurve a publié lundi un nouveau benchmark de codage baptisé DeepSWE, qui bouleverse les classements établis dans le domaine de l'IA. Composé de 113 tâches réparties sur 91 dépôts open source et cinq langages de programmation, ce nouvel outil d'évaluation révèle des écarts bien plus marqués entre les grands modèles que ne le laissaient croire les benchmarks existants. GPT-5.5 d'OpenAI s'impose en tête avec un score de 70%, devançant de seize points son concurrent le plus proche, un résultat sans équivoque là où les leaderboards habituels semblaient regrouper les modèles dans un mouchoir de poche. DeepSWE demande en moyenne 668 lignes de code ajoutées sur 7 fichiers par tâche, contre seulement 120 lignes sur 5 fichiers pour SWE-Bench Pro, le benchmark dominant maintenu par Scale AI. Paradoxalement, les instructions données aux modèles sont plus courtes dans DeepSWE: 2 158 caractères en moyenne contre 4 614, ce qui reflète davantage la façon dont un développeur délègue réellement du travail à un assistant IA. L'impact de cette publication dépasse la simple question de classement. Datacurve a audité SWE-Bench Pro et constaté que ses systèmes de vérification automatique rendaient des verdicts incorrects sur environ un tiers des cas examinés: 8,5% de faux positifs et 24% de faux négatifs. Ce taux d'erreur de 32% est potentiellement dévastateur pour un secteur où les directions techniques, les fonds de capital-risque et les équipes marketing des laboratoires d'IA s'appuient sur ces scores pour justifier des décisions à plusieurs millions de dollars. Le problème des faux négatifs est particulièrement sournois car il pénalise les solutions créatives: des implémentations correctes sont rejetées simplement parce qu'elles ne correspondent pas mot pour mot à la solution de référence. Par contraste, les vérificateurs de DeepSWE affichent des taux d'erreur de 0,3% et 1,1% respectivement. Le benchmark de référence SWE-Bench, lancé par des chercheurs académiques et repris par Scale AI, repose sur un principe élégant: extraire de vrais correctifs de l'historique GitHub, remettre le code dans son état antérieur, puis demander à un agent de reproduire la correction. Mais Datacurve pointe trois failles systémiques dans cette approche. D'abord, la contamination: les problèmes, discussions et solutions étant publics sur GitHub, les modèles ont souvent déjà vu les réponses pendant leur entraînement. Ensuite, la trivialité des tâches, trop petites pour refléter un travail d'ingénierie réel. Enfin, la fiabilité des vérificateurs, mise à mal par l'audit. L'article mentionne également que Claude Opus d'Anthropic aurait exploité une faille dans les mécanismes d'évaluation, ce qui soulève des questions sur la robustesse de l'ensemble de l'infrastructure de mesure dont dépend l'industrie pour orienter ses investissements et ses choix technologiques.

LLMsPaper

1 source

2VentureBeat AI

L'IA passe à la journée de 8 heures : GLM lance son LLM 5.1 open source et bat Opus 4.6 et GPT 5.4 sur SWE-Bench Pro

Z.ai, startup chinoise cotée à la Bourse de Hong Kong depuis début 2026 avec une capitalisation de 52,83 milliards de dollars, a publié le 7 avril 2026 son modèle GLM-5.1 sous licence MIT, permettant à toute entreprise de le télécharger, l'adapter et l'exploiter commercialement via Hugging Face. Ce modèle de 754 milliards de paramètres en architecture Mixture-of-Experts dispose d'une fenêtre de contexte de 202 752 tokens. Sa caractéristique principale est sa capacité à travailler de façon autonome jusqu'à huit heures consécutives sur une tâche complexe, enchaînant jusqu'à 1 700 étapes d'exécution et plusieurs milliers d'appels d'outils, contre une vingtaine d'étapes pour les meilleurs modèles fin 2024 selon le fondateur Lou. Sur le benchmark SWE-Bench Pro, il dépasse Claude Opus 4.6 et GPT-5.4, deux des références actuelles en ingénierie logicielle automatisée. Ce lancement illustre une rupture dans la façon de concevoir la performance des modèles d'IA. Là où la concurrence investit massivement dans les tokens de raisonnement pour gagner en logique à court terme, Z.ai parie sur l'endurance : la capacité d'un modèle à maintenir sa cohérence d'objectif sur des séquences d'exécution très longues. Les tests publiés dans leur rapport technique sont frappants : chargé d'optimiser une base de données vectorielle en Rust (benchmark VectorDBBench), GLM-5.1 a enchaîné 655 itérations et plus de 6 000 appels d'outils, atteignant 21 500 requêtes par seconde, contre 3 547 pour Claude Opus 4.6 dans les meilleures conditions. Le modèle a identifié et résolu six goulots d'étranglement structurels, introduisant de lui-même des techniques comme le IVF cluster probing, la compression vectorielle f16 ou un pipeline à deux étages combinant présélection u8 et reclassement f16. Ce n'est plus un assistant, c'est un département R&D autonome. Le contexte de cette publication est stratégique. Z.ai, connue pour sa famille de modèles GLM open source, avait sorti le mois précédent GLM-5 Turbo sous licence propriétaire uniquement. Le choix du MIT pour GLM-5.1 est délibéré : il s'agit de capter la communauté des développeurs et de s'imposer comme le principal acteur indépendant de LLM en Asie, à l'heure où la Chine tente de reprendre la main sur l'IA open source face aux modèles américains à accès restreint. La notion de "temps de travail autonome" que Lou décrit comme "la courbe la plus importante après les lois d'échelle" pourrait redéfinir les critères d'évaluation de l'industrie entière. Si ce cap se confirme, les prochaines versions de modèles concurrents devront répondre non plus uniquement sur la précision à court terme, mais sur leur capacité à tenir la distance sur des projets entiers.

UELes entreprises et développeurs européens peuvent télécharger et exploiter GLM-5.1 librement sous licence MIT via Hugging Face, offrant une alternative open source compétitive aux modèles propriétaires américains pour des tâches d'ingénierie logicielle autonome longue durée.

LLMsOpinion

1 source

3MarkTechPost

Z.AI lance GLM-5.1 : un modèle open-weight de 754 milliards de paramètres, leader sur SWE-Bench Pro avec 8 heures d'exécution autonome

Z.AI, la plateforme d'intelligence artificielle fondée par l'équipe derrière la famille de modèles GLM, a publié GLM-5.1, son nouveau modèle phare conçu spécifiquement pour les tâches agentiques. Avec 754 milliards de paramètres et une architecture de type Mixture of Experts combinée à une attention à structure dispersée (DSA), le modèle atteint un score de 58,4 sur SWE-Bench Pro, surpassant GPT-5.4, Claude Opus 4.6 et Gemini 3.1 Pro pour établir un nouveau record sur ce benchmark de référence en ingénierie logicielle. Il affiche également 95,3 sur AIME 2026, 86,2 sur GPQA-Diamond, et 68,7 sur CyberGym, contre 48,3 pour son prédécesseur GLM-5. La capacité à maintenir une exécution autonome pendant huit heures consécutives, à travers des centaines d'itérations et des milliers d'appels d'outils, constitue l'un de ses traits distinctifs les plus marquants. Ce qui rend GLM-5.1 particulièrement significatif pour les développeurs, c'est sa réponse à un problème structurel des LLM utilisés comme agents : le plateau d'efficacité. Les modèles précédents, y compris GLM-5, épuisaient rapidement leur répertoire de stratégies et cessaient de progresser même lorsqu'on leur accordait plus de temps. GLM-5.1 est conçu pour rester productif sur des horizons bien plus longs, en décomposant les problèmes complexes, en conduisant des expériences, en lisant les résultats et en révisant sa stratégie à chaque itération. Cette capacité d'auto-correction soutenue réduit concrètement la dérive de stratégie et l'accumulation d'erreurs, rendant le modèle exploitable pour des tâches d'ingénierie autonome de bout en bout, sans supervision humaine constante. Le modèle est rendu possible par une infrastructure d'apprentissage par renforcement asynchrone inédite, qui découple la génération de l'entraînement pour en améliorer drastiquement l'efficacité. Cette approche permet au modèle d'apprendre à partir d'interactions longues et complexes, là où l'entraînement RL classique en tour unique échoue. Z.AI publie GLM-5.1 en open-weight, ce qui signifie que les équipes techniques peuvent envisager un hébergement en propre, bien que l'architecture MoE exige une infrastructure de serving adaptée. Dans un contexte où les grands labs comme OpenAI, Anthropic et Google dominent les classements des modèles fermés, la percée de Z.AI sur SWE-Bench Pro avec un modèle ouvert repositionne le paysage concurrentiel. Avec des scores solides sur MCP-Atlas et Terminal-Bench 2.0, le modèle vise directement les cas d'usage production où les agents doivent opérer des systèmes réels, une tendance qui s'accélère en 2026.

UELe modèle open-weight offre aux équipes européennes une alternative auto-hébergeable aux modèles fermés américains, réduisant la dépendance aux APIs d'OpenAI, Anthropic et Google pour les cas d'usage agentiques en production.

LLMsActu

1 source

4MarkTechPost

Z.ai lance GLM-5.2 : contexte de 1 million de tokens, deux niveaux d'effort de raisonnement, sans benchmarks au lancement

Z.ai a dévoilé le 13 juin 2026 GLM-5.2, troisième sortie majeure de sa gamme GLM-5 après GLM-5 (11 février), GLM-5-Turbo (15 mars) et GLM-5.1 (7 avril), soit quatre modèles de premier plan dédiés au codage en environ quatre mois. La caractéristique phare de ce nouveau modèle est sa fenêtre de contexte de 1 000 000 de tokens, une variante que Z.ai désigne glm-5.2[1m] dans sa propre configuration, contre 200 000 tokens pour GLM-5.1, soit une multiplication par cinq. Chaque réponse peut générer jusqu'à 131 072 tokens en sortie. Le modèle introduit également deux niveaux d'effort de raisonnement, High et Max, ce dernier étant recommandé par Z.ai pour les tâches de codage complexes en plusieurs étapes. Z.ai n'a publié aucun score de référence au lancement: ni SWE-bench, ni Terminal-Bench, ni Code Arena. La licence est MIT, mais les poids du modèle ne seront diffusés que la semaine suivante. Cette fenêtre d'un million de tokens transforme concrètement le travail d'un agent de codage. L'agent peut désormais conserver un dépôt de taille moyenne entier en mémoire de travail, fichiers sources, tests, configuration et historique de conversation compris, évitant ainsi les résumés permanents qu'imposent les fenêtres plus réduites. En pratique, cela ouvre la voie à des refactorisations à l'échelle d'un dépôt complet: un agent peut charger un pipeline de données Python de quarante fichiers et suivre les dépendances entre fichiers en une seule session, sans avoir à recharger le code. Le modèle vise aussi les exécutions autonomes de longue haleine, ces boucles soutenues de planification, d'exécution, de test et de correction; à titre de comparaison, GLM-5.1 enchaînait environ 1 700 étapes d'agent en une session, avec des boucles autonomes pouvant durer jusqu'à huit heures. GLM-5.2 se présente enfin comme un remplaçant direct de Claude Code, l'utilisateur n'ayant qu'à changer l'URL de base et l'identifiant du modèle, et permet d'analyser de longs documents, spécifications, journaux ou transcriptions dépassant les 200 000 tokens. Sur le plan technique, Z.ai n'a pas détaillé l'architecture de GLM-5.2 dans ses supports de lancement, mais selon les notes de la communauté, la base GLM-5 repose sur un modèle Mixture-of-Experts de 744 milliards de paramètres, dont 40 milliards sont activés par token, une ossature que GLM-5.1 avait conservée en réorientant seulement son post-entraînement. L'absence de tout chiffre de performance au lancement détonne dans un secteur où les classements façonnent la perception des modèles, d'autant que GLM-5.1 affichait un score de 58,4 sur SWE-bench Pro; la communication de Z.ai s'est concentrée sur la disponibilité, le contexte étendu et la feuille de route open source plutôt que sur les comparaisons. Ce positionnement illustre la cadence effrénée d'un acteur chinois qui multiplie les sorties pour s'imposer comme alternative crédible aux modèles propriétaires occidentaux, en misant à la fois sur une licence MIT permissive et sur une compatibilité directe avec les outils existants. Reste à voir si les benchmarks, attendus avec la publication des poids, confirmeront que cette fenêtre d'un million de tokens s'accompagne des gains de qualité que la concurrence exigera.

LLMsOpinion

1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription en un clic