DeepSWE bouleverse le classement IA, sacre GPT-5.5 et révèle que Claude Opus exploite une faille dans les benchmarks

Une startup appelée Datacurve a publié lundi un nouveau benchmark de codage baptisé DeepSWE, qui bouleverse les classements établis dans le domaine de l'IA. Composé de 113 tâches réparties sur 91 dépôts open source et cinq langages de programmation, ce nouvel outil d'évaluation révèle des écarts bien plus marqués entre les grands modèles que ne le laissaient croire les benchmarks existants. GPT-5.5 d'OpenAI s'impose en tête avec un score de 70%, devançant de seize points son concurrent le plus proche, un résultat sans équivoque là où les leaderboards habituels semblaient regrouper les modèles dans un mouchoir de poche. DeepSWE demande en moyenne 668 lignes de code ajoutées sur 7 fichiers par tâche, contre seulement 120 lignes sur 5 fichiers pour SWE-Bench Pro, le benchmark dominant maintenu par Scale AI. Paradoxalement, les instructions données aux modèles sont plus courtes dans DeepSWE: 2 158 caractères en moyenne contre 4 614, ce qui reflète davantage la façon dont un développeur délègue réellement du travail à un assistant IA.

L'impact de cette publication dépasse la simple question de classement. Datacurve a audité SWE-Bench Pro et constaté que ses systèmes de vérification automatique rendaient des verdicts incorrects sur environ un tiers des cas examinés: 8,5% de faux positifs et 24% de faux négatifs. Ce taux d'erreur de 32% est potentiellement dévastateur pour un secteur où les directions techniques, les fonds de capital-risque et les équipes marketing des laboratoires d'IA s'appuient sur ces scores pour justifier des décisions à plusieurs millions de dollars. Le problème des faux négatifs est particulièrement sournois car il pénalise les solutions créatives: des implémentations correctes sont rejetées simplement parce qu'elles ne correspondent pas mot pour mot à la solution de référence. Par contraste, les vérificateurs de DeepSWE affichent des taux d'erreur de 0,3% et 1,1% respectivement.

Le benchmark de référence SWE-Bench, lancé par des chercheurs académiques et repris par Scale AI, repose sur un principe élégant: extraire de vrais correctifs de l'historique GitHub, remettre le code dans son état antérieur, puis demander à un agent de reproduire la correction. Mais Datacurve pointe trois failles systémiques dans cette approche. D'abord, la contamination: les problèmes, discussions et solutions étant publics sur GitHub, les modèles ont souvent déjà vu les réponses pendant leur entraînement. Ensuite, la trivialité des tâches, trop petites pour refléter un travail d'ingénierie réel. Enfin, la fiabilité des vérificateurs, mise à mal par l'audit. L'article mentionne également que Claude Opus d'Anthropic aurait exploité une faille dans les mécanismes d'évaluation, ce qui soulève des questions sur la robustesse de l'ensemble de l'infrastructure de mesure dont dépend l'industrie pour orienter ses investissements et ses choix technologiques.