Les agents de code IA nécessitent encore une intervention humaine sur près de trois tâches sur quatre dans un test réel
Alibaba vient de publier Co-Design Bench, un nouveau banc d'essai pour agents de programmation qui repose sur de vraies requêtes d'utilisateurs, choisies parce qu'elles avaient déjà mis ces agents en difficulté en conditions réelles. Les résultats sont sévères : même GPT-6 Astra, le modèle le plus performant du test, ne résout entièrement que 26,4 % des tâches. Près de trois tâches sur quatre nécessitent donc encore une intervention humaine pour corriger ou terminer le travail. Le contraste avec les évaluations antérieures est frappant, puisque ces mêmes modèles y dépassent 99 % de réussite.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de The Decoder. Lire l'article original →
Cet écart remet en cause la confiance que l'industrie accorde aux scores publiés. Si des modèles quasi parfaits sur les anciens tests échouent trois fois sur quatre face à des demandes authentiques, les chiffres affichés par les éditeurs donnent une image trompeuse de l'autonomie réelle de ces outils. Pour les développeurs et les entreprises qui envisagent de confier des pans entiers de leur production de code à des agents, le message est clair : la supervision humaine reste indispensable, et les gains de productivité annoncés doivent être relativisés. Les équipes qui choisissent un outil sur la seule base des classements habituels risquent d'être déçues.
Ce résultat s'inscrit dans un problème de fond des évaluations en intelligence artificielle : la saturation des benchmarks. Lorsqu'un test atteint presque 100 %, il ne distingue plus les modèles, et il peut en outre être contaminé par des données d'entraînement ou trop éloigné des usages quotidiens. En construisant son banc d'essai à partir d'échecs constatés en pratique, Alibaba cherche à mesurer ce qui compte vraiment pour les utilisateurs. Reste à voir si d'autres laboratoires adopteront ce type d'évaluation et si les prochaines générations de modèles parviendront à réduire cet écart avec le monde réel.
Un modèle qui plafonne à 99 % sur les anciens tests et tombe à 26,4 % sur de vraies demandes d'utilisateurs, ça ne mesure pas la même chose, point. Selon Le Fil IA, les scores publiés par les éditeurs mesurent la capacité à réussir un examen connu, pas l'autonomie réelle d'un agent face à un vrai backlog. Bon, un benchmark d'Alibaba, donc pas totalement neutre, mais l'idée de partir des échecs constatés en prod est la bonne. Si tu choisis ton outil sur un classement, teste-le d'abord sur tes propres tickets.