Les agents de codage IA réussissent les tests isolés mais accomplissent moins d'une tâche sur dix dans un environnement de travail simulé
Un nouveau banc d'essai place des agents de programmation fondés sur l'IA dans un environnement qui simule un véritable poste de développeur. Les agents y côtoient des collègues virtuels, des tableaux de projet et des passations de consignes incomplètes. Ils doivent poursuivre seuls le développement d'un logiciel et fermer de façon fiable les tickets ouverts, dans un quotidien de travail volontairement désordonné. Même Opus 5.5 et Astra restent très loin du compte : ils ne résolvent complètement que moins d'une tâche sur dix. Les modèles viennent vite à bout des missions claires et autonomes, mais perdent le fil dès qu'ils doivent agir comme de vrais développeurs indépendants.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de The Decoder. Lire l'article original →
Ces résultats nuancent les scores flatteurs obtenus sur les tests classiques, où l'on demande à un modèle de corriger un bogue précis ou d'écrire une fonction isolée. Pour les entreprises qui envisagent de confier des pans entiers du développement à des agents, l'écart est considérable. Un outil capable de réussites ponctuelles n'est pas pour autant un collègue fiable, capable de gérer la durée, les priorités et le suivi des dossiers. La supervision humaine reste donc indispensable, et les promesses d'automatisation complète du métier paraissent prématurées.
Ces dernières années, les évaluations dominantes ont surtout mesuré des tâches ponctuelles et bien délimitées, ce qui a pu entretenir l'impression que les agents approchaient de l'autonomie professionnelle. Les chercheurs cherchent désormais des protocoles plus proches du réel, qui intègrent la mémoire de long terme, la coordination avec d'autres intervenants et la gestion d'informations lacunaires. Les éditeurs de modèles, qui se livrent une concurrence intense sur les capacités dites agentiques, devront progresser sur ces points s'ils veulent transformer des démonstrations impressionnantes en outils de travail fiables.