Aller au contenu principal
LLMs · Paper ·

Les agents de codage IA réussissent les tests isolés mais accomplissent moins d'une tâche sur dix dans un environnement de travail simulé

Un nouveau banc d'essai place des agents de programmation fondés sur l'IA dans un environnement qui simule un véritable poste de développeur. Les agents y côtoient des collègues virtuels, des tableaux de projet et des passations de consignes incomplètes. Ils doivent poursuivre seuls le développement d'un logiciel et fermer de façon fiable les tickets ouverts, dans un quotidien de travail volontairement désordonné. Même Opus 5.5 et Astra restent très loin du compte : ils ne résolvent complètement que moins d'une tâche sur dix. Les modèles viennent vite à bout des missions claires et autonomes, mais perdent le fil dès qu'ils doivent agir comme de vrais développeurs indépendants.

1 min de lecture

Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie

Source

Résumé et traduction réalisés par Le Fil IA à partir de The Decoder. Lire l'article original →

Ces résultats nuancent les scores flatteurs obtenus sur les tests classiques, où l'on demande à un modèle de corriger un bogue précis ou d'écrire une fonction isolée. Pour les entreprises qui envisagent de confier des pans entiers du développement à des agents, l'écart est considérable. Un outil capable de réussites ponctuelles n'est pas pour autant un collègue fiable, capable de gérer la durée, les priorités et le suivi des dossiers. La supervision humaine reste donc indispensable, et les promesses d'automatisation complète du métier paraissent prématurées.

Ces dernières années, les évaluations dominantes ont surtout mesuré des tâches ponctuelles et bien délimitées, ce qui a pu entretenir l'impression que les agents approchaient de l'autonomie professionnelle. Les chercheurs cherchent désormais des protocoles plus proches du réel, qui intègrent la mémoire de long terme, la coordination avec d'autres intervenants et la gestion d'informations lacunaires. Les éditeurs de modèles, qui se livrent une concurrence intense sur les capacités dites agentiques, devront progresser sur ces points s'ils veulent transformer des démonstrations impressionnantes en outils de travail fiables.

À lire ensuite

01Les agents de code IA nécessitent encore une intervention humaine sur près de trois tâches sur quatre dans un test réelThe DecoderLLMs 02KAT-Coder-V2.5 : KwaiKAT lance un modele de codage a base d'agents entraine sur plus de 100 000 environnements de depot verifiablesMarkTechPostLLMs 03Aucun agent IA ne dépasse 12 % sur le nouveau benchmark de tâches professionnelles réelles de SemiAnalysisThe DecoderLLMs 
Dossier · Agents IASuivi en continu par Le Fil IASuivre ce sujet →

Le brief du matin

L'essentiel de l'IA chaque jour. Gratuit, désinscription immédiate à tout moment.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription à tout moment

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.