Les harnais sophistiqués rendent les agents de code plus coûteux sans les améliorer, selon une étude
Une étude contrôlée montre que le choix du « harnais » d'un agent de programmation (Claude Code, OpenCode ou mini-SWE-agent, par exemple) ne change guère les taux de réussite. L'écart entre deux harnais reste du même ordre que celui observé en relançant simplement la même configuration, ce qui relève de la variabilité normale des exécutions. Le coût par tâche, lui, peut être multiplié par trois d'un harnais à l'autre. Les chercheurs identifient comme principal responsable le prompt système, renvoyé au modèle à chaque étape du travail de l'agent.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de The Decoder. Lire l'article original →
Pour les équipes qui déploient des agents de code, ce constat remet en cause l'idée que les harnais les plus sophistiqués, avec leurs nombreux outils, instructions et garde-fous, apportent un gain de performance proportionné à leur complexité. Un prompt système volumineux est facturé à chaque appel, si bien que sa taille pèse directement sur la facture au fil d'une tâche qui compte des dizaines d'étapes. Les entreprises qui choisissent leur outillage sur la foi de classements ou d'arguments marketing risquent donc de payer beaucoup plus pour un résultat équivalent. L'étude invite à évaluer les harnais selon le rapport entre coût et réussite, et non sur le seul taux de réussite brut.
Ces résultats s'inscrivent dans un débat plus large sur la part de la performance qui vient du modèle et celle qui vient de l'échafaudage logiciel qui l'entoure. Depuis deux ans, les éditeurs multiplient les environnements d'exécution pour agents, des solutions commerciales comme Claude Code aux alternatives ouvertes comme OpenCode, tandis que mini-SWE-agent défend une approche volontairement minimaliste. La méthodologie contrôlée, qui mesure aussi le bruit de fond entre exécutions identiques, pourrait devenir une référence pour les comparaisons futures. Elle laisse penser que les gains durables viendront surtout des modèles eux-mêmes et d'une meilleure maîtrise des coûts de contexte.
Pas d\'impact direct sur la France/UE