
Les LLM peuvent-ils concevoir leur propre harnais d'agent ? HarnessDev de ByteDance Seed : seuls 34 des 64 changements se généralisent
Une équipe de ByteDance Seed, de la Singapore University of Technology and Design, de Georgia Tech, de M-A-P et de TokenWave.AI a présenté HarnessDev, un protocole qui évalue la capacité des modèles de langage à construire eux-mêmes leur « harnais » agentique, la boucle d'exécution, les outils, la mémoire et la vérification qui les entourent, plutôt que leurs simples réponses. Le test se déroule en deux phases : en Création, chaque modèle part d'un socle minimal (score nul partout) et doit bâtir un harnais complet à partir d'un cahier des charges et de quelques exemples ; en Évolution, il retravaille ce harnais grâce aux retours d'exécution sur 100 tâches SWE-bench Pro et 89 tâches Terminal-Bench 2.1, avant validation sur 630 instances inédites. Six modèles ont participé, dont Claude Opus 4.8, GPT-5.5 et Gemini 3.1 Pro, sur 2 207 tâches réparties en cinq bancs d'essai. Opus 4.8 obtient le meilleur score moyen, 67,8 points, contre 86,2 pour un harnais conçu par des ingénieurs humains, et seuls 34 des 64 changements testés en Évolution se sont révélés généralisables. La portée est concrète pour quiconque déploie des agents IA : la performance mesurée sur un benchmark dépend autant du harnais logiciel que du modèle. Les chercheurs citent GPT-5, qui résout 35,2 % des tâches de Terminal-Bench 2.1 dans le harnais Terminus 2 mais 49,6 % dans Codex CLI, à poids identiques. Les classements de modèles publiés sans préciser l'environnement d'exécution peuvent donc induire en erreur, et l'ingénierie de ces couches logicielles devient un levier de performance comparable à l'entraînement lui-même. L'étude montre aussi que produire plus de code n'aide pas : les 18 harnais de code ajoutent en moyenne 17 111 lignes, mais celui de Gemini, le plus sobre avec seulement 1 006 lignes, arrive en tête sur Terminal-Bench. Une bonne partie du code généré ne sert jamais : 18 des 108 composants testés ne se déclenchent jamais en conditions réelles, et 124 des 587 fonctionnalités d'écriture développées restent du code mort. Ces travaux s'inscrivent dans une tendance de la recherche sur les agents IA où l'attention se déplace des capacités brutes du modèle vers l'orchestration et le contexte qui l'entourent. Les chercheurs ont aussi testé la portabilité des harnais en les faisant tourner avec un exécuteur différent, Gemini 3.1 Pro : les classements ont été bouleversés, Qwen 3.7 Max gagnant 17,6 points sur BrowseComp, tandis que le score d'Opus 4.8 sur SWE-Pro s'effondrait de 69,3 à 33,0, son harnais ayant codé en dur une limite de 120 étapes calibrée pour son propre moteur. Cela révèle que les harnais que les modèles construisent pour eux-mêmes intègrent des hypothèses implicites propres à leur propre comportement, limitant leur transfert vers d'autres modèles. Lors de l'Évolution, les cinq créateurs opérant avec leur propre moteur ont tous progressé, avec des gains de 1,43 à 4,44 points, signe que l'auto-ingénierie de harnais reste prometteuse mais encore loin du savoir-faire d'ingénieurs humains spécialisés.




















![[AINews] Anthropic lève 965 milliards en Série H et publie Opus 4.8 et Dynamic Workflows/ultracode](/_next/image?url=https%3A%2F%2Fapi.lefilia.fr%2Fapi%2Fv1%2Fimages%2Farticle_4249201.png&w=1920&q=75)




















