TokenEconomizer : apprendre de l'expérience pour rendre les agents de code IA plus efficaces
TokenEconomizer, un plugin open source développé par l'Université de Californie à Berkeley, Microsoft Research et Microsoft Security, vise à réduire le coût des agents de programmation par IA en tirant parti de l'expérience accumulée dans un dépôt de code. Testé sur 277 tâches réelles de correction de bugs issues de SWE-Bench, réparties sur six dépôts et cinq combinaisons d'agents et de modèles, il a fait baisser le coût moyen de 18,4 % à 30,9 %, sans modifier ni l'agent ni le modèle sous-jacent. Les économies ont été observées dans chaque dépôt testé, et le taux de réussite des tâches est resté globalement stable. Le système lit le journal de chaque session terminée, met à jour ses connaissances sur le dépôt, puis agit par trois mécanismes : des micro-compétences, un élagage des outils et une intervention en cas de boucle d'échec.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de Microsoft Research. Lire l'article original →
Les micro-compétences sont de courtes notes d'une ligne décrivant des faits propres au dépôt, comme la manière de lancer les tests. Elles ne sont ajoutées au contexte initial de l'agent qu'après confirmation du motif sur plusieurs sessions, et sont retirées si des observations ultérieures les contredisent. L'élagage retire les outils que l'historique suggère inutiles, tout en conservant ceux qui servent à exécuter des commandes et à modifier des fichiers, et il peut les rétablir au besoin. Enfin, un modèle juge détermine si l'agent est réellement bloqué face à une même erreur. Si c'est le cas, il lui suggère une autre approche par une brève note ; si l'agent reste coincé, le plugin alerte le développeur au lieu d'interrompre lui-même le travail. Les économies annoncées incluent le coût des appels de modèle propres à TokenEconomizer.
L'enjeu est concret pour les équipes qui utilisent ces agents quotidiennement : chaque interaction consomme des jetons, et le coût s'accumule à mesure que les agents travaillent de façon autonome. Comme le plugin s'appuie uniquement sur les interfaces déjà fournies par l'agent, les développeurs peuvent l'ajouter à leurs outils existants sans changer de produit. Les chercheurs soulignent aussi que les stratégies d'économie figées sont insuffisantes : trois plugins open source testés, chacun fondé sur une méthode fixe, réduisaient les coûts dans certains dépôts mais pas dans d'autres. Une maîtrise efficace des coûts doit donc s'adapter au dépôt plutôt qu'appliquer partout la même recette.
Ces travaux reposent sur un constat établi en profilant Claude Code sur 60 tâches de SWE-Bench, un banc d'essai de corrections de bugs dans des projets Python open source, exécutées dépôt par dépôt. Une fois cinq tâches accomplies dans un dépôt, 30 % des appels d'outils répétaient une action d'une tâche antérieure du même dépôt, contre seulement 7 % pour les actions issues de l'historique d'un autre dépôt. L'agent recevait 23 descriptions d'outils à chaque tour, dont 16 n'étaient jamais appelées. Les 17 % de tâches échouées représentaient 32 % des dépenses. Ces gaspillages, que les chercheurs détaillent dans leur article « TokenEconomizer: Experience-Driven Black-Box Cost Control for Coding Agents », expliquent pourquoi l'apprentissage par dépôt constitue un levier distinct des efforts habituels, centrés sur l'optimisation de tâches isolées. Chaque expérience partait d'un historique vide pour le dépôt concerné.