Import AI 453 : failles dans les agents IA, MirrorCode et dix perspectives sur la perte progressive de contrôle
METR et Epoch AI, deux organisations spécialisées dans la mesure des capacités de l'IA, ont publié MirrorCode, un benchmark inédit conçu pour évaluer la capacité des modèles à réimplémenter de manière autonome des logiciels complexes existants. Le principe est simple mais exigeant : l'agent IA reçoit un accès en exécution seule à un programme en ligne de commande, ainsi qu'un ensemble de tests visibles, mais sans accès au code source original. Il doit ensuite reproduire fidèlement le comportement du programme. Le benchmark couvre plus de 20 programmes cibles dans des domaines variés : utilitaires Unix, outils de sérialisation de données, bioinformatique, interpréteurs, analyse statique, cryptographie et compression. Le résultat le plus frappant : Claude Opus 4.6 a réussi à réimplémenter gotree, un toolkit de bioinformatique représentant environ 16 000 lignes de code Go et plus de 40 commandes, une tâche qu'un ingénieur humain sans assistance IA aurait mis entre 2 et 17 semaines à accomplir.
Résumé et traduction réalisés par Le Fil IA à partir de Import AI. Lire l'article original →
Ces résultats suggèrent que les systèmes d'IA actuels ont déjà atteint, sur certaines tâches précises, le niveau d'un développeur expérimenté travaillant à plein temps. La capacité à rétro-ingénierer un logiciel complexe en se basant uniquement sur ses sorties est un exercice que seule une fraction des programmeurs humains pourrait réaliser, et en y consacrant plusieurs jours. MirrorCode documente aussi un phénomène important : les performances s'améliorent avec la puissance de calcul allouée à l'inférence, ce qui signifie que des projets encore hors de portée aujourd'hui pourraient devenir accessibles en augmentant simplement les ressources. Pour les entreprises tech, cela redéfinit concrètement ce qu'un agent IA peut accomplir en autonomie sur des projets de longue haleine, bien au-delà de la simple complétion de code.
Ce benchmark s'inscrit dans un effort plus large pour mesurer précisément les capacités réelles des grands modèles de langage, souvent sous-estimées ou surestimées selon les contextes. METR, connue pour ses évaluations d'autonomie des agents IA, et Epoch AI, spécialisée dans les tendances de progression du domaine, combinent ici leurs expertises pour produire une méthodologie plus proche des scénarios professionnels réels. Les auteurs soulignent eux-mêmes les limites : les programmes ciblés produisent des sorties canoniques facilitant la vérification, certains résultats sur les programmes simples pourraient s'expliquer par de la mémorisation, et le benchmark ne couvre qu'une fraction de l'univers logiciel. Néanmoins, la trajectoire est claire : à mesure que les modèles progressent et que les budgets de calcul augmentent, la frontière entre ce qu'un agent IA peut faire seul et ce qui nécessite un humain continue de se déplacer rapidement.
Les équipes de développement logiciel en France et en Europe doivent réévaluer leurs processus d'ingénierie face à des agents IA capables de réimplémenter des projets complexes de manière autonome, redéfinissant le périmètre et la valeur du travail des développeurs.