L'apprentissage amer de la robotique, des IA achèvent des tâches de programmation d'une semaine et le piratage accidentel d'OpenAI

Voici l'article traduit et résumé selon les consignes.
Epoch AI et METR ont publié MirrorCode, un nouveau benchmark destiné à mesurer la capacité des systèmes d'IA à accomplir des tâches de programmation de très longue durée. Annoncé une première fois en avril dans Import AI #453, il vient d'être enrichi de tests supplémentaires. Le résultat le plus marquant concerne Claude Opus 4.7, qui a résolu une tâche en quatorze heures pour 251 dollars de coût d'inférence, alors que METR et Epoch estiment qu'un humain aurait mis entre deux et dix-sept semaines pour le même travail. Le principe du test consiste à faire réimplémenter intégralement un programme informatique à partir du seul accès en ligne de commande, sans code source ni accès web, ce qui oblige le modèle à concevoir toute l'architecture plutôt qu'à simplement traduire le code existant. Parmi les programmes cibles figurent pkl, le langage de configuration développé par Apple (61 000 lignes de code), gotree, un outil de manipulation d'arbres phylogénétiques (16 000 lignes), et qsvselect, un sélecteur de colonnes CSV (87 000 lignes). Sur les vingt-cinq programmes testés, dix-sept ont obtenu au moins une exécution parfaite et quatre autres ont dépassé 99 % de réussite. Opus 4.7 et GPT-5.5 ont tous deux réussi à reproduire gotree dans plusieurs langages de programmation pour un coût de 100 à 400 dollars, et Opus 4.7 est également parvenu à reconstruire pkl. Huit programmes n'ont toutefois jamais atteint le seuil de 100 %, dont ruff, un linter et formateur Python qui s'est révélé le plus difficile, ainsi que giacsubset, un package mathématique, et mailauth, une bibliothèque d'authentification d'e-mails. La version publiée comprend le dispositif de test et vingt-deux des vingt-cinq programmes cibles, soit 132 instances de tâches réparties sur six langages.
L'enjeu dépasse la simple performance en programmation. Ce que montre surtout MirrorCode, c'est la capacité des modèles à s'orienter de façon autonome dans un environnement totalement inconnu : par la seule observation des entrées et sorties d'un logiciel étranger, une IA parvient à en reconstruire une implémentation complète et fonctionnelle. Cette faculté d'apprentissage par interaction pure, sans accès au code ni à la documentation, suggère que des agents suffisamment avancés pourraient un jour reproduire et internaliser les capacités de systèmes tiers simplement en interagissant avec eux, une piste qui intéresse autant les chercheurs en sécurité que les entreprises évaluant les risques et les opportunités liés à l'autonomie croissante des agents de codage. La progression est par ailleurs rapide : les modèles d'il y a un an plafonnaient autour de 30 % de réussite et se limitaient à des programmes simples comme un utilitaire de calendrier, contre des réimplémentations de dizaines de milliers de lignes aujourd'hui.
Ce numéro d'Import AI, le 466e, associe cette annonce à une autre actualité marquante autour de la "leçon amère" appliquée à la robotique : Anthropic a démontré qu'un modèle généraliste pouvait accomplir des tâches robotiques réelles vingt fois plus vite que le précédent record humain, confirmant l'idée que la montée en puissance de modèles généraux profite aussi aux systèmes physiques sans ingénierie robotique spécifique. Epoch AI et METR, organisations spécialisées dans l'évaluation et la prévision des capacités de l'IA, enrichissent ainsi leur panel de benchmarks pour suivre la trajectoire des agents sur des tâches économiquement pertinentes. Le code et les vingt-deux programmes cibles de MirrorCode étant publiés en accès libre, le benchmark devrait rapidement devenir une référence pour évaluer les futurs modèles, avec les cas les plus résistants, ruff, giac_subset et mailauth, comme prochains jalons à franchir.
Dans nos dossiers
Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.




