METR introduit un nouveau critère pour déterminer quand les agents IA deviennent plus coûteux que les humains
METR, l'organisation de recherche spécialisée dans l'évaluation des capacités des systèmes d'intelligence artificielle, a présenté une nouvelle métrique baptisée "horizon de dépense" (expenditure horizon), conçue pour déterminer à partir de quel moment un agent IA devient plus coûteux qu'un humain pour résoudre un problème donné. Contrairement aux indicateurs habituels qui mesurent la durée des tâches qu'un agent peut accomplir, cette métrique traduit directement la performance en dollars, en comparant le coût de calcul consommé par l'agent au coût équivalent d'une main-d'œuvre humaine. METR a testé cette approche sur le NanoGPT speedrun, un défi consistant à optimiser le plus rapidement possible l'entraînement d'un modèle de type GPT, et les premiers résultats se sont révélés décevants pour les agents IA actuels.
Résumé et traduction réalisés par Le Fil IA à partir de The Decoder. Lire l'article original →
Cette métrique s'inscrit dans un débat plus large sur la rentabilité réelle des agents IA en entreprise. Si les modèles progressent régulièrement sur des bancs d'essai mesurant l'autonomie ou la durée des tâches, la question du coût effectif reste largement ignorée alors qu'elle conditionne l'adoption concrète de ces outils par les entreprises. Un agent capable de résoudre un problème mais dont le coût en calcul dépasse celui d'un ingénieur humain n'a, économiquement, guère d'intérêt pour une organisation.
METR reconnaît toutefois que sa métrique comporte des angles morts, notamment parce qu'elle capture mal certains types de tâches ou de gains de productivité indirects. L'organisation souligne aussi que la génération de modèles la plus récente pourrait rebattre les cartes, les coûts de calcul et les performances évoluant rapidement. Cette initiative rejoint les efforts d'acteurs comme OpenAI ou Anthropic pour mieux quantifier l'impact économique réel de leurs systèmes.
Pas d'impact direct sur la France/UE
Ce qui me frappe, c'est que METR compare enfin le calcul en dollars face à un salaire d'ingénieur, pas juste en "durée de tâche" comme d'habitude. Sur le NanoGPT speedrun les agents perdent déjà, ce qui confirme un truc qu'on sent depuis des mois sans le chiffrer : un agent qui résout un problème mais qui coûte plus cher qu'un humain n'intéresse aucune boîte, aussi impressionnant soit le résultat. Reste que la métrique a des angles morts et que la prochaine génération de modèles peut rebattre les cartes vite, donc je surveillerais ça plutôt que d'en tirer une conclusion définitive.