Aller au contenu principal
RechercheThe Decoder · 1 min de lecture

METR introduit un nouveau critère pour déterminer quand les agents IA deviennent plus coûteux que les humains

Source originale ↗·

METR, l'organisation de recherche spécialisée dans l'évaluation des capacités des systèmes d'intelligence artificielle, a présenté une nouvelle métrique baptisée "horizon de dépense" (expenditure horizon), conçue pour déterminer à partir de quel moment un agent IA devient plus coûteux qu'un humain pour résoudre un problème donné. Contrairement aux indicateurs habituels qui mesurent la durée des tâches qu'un agent peut accomplir, cette métrique traduit directement la performance en dollars, en comparant le coût de calcul consommé par l'agent au coût équivalent d'une main-d'œuvre humaine. METR a testé cette approche sur le NanoGPT speedrun, un défi consistant à optimiser le plus rapidement possible l'entraînement d'un modèle de type GPT, et les premiers résultats se sont révélés décevants pour les agents IA actuels.

Cette métrique s'inscrit dans un débat plus large sur la rentabilité réelle des agents IA en entreprise. Si les modèles progressent régulièrement sur des bancs d'essai mesurant l'autonomie ou la durée des tâches, la question du coût effectif reste largement ignorée alors qu'elle conditionne l'adoption concrète de ces outils par les entreprises. Un agent capable de résoudre un problème mais dont le coût en calcul dépasse celui d'un ingénieur humain n'a, économiquement, guère d'intérêt pour une organisation.

METR reconnaît toutefois que sa métrique comporte des angles morts, notamment parce qu'elle capture mal certains types de tâches ou de gains de productivité indirects. L'organisation souligne aussi que la génération de modèles la plus récente pourrait rebattre les cartes, les coûts de calcul et les performances évoluant rapidement. Cette initiative rejoint les efforts d'acteurs comme OpenAI ou Anthropic pour mieux quantifier l'impact économique réel de leurs systèmes.

Dans nos dossiers

Cet article vous a été utile ?

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

Un nouveau framework permet aux agents IA de réécrire leurs propres compétences sans réentraîner le modèle de base
1VentureBeat AI 

Un nouveau framework permet aux agents IA de réécrire leurs propres compétences sans réentraîner le modèle de base

Des chercheurs de plusieurs universités ont publié Memento-Skills, un nouveau cadre technique qui permet à des agents IA d'améliorer leurs propres compétences de manière autonome, sans modifier ni réentraîner le modèle de langage sous-jacent. Contrairement aux approches classiques qui figent les capacités d'un agent après son déploiement, Memento-Skills fonctionne comme une mémoire externe évolutive : le système stocke des compétences sous forme de fichiers markdown structurés, chacun composé de trois éléments, une spécification déclarative, des instructions pour guider le raisonnement du modèle, et du code exécutable. Lorsqu'il rencontre une nouvelle tâche, l'agent interroge un routeur spécialisé pour récupérer la compétence la plus pertinente sur le plan comportemental, l'exécute, puis met à jour sa base de connaissances en fonction du résultat obtenu. Ce mécanisme, baptisé "Read-Write Reflective Learning", traite chaque exécution comme une itération active de politique plutôt qu'un simple journal de bord passif. L'enjeu est considérable pour les équipes qui déploient des agents en production. Aujourd'hui, adapter un agent à son environnement implique soit de fine-tuner les poids du modèle, une opération coûteuse en données et en temps, soit de concevoir manuellement de nouvelles compétences, ce qui exige un effort opérationnel permanent. Memento-Skills contourne ces deux obstacles. Le système corrige également un défaut majeur des architectures RAG classiques : la récupération par similarité sémantique. Un agent standard pourrait retrouver un script de "réinitialisation de mot de passe" pour résoudre une requête de "traitement de remboursement", simplement parce que les deux documents partagent du vocabulaire d'entreprise. Le routeur de Memento-Skills sélectionne au contraire la compétence la plus utile sur le plan comportemental, indépendamment de la proximité lexicale. Ce travail s'inscrit dans une réflexion plus large sur les limites des grands modèles de langage une fois déployés : leurs paramètres sont figés, et ils ne peuvent pas intégrer de nouvelles connaissances sans réentraînement. Plusieurs approches tentent d'y remédier, mémoire contextuelle, fine-tuning continu, bibliothèques de compétences manuelles, mais aucune ne combinait jusqu'ici apprentissage autonome, récupération comportementale et mise à jour réflexive en un seul système cohérent. Jun Wang, co-auteur du papier, positionne Memento-Skills comme un complément aux outils existants comme OpenClaw ou Claude Code. Si les résultats se confirment à plus grande échelle, ce type de cadre pourrait redéfinir la manière dont les agents IA évoluent en environnement réel, en déplaçant la charge d'adaptation des ingénieurs vers le système lui-même.

RecherchePaper
1 source
L'IA conçoit des puces radio que les humains n'auraient pas pu imaginer
2IEEE Spectrum AI 

L'IA conçoit des puces radio que les humains n'auraient pas pu imaginer

Des chercheurs de l'université Princeton ont développé des méthodes d'apprentissage automatique capables de concevoir des circuits intégrés radiofréquences (RFIC) en une fraction du temps qu'il faudrait à un ingénieur humain. En combinant l'apprentissage par renforcement, la conception inverse et des modèles de diffusion, leur équipe a produit des puces dont les géométries ressemblent davantage à de l'art abstrait qu'à des schémas électroniques conventionnels, et pourtant, les prototypes physiques surpassent les circuits les plus avancés conçus à la main. Le gain de temps est spectaculaire : l'IA conçoit en quelques heures ce qui demande des mois à un expert humain. L'approche a été validée sur des cas concrets, avec des performances record mesurées sur les puces fabriquées. L'enjeu dépasse largement le domaine des semi-conducteurs. Les RFIC sont les composants invisibles qui permettent à tous nos appareils de communiquer sans fil : téléphones mobiles, balises AirTag, réseaux 5G, voitures autonomes, communications par satellite. Toute la chaîne d'innovation dans ces secteurs bute sur la même contrainte : la lenteur et la rareté des experts capables de concevoir ces puces. Contrairement aux processeurs classiques (CPU, GPU), dont la conception est largement automatisée et normalisée, les RFIC exigent une maîtrise simultanée des équations de Maxwell, de la thermodynamique et de la mécanique des matériaux à différentes échelles, un exercice de jonglage entre plusieurs domaines physiques que seuls des ingénieurs très expérimentés maîtrisent après des années de pratique. Automatiser cette étape débloquerait non seulement la 5G et la 6G, mais aussi des applications comme les communications quantiques et les flottes de véhicules autonomes. Le point de départ de ces travaux remonte à 2019, dans la foulée de la victoire d'AlphaGo sur le champion du monde de go Lee Sedol. L'équipe de Princeton s'est alors demandé si l'IA pouvait apprendre un art aussi opaque que la conception RF. Sept ans plus tard, les résultats donnent raison à ce pari. Mais les chercheurs soulignent que la prochaine étape nécessite des jeux de données partagés à grande échelle et des écosystèmes ouverts, pour que les modèles puissent apprendre des comportements électromagnétiques et électroniques universels. Aujourd'hui, les données de conception de puces sont jalousement gardées par les entreprises. Sans mutualisation, les progrès resteront fragmentés. Le parallèle avec l'essor des grands modèles de langage est explicite : c'est la masse de données d'entraînement qui a tout changé, et le même principe pourrait transformer la conception de semi-conducteurs pour les décennies à venir.

UELes avancées en conception automatisée de puces RF pourraient accélérer le développement 5G/6G en Europe et bénéficier aux fabricants européens de semi-conducteurs comme STMicroelectronics et Infineon, mais aucun acteur européen n'est directement impliqué dans ces recherches de Princeton.

💬 Sept ans de travail, des puces aux géométries d'art abstrait qui surpassent les meilleurs designs humains en quelques heures. C'est impressionnant, mais le vrai signal dans cet article c'est ce que les chercheurs disent ensuite : sans mutualisation des données de conception, les progrès resteront fragmentés, exactement comme les LLMs avant qu'ImageNet et Common Crawl changent l'échelle. Les semi-conducteurs vont devoir traverser le même passage obligé, et les boîtes qui gardent jalousement leurs datasets ne font que repousser l'inévitable.

RecherchePaper
1 source
3VentureBeat AI 

Meta présente les 'hyperagents' pour une IA auto-améliorante sur des tâches non techniques

Des chercheurs de Meta et de plusieurs universités ont présenté un nouveau cadre d'agents autonomes baptisé "hyperagents", conçu pour surmonter les limites des systèmes d'IA auto-améliorants actuels. Contrairement aux architectures existantes, comme la Darwin Gödel Machine (DGM) de Sakana AI, qui ne fonctionnent efficacement que sur des tâches de programmation, les hyperagents peuvent réécrire et optimiser leur propre logique de résolution de problèmes dans des domaines non techniques comme la robotique, l'analyse documentaire ou la revue d'articles scientifiques. Le système est dit "entièrement autoréférentiel" : il peut analyser, évaluer et modifier n'importe quelle partie de lui-même sans contraintes liées à sa configuration initiale. Les hyperagents inventent de façon autonome des capacités génériques comme la mémoire persistante ou le suivi automatisé des performances, sans intervention humaine. L'enjeu est considérable pour les entreprises qui cherchent à déployer des agents IA dans des environnements de production réels, où les tâches sont imprévisibles et variables. Jusqu'ici, les systèmes auto-améliorants étaient bridés par un "meta-agent" statique, conçu par des ingénieurs humains et incapable d'évoluer plus vite que ces derniers ne pouvaient le maintenir. Jenny Zhang, co-auteure de l'article, résume le problème ainsi : "Chaque fois que quelque chose change ou se casse, une personne doit intervenir pour mettre à jour les règles ou la logique." Les hyperagents brisent ce "mur de maintenance" en découplant la capacité à améliorer les tâches de la capacité à modifier le code sous-jacent, deux compétences fondamentalement distinctes. Le résultat est un système qui non seulement s'améliore sur les tâches, mais optimise également le cycle d'auto-amélioration lui-même, accélérant les progrès de façon exponentielle avec moins de prompt engineering manuel. Ce travail s'inscrit dans une course plus large à l'automatisation de l'ingénierie des agents IA, un domaine en pleine effervescence depuis les succès de DGM sur les benchmarks de programmation en 2025. La DGM avait démontré qu'une amélioration récursive et ouverte était techniquement réalisable, mais uniquement lorsque la tâche elle-même était du code. Meta franchit une étape supplémentaire en généralisant ce principe à des domaines où l'évaluation des performances et la réécriture du comportement requièrent des compétences radicalement différentes, comme l'analyse textuelle subjective ou l'exploration de données métier. Si les hyperagents tiennent leurs promesses à l'échelle, ils pourraient réduire drastiquement la dépendance aux équipes d'ingénierie spécialisées pour adapter les agents à chaque nouveau contexte, ouvrant la voie à des systèmes véritablement capables de s'adapter seuls aux environnements d'entreprise en constante évolution.

RecherchePaper
1 source
Une nouvelle étude de Harvard et Perplexity révèle que les agents IA effectuent 26 minutes de travail autonome par session, contre 33 secondes pour la recherche
4MarkTechPost 

Une nouvelle étude de Harvard et Perplexity révèle que les agents IA effectuent 26 minutes de travail autonome par session, contre 33 secondes pour la recherche

Une étude conjointe de Harvard et de Perplexity publiée en juin 2026 apporte les premières preuves empiriques à grande échelle sur ce que les agents d'intelligence artificielle font réellement dans le cadre du travail intellectuel. Les chercheurs ont analysé 90 jours de données de production, du 27 février au 27 mai 2026, en comparant deux produits Perplexity utilisés par les mêmes personnes : Search, un moteur de réponse conversationnel, et Computer, un agent capable de planifier et d'exécuter des tâches de bout en bout. À partir de 10 000 paires de sessions quasi-identiques, définies par une similarité cosinus supérieure à 0,99, ils ont mesuré ce que chaque mode accomplit concrètement. Le résultat le plus saillant : Computer effectue en moyenne 26 minutes de travail machine autonome par session, contre 33 secondes pour Search, soit un écart de 48 fois. En médiane, l'écart reste net : 9 minutes contre 14 secondes. Sur certains domaines locaux, le ratio atteint 75 fois. L'impact sur la productivité est considérable. En reconstituant un scénario de référence "humain avec Search", les chercheurs estiment qu'un professionnel aurait besoin de 269 minutes pour accomplir la même tâche qu'un agent en 36 minutes, soit 87 % de temps en moins et 94 % de coût total réduit. Ces économies de coût dépassent les économies de temps parce que les salaires amplificateurs du domaine entrent en ligne de compte. Le coût modèle de Computer s'élève à 4 à 10 dollars par tâche, contre environ 0,05 dollar pour Search, mais son coût marginal par étape est de 0,16 dollar contre 2,05 dollars pour l'humain seul. La satisfaction est également au rendez-vous : le taux d'insatisfaction mesurable après une session Computer est de 1,3 %, contre 2,9 % pour Search, une réduction de 55 %. Loin de remplacer la recherche traditionnelle, l'agent la stimule : adopter Computer a augmenté de 1,05 le nombre de requêtes Search quotidiennes des utilisateurs, signe d'une complémentarité plutôt que d'une substitution. Cette étude s'inscrit dans un débat plus large sur la véritable nature de la transformation que les agents IA font subir au travail. Les chercheurs montrent que l'autonomie ne se limite pas à accélérer des tâches existantes : elle change lesquelles sont tentées. Les sessions Computer franchissent plus souvent les frontières entre métiers, avec 59 % de requêtes inter-occupations contre 50 % pour Search. Perplexity Computer a été lancé deux jours avant l'ouverture de la fenêtre d'observation, et ses volumes ont déjà atteint 84 fois leur niveau de la première semaine. Des entretiens utilisateurs rapportent des gains allant de 5 à 300 fois, corroborés par une évaluation indépendante par LLM qui retrouve 84 % de gain de temps et 93 % de gain de coût. Ces chiffres posent une question structurante pour les entreprises : le point de rupture économique se situe à moins de 20 minutes de travail manuel, en dessous duquel l'humain seul reste compétitif.

UELes entreprises européennes disposent d'un premier benchmark empirique pour calibrer leur adoption des agents IA, avec un point de rupture économique identifié à moins de 20 minutes de travail manuel.

RecherchePaper
1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription en un clic