ADeLe : prédire et expliquer les performances de l'IA selon les tâches

L'IA au service de la compréhension du cerveau : explications et expériences

Des chercheurs de Microsoft Research, de l'Université de Californie à Berkeley, de l'UCSF et de Columbia University ont publié dans Nature Neuroscience un nouveau cadre méthodologique baptisé Generative Causal Testing (GCT), conçu pour rendre les modèles de prédiction cérébrale interprétables par des humains. Depuis une dizaine d'années, les grands modèles de langage sont devenus les outils les plus précis pour prédire comment le cerveau humain réagit au langage : en soumettant à un LLM le même texte qu'une personne écoute dans un scanner IRM fonctionnel, le modèle peut anticiper l'activité de zones corticales spécifiques avec une fidélité remarquable. Le problème : ces modèles ne disent pas pourquoi. Ils sont constitués de millions de paramètres opaques, incapables d'expliquer à quel concept précis une région cérébrale est sensible. GCT répond à ce vide en deux étapes. D'abord, il identifie les phrases qui activent le plus fortement le modèle prédictif d'une région donnée, puis un LLM synthétise ces signaux en une explication courte et lisible, comme "préparation culinaire" ou "noms de lieux". Ensuite, un autre LLM génère de nouvelles histoires spécifiquement conçues pour déclencher cette région, les participants les écoutent en scanner, et l'équipe vérifie si la zone ciblée s'active effectivement. Les expériences menées ont confirmé des sélectivités connues, distingué des régions voisines de traitement des lieux longtemps considérées comme interchangeables, et mis en évidence de minuscules "micro-régions" préfrontales sensibles à des concepts très précis comme les dialogues, les horaires ou les mesures. L'enjeu va bien au-delà de la neuroscience computationnelle : il s'agit de combler le fossé entre prédiction et compréhension. Un modèle qui prédit l'activité cérébrale sans l'expliquer ne produit pas de connaissance scientifique, il produit une performance. GCT transforme ces performances en hypothèses testables, c'est-à-dire en théories au sens strict du terme, des affirmations que l'on peut confirmer ou réfuter par une expérience. Pour les chercheurs en neurosciences du langage, cela change radicalement la valeur opérationnelle des LLMs : ils ne servent plus seulement à prédire, mais à formuler des questions précises sur l'organisation fonctionnelle du cortex. Pour l'industrie de l'IA, c'est une démonstration que l'interprétabilité des modèles peut être abordée de façon expérimentale, pas seulement théorique. Ce travail s'inscrit dans un mouvement plus large d'alignement entre neurosciences cognitives et intelligence artificielle, où les LLMs sont utilisés non plus comme des boîtes noires mais comme des instruments d'investigation scientifique. La crise de l'explicabilité est l'une des tensions centrales de la décennie en IA : à mesure que les modèles gagnent en précision, leur lisibilité diminue. GCT propose une réponse originale en utilisant les LLMs pour s'expliquer eux-mêmes, via une boucle de vérification empirique. Les prochaines étapes probables incluent l'extension de ce cadre à d'autres modalités sensorielles et à d'autres populations, ainsi que son application à des questions cliniques liées au traitement du langage dans des pathologies neurologiques.

💬 On savait déjà que les LLMs prédisent l'activité cérébrale mieux que n'importe quel autre outil. Ce que GCT fait, c'est utiliser ces mêmes modèles pour formuler des hypothèses qu'on va tester en scanner, transformer une prédiction opaque en théorie vérifiable. C'est le genre de travail qui devrait changer comment on pense l'interprétabilité en IA, pas juste en neurosciences.

Des agents IA performants sur les benchmarks mais défaillants dans des conditions réelles, selon des chercheurs

Une étude portant sur 34 000 compétences réelles utilisées par des agents d'intelligence artificielle révèle que ces modules spécialisés, censés améliorer les performances des systèmes autonomes, n'apportent en pratique que des gains marginaux. Les chercheurs ont testé des "skills", ces instructions modulaires que les agents peuvent activer à la volée pour accéder à des connaissances spécifiques, dans des conditions proches du déploiement réel. Résultat : non seulement les améliorations sont négligeables dans des scénarios réalistes, mais les modèles les plus faibles voient leurs performances se dégrader lorsqu'ils y ont recours, comparé à une utilisation sans ces modules. Ce constat remet en question une hypothèse fondamentale du développement des agents IA : l'idée qu'enrichir un modèle avec des compétences externes suffit à le rendre plus capable. Pour les entreprises qui investissent dans des architectures agentiques complexes, notamment dans les secteurs de l'automatisation, du service client ou de la productivité, ce résultat soulève des doutes sur la valeur réelle de ces surcouches techniques. Les benchmarks standards, souvent utilisés pour vendre ces solutions, semblent masquer des lacunes significatives dès que les conditions expérimentales se rapprochent de la réalité. Cette étude s'inscrit dans un débat plus large sur la fiabilité des agents IA en production. Depuis l'essor des frameworks agentiques comme LangChain ou AutoGPT, la communauté cherche à comprendre pourquoi ces systèmes échouent là où les démonstrations semblent prometteuses. L'écart entre performance en laboratoire et comportement en conditions réelles reste l'un des obstacles majeurs à l'adoption industrielle des agents autonomes, et ces travaux pourraient pousser les développeurs à revoir leurs méthodes d'évaluation.

Meta présente les 'hyperagents' pour une IA auto-améliorante sur des tâches non techniques

Des chercheurs de Meta et de plusieurs universités ont présenté un nouveau cadre d'agents autonomes baptisé "hyperagents", conçu pour surmonter les limites des systèmes d'IA auto-améliorants actuels. Contrairement aux architectures existantes, comme la Darwin Gödel Machine (DGM) de Sakana AI, qui ne fonctionnent efficacement que sur des tâches de programmation, les hyperagents peuvent réécrire et optimiser leur propre logique de résolution de problèmes dans des domaines non techniques comme la robotique, l'analyse documentaire ou la revue d'articles scientifiques. Le système est dit "entièrement autoréférentiel" : il peut analyser, évaluer et modifier n'importe quelle partie de lui-même sans contraintes liées à sa configuration initiale. Les hyperagents inventent de façon autonome des capacités génériques comme la mémoire persistante ou le suivi automatisé des performances, sans intervention humaine. L'enjeu est considérable pour les entreprises qui cherchent à déployer des agents IA dans des environnements de production réels, où les tâches sont imprévisibles et variables. Jusqu'ici, les systèmes auto-améliorants étaient bridés par un "meta-agent" statique, conçu par des ingénieurs humains et incapable d'évoluer plus vite que ces derniers ne pouvaient le maintenir. Jenny Zhang, co-auteure de l'article, résume le problème ainsi : "Chaque fois que quelque chose change ou se casse, une personne doit intervenir pour mettre à jour les règles ou la logique." Les hyperagents brisent ce "mur de maintenance" en découplant la capacité à améliorer les tâches de la capacité à modifier le code sous-jacent, deux compétences fondamentalement distinctes. Le résultat est un système qui non seulement s'améliore sur les tâches, mais optimise également le cycle d'auto-amélioration lui-même, accélérant les progrès de façon exponentielle avec moins de prompt engineering manuel. Ce travail s'inscrit dans une course plus large à l'automatisation de l'ingénierie des agents IA, un domaine en pleine effervescence depuis les succès de DGM sur les benchmarks de programmation en 2025. La DGM avait démontré qu'une amélioration récursive et ouverte était techniquement réalisable, mais uniquement lorsque la tâche elle-même était du code. Meta franchit une étape supplémentaire en généralisant ce principe à des domaines où l'évaluation des performances et la réécriture du comportement requièrent des compétences radicalement différentes, comme l'analyse textuelle subjective ou l'exploration de données métier. Si les hyperagents tiennent leurs promesses à l'échelle, ils pourraient réduire drastiquement la dépendance aux équipes d'ingénierie spécialisées pour adapter les agents à chaque nouveau contexte, ouvrant la voie à des systèmes véritablement capables de s'adapter seuls aux environnements d'entreprise en constante évolution.

Self-Harness : un framework permettant aux agents IA de réécrire leurs règles, avec jusqu'à 60% de gain de performance

Des chercheurs du Shanghai Artificial Intelligence Laboratory ont présenté Self-Harness, un paradigme permettant à un agent basé sur un grand modèle de langage d'améliorer automatiquement ses propres règles de fonctionnement. Publiés récemment, ces travaux menés par Hangfan Zhang et son équipe montrent que ce système peut accroître les performances d'un agent de jusqu'à 60 % sans intervention humaine ni recours à un modèle externe plus puissant. Le principe repose sur une boucle itérative en trois étapes : l'agent analyse d'abord ses propres traces d'exécution pour identifier des schémas d'échec récurrents, génère ensuite des modifications ciblées et minimales de son environnement d'exécution, puis valide chaque modification par des tests de régression avant de l'adopter. Seules les modifications qui améliorent les performances sans dégrader d'autres tâches sont retenues. L'enjeu est considérable pour les équipes de développement qui déploient des agents IA en production. Un agent LLM ne dépend pas uniquement de son modèle sous-jacent, mais aussi de son "harness" : le système environnant qui comprend les prompts système, les outils disponibles, la mémoire, les politiques de relance et les procédures de récupération en cas d'erreur. Des exemples bien connus incluent SWE-agent, Claude Code, Codex et OpenHands. Or, de nombreuses défaillances d'agents proviennent précisément de cette couche, et non du modèle lui-même : un agent peut déclarer succès sans vérifier le résultat, relancer indéfiniment une action échouée, ou encore souffrir d'une surcharge de contexte lorsque l'historique d'interaction devient trop long. Self-Harness permet de corriger ces failles de manière empirique et reproductible, là où la pratique actuelle repose principalement sur l'intuition des ingénieurs. Ce travail s'inscrit dans un contexte où la cadence de sortie des nouveaux modèles rend le réglage manuel des harnesses de plus en plus coûteux et difficile à maintenir. Comme le souligne Hangfan Zhang, un ingénieur expérimenté peut encore proposer de meilleures améliorations qu'un LLM dans certains cas, mais le vrai goulot d'étranglement est l'absence de boucle de rétroaction systématique et vérifiable. Les approches existantes font souvent appel à des modèles plus puissants pour améliorer des modèles cibles plus faibles, ce qui pose des problèmes de coût, de disponibilité et d'inadaptation aux modes d'échec spécifiques. Self-Harness contourne cette dépendance en rendant l'agent autonome dans son propre perfectionnement, ouvrant la voie à des systèmes capables de s'adapter en continu à l'évolution rapide des modèles de langage sous-jacents.