Surveillez et évaluez les performances de vos agents avec Arize Phoenix

ADeLe : prédire et expliquer les performances de l'IA selon les tâches

Des chercheurs de Microsoft, en collaboration avec l'Université de Princeton et l'Universitat Politècnica de València, ont publié dans la revue Nature une méthode inédite d'évaluation des modèles d'IA baptisée ADeLe, pour AI Evaluation with Demand Levels. Présentée dans l'article « General Scales Unlock AI Evaluation with Explanatory and Predictive Power », cette approche évalue simultanément les tâches et les modèles selon 18 capacités fondamentales, attention, raisonnement, connaissances de domaine, métacognition, entre autres, en leur attribuant un score de 0 à 5. Appliquée à 15 grands modèles de langage dont GPT-4o et Llama-3.1, la méthode permet de prédire les performances sur des tâches inédites avec une précision d'environ 88 %. Les travaux ont bénéficié du programme de financement AFMR (Accelerating Foundation Models Research) de Microsoft. L'apport concret d'ADeLe réside dans sa capacité à dépasser les scores agrégés des benchmarks classiques, qui mesurent ce qu'un modèle réussit sans expliquer pourquoi il échoue ni anticiper ses comportements sur de nouvelles tâches. En construisant un profil de capacités pour chaque modèle, une cartographie structurée de ses forces et faiblesses, et en le confrontant aux exigences précises d'une tâche donnée, ADeLe identifie les lacunes spécifiques à l'origine des erreurs. La méthode révèle également que de nombreux benchmarks largement utilisés donnent une image incomplète, voire trompeuse : un test censé mesurer le raisonnement logique peut en réalité dépendre fortement de connaissances spécialisées ou de métacognition, faussant ainsi l'interprétation des résultats. Pour les équipes qui développent ou déploient des LLMs, cette granularité change radicalement la façon d'interpréter une évaluation. L'évaluation des LLMs souffre depuis plusieurs années d'un problème structurel : les benchmarks standard comme MMLU ou HumanEval mesurent des performances globales sur des jeux de tests fixes, sans permettre de généraliser ni de diagnostiquer. ADeLe s'inscrit dans une tendance plus large de la communauté de recherche à vouloir rendre l'évaluation plus explicable et plus prédictive, à mesure que les modèles deviennent des composants critiques dans des systèmes professionnels. La publication dans Nature, une revue généraliste de premier rang, inhabituelle pour ce type de travaux en IA, signale l'ambition scientifique du projet. Les prochaines étapes pourraient inclure l'extension du cadre à des modalités au-delà du texte, et son adoption par des organismes d'évaluation indépendants cherchant des alternatives aux classements simplistes.

💬 Les benchmarks classiques te donnent un score global, mais zéro explication sur ce qui foire et pourquoi. ADeLe décompose ça en 18 capacités mesurables, confronte le profil du modèle aux exigences précises de la tâche, et prédit les perfs à 88% sur des cas inédits, ce qui est franchement solide pour de la recherche académique. Publication dans Nature en plus, c'est le genre de signal qui dit que l'évaluation des LLMs commence enfin à être traitée comme un vrai problème scientifique.

Self-Harness : un framework permettant aux agents IA de réécrire leurs règles, avec jusqu'à 60% de gain de performance

Des chercheurs du Shanghai Artificial Intelligence Laboratory ont présenté Self-Harness, un paradigme permettant à un agent basé sur un grand modèle de langage d'améliorer automatiquement ses propres règles de fonctionnement. Publiés récemment, ces travaux menés par Hangfan Zhang et son équipe montrent que ce système peut accroître les performances d'un agent de jusqu'à 60 % sans intervention humaine ni recours à un modèle externe plus puissant. Le principe repose sur une boucle itérative en trois étapes : l'agent analyse d'abord ses propres traces d'exécution pour identifier des schémas d'échec récurrents, génère ensuite des modifications ciblées et minimales de son environnement d'exécution, puis valide chaque modification par des tests de régression avant de l'adopter. Seules les modifications qui améliorent les performances sans dégrader d'autres tâches sont retenues. L'enjeu est considérable pour les équipes de développement qui déploient des agents IA en production. Un agent LLM ne dépend pas uniquement de son modèle sous-jacent, mais aussi de son "harness" : le système environnant qui comprend les prompts système, les outils disponibles, la mémoire, les politiques de relance et les procédures de récupération en cas d'erreur. Des exemples bien connus incluent SWE-agent, Claude Code, Codex et OpenHands. Or, de nombreuses défaillances d'agents proviennent précisément de cette couche, et non du modèle lui-même : un agent peut déclarer succès sans vérifier le résultat, relancer indéfiniment une action échouée, ou encore souffrir d'une surcharge de contexte lorsque l'historique d'interaction devient trop long. Self-Harness permet de corriger ces failles de manière empirique et reproductible, là où la pratique actuelle repose principalement sur l'intuition des ingénieurs. Ce travail s'inscrit dans un contexte où la cadence de sortie des nouveaux modèles rend le réglage manuel des harnesses de plus en plus coûteux et difficile à maintenir. Comme le souligne Hangfan Zhang, un ingénieur expérimenté peut encore proposer de meilleures améliorations qu'un LLM dans certains cas, mais le vrai goulot d'étranglement est l'absence de boucle de rétroaction systématique et vérifiable. Les approches existantes font souvent appel à des modèles plus puissants pour améliorer des modèles cibles plus faibles, ce qui pose des problèmes de coût, de disponibilité et d'inadaptation aux modes d'échec spécifiques. Self-Harness contourne cette dépendance en rendant l'agent autonome dans son propre perfectionnement, ouvrant la voie à des systèmes capables de s'adapter en continu à l'évolution rapide des modèles de langage sous-jacents.

Des agents IA performants sur les benchmarks mais défaillants dans des conditions réelles, selon des chercheurs

Une étude portant sur 34 000 compétences réelles utilisées par des agents d'intelligence artificielle révèle que ces modules spécialisés, censés améliorer les performances des systèmes autonomes, n'apportent en pratique que des gains marginaux. Les chercheurs ont testé des "skills", ces instructions modulaires que les agents peuvent activer à la volée pour accéder à des connaissances spécifiques, dans des conditions proches du déploiement réel. Résultat : non seulement les améliorations sont négligeables dans des scénarios réalistes, mais les modèles les plus faibles voient leurs performances se dégrader lorsqu'ils y ont recours, comparé à une utilisation sans ces modules. Ce constat remet en question une hypothèse fondamentale du développement des agents IA : l'idée qu'enrichir un modèle avec des compétences externes suffit à le rendre plus capable. Pour les entreprises qui investissent dans des architectures agentiques complexes, notamment dans les secteurs de l'automatisation, du service client ou de la productivité, ce résultat soulève des doutes sur la valeur réelle de ces surcouches techniques. Les benchmarks standards, souvent utilisés pour vendre ces solutions, semblent masquer des lacunes significatives dès que les conditions expérimentales se rapprochent de la réalité. Cette étude s'inscrit dans un débat plus large sur la fiabilité des agents IA en production. Depuis l'essor des frameworks agentiques comme LangChain ou AutoGPT, la communauté cherche à comprendre pourquoi ces systèmes échouent là où les démonstrations semblent prometteuses. L'écart entre performance en laboratoire et comportement en conditions réelles reste l'un des obstacles majeurs à l'adoption industrielle des agents autonomes, et ces travaux pourraient pousser les développeurs à revoir leurs méthodes d'évaluation.

Le modèle d'Alibaba, non entraîné comme agent, améliore les performances sur sept benchmarks

L'équipe Qwen d'Alibaba a publié mardi Qwen-AgentWorld, une paire de modèles d'intelligence artificielle conçus non pas pour agir dans des environnements numériques, mais pour prédire ce que ces environnements vont retourner en réponse à une action. Les deux modèles, un 35 milliards de paramètres et un 397 milliards, couvrent sept domaines sous une architecture unifiée : MCP, recherche web, terminal, génie logiciel, Android, navigation web et système d'exploitation. Entraînés sur plus de 10 millions de trajectoires d'interactions réelles, ils passent par trois phases successives : apprentissage du comportement des environnements (systèmes de fichiers, états du terminal, réponses API), raisonnement anticipatif sur les états futurs, puis renforcement par des règles et une évaluation qualitative ouverte. Les deux modèles sont des architectures Mixture-of-Experts, n'activant qu'une fraction de leurs paramètres par token. Ils prennent en charge des fenêtres de contexte de 256 000 tokens. Les poids du modèle 35B et le benchmark AgentWorldBench sont publiés sous licence Apache 2.0 ; ceux du 397B restent propriétaires. Ce qui fait la valeur de Qwen-AgentWorld n'est pas tant ses scores sur les benchmarks de prédiction que ses effets concrets sur la performance des agents entraînés à l'intérieur de ses simulations. En injectant des perturbations ciblées que les environnements réels ne permettent pas de reproduire à la demande (réponses partielles, cas limites rares, conditions de disque bas), les chercheurs ont fait passer le score MCPMark de 24,6 à 33,8. Sur la tâche de recherche, un agent entraîné dans un monde entièrement fictif a transféré ses apprentissages vers des recherches réelles, portant le WideSearch F1 Item de 34,02 à 50,31 sur le modèle 35B. Un entraînement préalable au modèle monde, utilisé comme échauffement avant le fine-tuning agentique, a amélioré les performances sur sept benchmarks distincts, dont trois que le modèle n'avait jamais vus pendant l'entraînement. L'approche répond à une limite structurelle bien connue des équipes qui développent des agents à grande échelle : les environnements de production ne permettent pas de contrôler les conditions d'entraînement. Un moteur de recherche réel renvoie les résultats disponibles, pas les cas rares que l'agent devra pourtant gérer. Un terminal en production ne simule pas une panne sur commande. En renversant la question, en demandant au modèle non pas "que faire ?" mais "que va renvoyer l'environnement ?", Alibaba crée une infrastructure de simulation contrôlable. La publication arrive dans la continuité de Qwen3.7-Max, sorti en mai avec une capacité d'exécution autonome de 35 heures, et se distingue des travaux antérieurs comme WebWorld ou le modèle de Snowflake, qui restaient cantonnés à un seul domaine. C'est la première architecture à modéliser sept domaines dans un seul modèle dès la phase de préentraînement.