Un nouveau benchmark pour évaluer les agents IA de santé destinés aux patients

SocialReasoning-Bench : évaluer si les agents IA agissent dans l'intérêt des utilisateurs

Des chercheurs ont publié SocialReasoning-Bench, un nouveau dispositif d'évaluation conçu pour mesurer la capacité des agents d'intelligence artificielle à défendre réellement les intérêts de leurs utilisateurs lors d'interactions sociales. Le benchmark se déploie dans deux scénarios concrets : la coordination de calendrier, où un agent gère les disponibilités d'un utilisateur face à une demande de réunion d'un autre agent, et la négociation commerciale en ligne, où l'agent doit obtenir les meilleures conditions d'achat ou de vente. Chaque scénario est évalué selon deux critères : l'optimisation du résultat obtenu pour l'utilisateur et la qualité du processus décisionnel suivi. Les résultats sur les modèles actuels de pointe sont décevants : les agents accomplissent généralement la tâche, mais acceptent trop souvent des créneaux horaires défavorables ou des offres commerciales médiocres plutôt que de négocier fermement. Même lorsqu'on leur demande explicitement d'agir dans l'intérêt de l'utilisateur, leurs performances restent bien en deçà de ce qu'on attendrait d'un mandataire fiable. L'enjeu est concret et croissant. Des outils comme Claude Cowork d'Anthropic ou Google Gemini s'intègrent déjà aux calendriers et aux boîtes mail pour agir au nom des utilisateurs. Si ces agents acceptent systématiquement le premier compromis venu plutôt que de défendre activement les préférences de la personne qu'ils représentent, ils deviennent des délégués de façade plutôt que de vrais alliés. Le manque de combativité dans la négociation n'est pas anodin : dans un contexte commercial ou professionnel, cela se traduit directement en valeur perdue pour l'utilisateur. La question de la loyauté des agents, distincte de leur simple compétence technique, devient ainsi centrale pour l'adoption à grande échelle de ces systèmes. Ce travail s'inscrit dans une lignée de recherches qui documentent les fragilités sociales des modèles actuels. Des expériences antérieures avaient montré que des agents dans un marché simulé acceptaient la première proposition reçue dans jusqu'à 93 % des cas sans explorer les alternatives. Une autre étude de red-teaming avait démontré qu'un seul message malveillant pouvait se propager dans un réseau d'agents et les amener à divulguer des données privées. Le cadre conceptuel mobilisé est celui de la relation principal-agent, bien établi en économie et en droit : avocats, agents immobiliers et conseillers financiers sont soumis depuis des siècles à des obligations de diligence, de loyauté et de confidentialité envers leurs mandants. SocialReasoning-Bench vise à créer une référence mesurable pour forcer les modèles à s'aligner sur ces mêmes standards, à mesure que les agents IA s'immiscent dans des contextes toujours plus sensibles.

OpenAI publie LifeSciBench, un benchmark de 750 tâches pour évaluer les modèles d'IA sur la recherche en sciences du vivant

OpenAI a publié LifeSciBench, un benchmark de 750 tâches conçu pour évaluer la capacité des modèles d'IA à raisonner comme de vrais scientifiques en sciences du vivant. Contrairement aux benchmarks biologiques classiques, qui posent des questions fermées à réponse unique, LifeSciBench soumet les modèles à des problèmes ouverts rédigés par 173 experts titulaires d'un doctorat et issus de l'industrie biotechnologique ou pharmaceutique. Chaque tâche couvre l'un des sept flux de travail scientifiques, analyse de données, conception expérimentale, raisonnement, validation, traduction et communication, et l'un des sept domaines biologiques, de la génomique à la chimie médicinale en passant par la médecine translationnelle. Environ 53 % des tâches s'accompagnent d'artefacts (séquences ADN, figures, tableaux, structures chimiques), et 79 % exigent en moyenne quatre étapes de raisonnement enchaînées. La qualité du benchmark a été validée par 453 relecteurs indépendants, dont 97 % docteurs, avec un taux d'accord global supérieur à 96 %. Les résultats révèlent un écart considérable entre les capacités actuelles des modèles et les exigences du travail scientifique réel. GPT-Rosalind, le modèle spécialisé d'OpenAI, obtient le meilleur score normalisé (0,576) et le taux de réussite par tâche le plus élevé (36,1 %), contre 25,7 % pour GPT-5.5, 23,6 % pour Gemini 3.1 Pro, 20,7 % pour GPT-5.4 et seulement 13,0 % pour Grok 4.3. Autrement dit, même le modèle le plus performant échoue sur près des deux tiers des tâches. Le système de notation s'appuie sur 19 020 critères granulaires, soit environ 25 par tâche, et un seuil de réussite fixé à 70 % du score normalisé. Les points faibles sont nets : GPT-Rosalind chute de 45,1 % de réussite sur les tâches textuelles à 28,1 % dès que des artefacts entrent en jeu, et les workflows de conception et d'optimisation restent particulièrement résistants, avec un taux de passage de seulement 30,7 %. LifeSciBench s'inscrit dans une dynamique plus large où l'industrie pharmaceutique et la recherche biomédicale sont identifiées comme des terrains d'application prioritaires pour les grands modèles de langage. Alors que des entreprises comme Isomorphic Labs, Recursion ou Insilico Medicine déploient déjà des IA dans le pipeline de découverte de médicaments, la question de leur fiabilité sur des tâches complexes et multi-étapes n'avait pas encore de réponse standardisée. Ce benchmark comble ce vide en proposant une évaluation qui reflète la réalité du travail de laboratoire, et non des QCM académiques. Le fait qu'aucun modèle ne dépasse 37 % de réussite signale que le secteur est loin de la saturation, et que des spécialisations domaine par domaine, comme GPT-Rosalind, représentent une piste sérieuse. Le benchmark est publié en accès ouvert, ce qui devrait accélérer la compétition entre laboratoires pour progresser sur ces tâches.

Perplexity AI publie WANDR, un benchmark ouvert pour évaluer les agents de recherche capables d'explorer largement et en profondeur

Perplexity AI a publié WANDR (Wide ANd Deep Research), un nouveau benchmark ouvert conçu pour évaluer les agents de recherche capables à la fois d'explorer largement un sujet et d'investiguer chaque piste en profondeur. L'outil comprend 500 tâches réalistes de collecte de données, construites autour d'une architecture appelée "qualification key hierarchy", qui combine recherche large (identifier un grand nombre d'entités correspondant à des critères) et recherche approfondie (documenter chaque entité avec des preuves vérifiables). Un exemple concret illustre le principe : la tâche "ceocfoappointments" demande de recenser au moins 70 entreprises américaines ayant annoncé la nomination d'un nouveau PDG ou directeur financier entre le 1er mars et le 30 avril 2026, chacune accompagnée d'une page source faisant autorité, soit 140 enregistrements vérifiables au total. Les tâches ont été générées à partir de schémas d'usage réels et anonymisés, via un pipeline en quatre étapes (amorçage, rédaction, validation, curation) combinant génération automatique et vérification croisée. Au total, les 500 tâches de WANDR exigent 170 495 enregistrements sourcés, avec une médiane de 50 entités et 245 preuves par tâche, réparties en trois niveaux de difficulté à peu près égaux. Ce benchmark comble un vide important dans l'évaluation des agents d'intelligence artificielle dédiés à la recherche documentaire. Jusqu'ici, la plupart des outils de mesure testaient la capacité d'un agent à produire une réponse unique et bien rédigée, sans vérifier s'il pouvait réellement rassembler et vérifier un grand volume d'informations factuelles. Or de plus en plus d'entreprises délèguent à ces agents des tâches de cartographie concurrentielle, de vérification préalable (due diligence) ou de revue de littérature, des travaux qui exigent précisément cette combinaison d'ampleur et de rigueur. Chaque affirmation soumise par l'agent est revérifiée automatiquement par un système qui récupère la page citée, contrôle qu'elle est pertinente et vérifie que les extraits sélectionnés confirment bien la réponse fournie, avant de calculer des scores de précision et de rappel à différents niveaux de la hiérarchie. WANDR est présenté comme le pendant "large" du benchmark DRACO, déjà développé par Perplexity pour évaluer la qualité de rapports longs et approfondis. Dans les premiers tests, six systèmes de production ont été évalués sur l'ensemble des 500 tâches, et c'est la propre architecture "Search as Code" de Perplexity qui obtient le meilleur score, avec un F1 souple de 0,363. Aucun système, cependant, ne parvient à résoudre la totalité du benchmark, ce qui souligne l'écart qui subsiste entre les capacités actuelles des agents de recherche et les exigences réelles du travail de connaissance à grande échelle.

💬 Ce qui me frappe, c'est que Perplexity teste enfin ce qui compte pour un usage pro : pas "écrire une belle réponse", mais aller chercher 140 preuves vérifiables sur 70 boîtes différentes. Et le meilleur score du marché plafonne à 0,363 sur leur propre benchmark, ce qui dit clairement que la recherche automatisée à grande échelle reste loin d'être fiable pour de la vraie due diligence. Bon, sur le papier ça tire tout le monde vers le haut, reste à voir si les autres labos adoptent ce genre de mesure au lieu de continuer à vendre du "agent qui répond bien".

Un nouveau framework permet aux agents IA de réécrire leurs propres compétences sans réentraîner le modèle de base

Des chercheurs de plusieurs universités ont publié Memento-Skills, un nouveau cadre technique qui permet à des agents IA d'améliorer leurs propres compétences de manière autonome, sans modifier ni réentraîner le modèle de langage sous-jacent. Contrairement aux approches classiques qui figent les capacités d'un agent après son déploiement, Memento-Skills fonctionne comme une mémoire externe évolutive : le système stocke des compétences sous forme de fichiers markdown structurés, chacun composé de trois éléments, une spécification déclarative, des instructions pour guider le raisonnement du modèle, et du code exécutable. Lorsqu'il rencontre une nouvelle tâche, l'agent interroge un routeur spécialisé pour récupérer la compétence la plus pertinente sur le plan comportemental, l'exécute, puis met à jour sa base de connaissances en fonction du résultat obtenu. Ce mécanisme, baptisé "Read-Write Reflective Learning", traite chaque exécution comme une itération active de politique plutôt qu'un simple journal de bord passif. L'enjeu est considérable pour les équipes qui déploient des agents en production. Aujourd'hui, adapter un agent à son environnement implique soit de fine-tuner les poids du modèle, une opération coûteuse en données et en temps, soit de concevoir manuellement de nouvelles compétences, ce qui exige un effort opérationnel permanent. Memento-Skills contourne ces deux obstacles. Le système corrige également un défaut majeur des architectures RAG classiques : la récupération par similarité sémantique. Un agent standard pourrait retrouver un script de "réinitialisation de mot de passe" pour résoudre une requête de "traitement de remboursement", simplement parce que les deux documents partagent du vocabulaire d'entreprise. Le routeur de Memento-Skills sélectionne au contraire la compétence la plus utile sur le plan comportemental, indépendamment de la proximité lexicale. Ce travail s'inscrit dans une réflexion plus large sur les limites des grands modèles de langage une fois déployés : leurs paramètres sont figés, et ils ne peuvent pas intégrer de nouvelles connaissances sans réentraînement. Plusieurs approches tentent d'y remédier, mémoire contextuelle, fine-tuning continu, bibliothèques de compétences manuelles, mais aucune ne combinait jusqu'ici apprentissage autonome, récupération comportementale et mise à jour réflexive en un seul système cohérent. Jun Wang, co-auteur du papier, positionne Memento-Skills comme un complément aux outils existants comme OpenClaw ou Claude Code. Si les résultats se confirment à plus grande échelle, ce type de cadre pourrait redéfinir la manière dont les agents IA évoluent en environnement réel, en déplaçant la charge d'adaptation des ingénieurs vers le système lui-même.