IBM et UC Berkeley diagnostiquent pourquoi les agents d'entreprise échouent avec IT-Bench et MAST

Les agents de recherche IA n'échouent pas à chercher, mais à poser les bonnes questions face aux requêtes ambiguës

Les agents de recherche IA basés sur l'intelligence artificielle échouent rarement à cause de la recherche elle-même lorsqu'ils mènent des investigations en plusieurs étapes. Leur véritable faiblesse est ailleurs : ils ne demandent pas de clarification à l'utilisateur quand une requête est ambiguë. C'est ce que révèle un nouveau benchmark baptisé DiscoBench, conçu spécifiquement pour évaluer ce comportement. Les résultats sont frappants : les modèles qui persistent à relancer des recherches multiples plutôt que de poser une question de suivi obtiennent une précision de seulement 51,9 %, un score inférieur à celui obtenu en devinant simplement la réponse. Même le modèle le plus performant du test ne dépasse pas 43 % de précision globale. Lorsque l'ambiguïté est retirée des requêtes, la précision grimpe jusqu'à 40 points de pourcentage. Ce constat a des implications concrètes pour tous les usages professionnels des agents IA de recherche, des assistants documentaires aux outils d'aide à la décision. Un agent qui interprète mal une demande floue et fonce vers une réponse erronée, plutôt que de demander une précision, produit des résultats peu fiables malgré des capacités de recherche techniquement solides. Pour les entreprises qui déploient ces outils, cela signifie qu'améliorer la qualité des réponses passe autant par l'apprentissage du dialogue que par l'optimisation des moteurs de recherche sous-jacents. Ce travail s'inscrit dans une réflexion plus large sur les limites des agents autonomes multi-étapes, un axe de recherche en pleine expansion à mesure que ces systèmes gagnent en autonomie. La capacité à reconnaître l'incertitude et à interagir avec l'utilisateur, plutôt que de produire une réponse à tout prix, apparaît comme un enjeu central pour la fiabilité future de ces agents.

💬 Le vrai problème des agents de recherche, c'est pas qu'ils cherchent mal, c'est qu'ils n'osent jamais dire "je comprends pas ta question". Un score sous celui du pur hasard quand ils s'entêtent à relancer des recherches plutôt que de demander une précision, ça remet les pendules à l'heure : la fiabilité d'un agent IA se joue autant dans sa capacité à dialoguer que dans celle à chercher. Bon courage aux boîtes qui déploient ces outils en pensant que le moteur de recherche suffit à tout.

Weblica : des environnements d'entraînement évolutifs et reproductibles pour les agents web visuels

Le développement d'agents web visuels autonomes, capables de naviguer et d'interagir avec des interfaces comme le ferait un humain, se heurte à un obstacle majeur: l'entraînement de ces systèmes nécessite des environnements web à grande échelle, or le web réel est complexe, changeant en permanence et impossible à figer pour un apprentissage reproductible. Une équipe de chercheurs propose Weblica (contraction de Web Replica), un framework conçu pour construire des environnements web à la fois reproductibles et scalables. La méthode combine deux mécanismes techniques: un système de mise en cache au niveau HTTP qui capture et rejoue des états visuels stables tout en conservant le comportement interactif des pages, et une synthèse d'environnements pilotée par des grands modèles de langage. Cette approche répond à une limite concrète des méthodes existantes, qui reposent soit sur des trajectoires de navigation enregistrées hors ligne et utilisées pour du fine-tuning supervisé, soit sur une poignée d'environnements simulés dédiés à l'apprentissage par renforcement. Dans les deux cas, ces jeux de données échouent à représenter la diversité réelle du web, ce qui limite la capacité des agents entraînés à généraliser une fois confrontés à de vrais sites. En rendant possible la création d'environnements web nombreux, fidèles et rejouables à l'identique, Weblica ouvre la voie à un entraînement par renforcement à bien plus grande échelle pour les agents web visuels, avec un potentiel impact direct sur la fiabilité des futurs assistants capables d'automatiser des tâches en ligne pour les utilisateurs. Ce travail s'inscrit dans une course plus large de l'industrie de l'IA vers des agents capables d'agir de façon autonome sur le web, un enjeu identifié comme clé par les principaux laboratoires de recherche. La difficulté à générer des données d'entraînement représentatives du web réel constitue un frein reconnu depuis plusieurs années, et les solutions comme Weblica visent à combler ce manque en s'appuyant sur les grands modèles de langage eux-mêmes pour générer et diversifier ces environnements de simulation.

L'ontologie fait son grand retour : pourquoi les agents IA relancent le web sémantique

Lors de l'édition 2026 de l'AI Engineer World's Fair, l'une des présentations les plus suivies a été celle de Frank Coyle, professeur d'informatique qui enseigne l'IA générative et les LLMs à UC Berkeley. Dans une intervention de vingt minutes, Coyle a réintroduit auprès des ingénieurs IA d'aujourd'hui le concept d'ontologie, une notion qui, selon lui, remonte à Aristote et qui a traversé toute l'histoire de l'intelligence artificielle. Une ontologie, qu'il définit simplement comme des "données sous forme de graphes", décrit la structure des données d'un domaine de connaissance : ses classes, ses propriétés et ses relations. Coyle défend l'idée que si les LLMs excellent dans le raisonnement probabiliste, les systèmes agentiques ont besoin de "garde-fous logiques" pour être réellement fiables, et que ces garde-fous, ce sont précisément les ontologies. Lors d'un keynote au même événement, Emil Eifrem, PDG de Neo4j, société spécialisée dans les bases de données en graphe, a détaillé trois types d'ontologies permettant de créer un "substrat partagé plus intelligent" pour faire tourner des agents à grande échelle : une ontologie orientée métier décrivant les concepts clés d'une organisation, une ontologie technique regroupant les métadonnées de toutes les sources et actifs de données de l'entreprise, et enfin les traces d'exécution, c'est-à-dire les signaux produits en temps réel par les agents. Cette remise au goût du jour a une portée concrète pour les développeurs qui construisent des agents IA. Coyle a cité des standards du web sémantique déjà bien connus, comme Schema.org, FOAF, Dublin Core, ainsi que des technologies complémentaires comme RDFS et OWL. Leur avantage est qu'elles figurent déjà dans les données d'entraînement des LLMs, ce qui permet aux développeurs de les invoquer directement par prompt plutôt que de réinventer des ontologies depuis zéro. Il a notamment montré un agent Claude utilisant une ontologie pour valider le raisonnement du modèle après l'exécution d'un outil, une approche qu'il qualifie d'"IA neurosymbolique", combinant réseaux de neurones et systèmes symboliques à base de règles et de graphes de connaissances. Cette approche relance en réalité un vieux débat. Kingsley Idehen, dirigeant d'OpenLink Software, développe depuis des années une pile technique d'ingénierie d'agents fondée sur le web sémantique, incluant un agent doté d'une "mémoire RDF". Il résume l'intérêt de combiner les deux mondes : le langage donne sa puissance expressive, l'ontologie lui donne un contexte calculable. Reste un problème historique, celui de la maintenance des ontologies, qui explique en grande partie pourquoi la vision du "web sémantique" des années 1990 et 2000 n'a jamais vraiment décollé. Sur X, le développeur Prasenjit Sarkar a proposé une piste : confier à l'agent lui-même la tâche de maintenir son ontologie au fil de son fonctionnement.

Un nouveau benchmark pour évaluer les agents IA de santé destinés aux patients

Nouveau benchmark, PatientAgentBench, pour évaluer les IA médicales tournées vers le patient (chiffres clés, etc.) Anthropic a présenté PatientAgentBench, un nouveau standard d'évaluation conçu spécifiquement pour les agents IA qui interagissent directement avec les patients, comme la prise de rendez-vous, la gestion des ordonnances ou le tri des symptômes. Contrairement aux benchmarks existants, qui testent soit les connaissances médicales statiques (questions d'examens, échanges ponctuels destinés aux cliniciens), soit des tâches techniques réservées aux professionnels de santé, PatientAgentBench simule des conversations multitours réalistes entre un agent IA et un patient virtuel. Le système génère un dossier médical synthétique, un scénario clinique dérivé de ce dossier, puis un agent patient qui converse avec l'IA de santé évaluée, laquelle doit collecter les bonnes informations, raisonner sur le dossier, déterminer le niveau de soins approprié et exécuter correctement les démarches cliniques. Un jury composé de plusieurs modèles de langage note ensuite chaque conversation selon plus de 100 critères validés par des cliniciens, répartis en six dimensions : sécurité clinique, qualité du tri, précision du parcours de soins, réussite de la tâche, utilité clinique et qualité conversationnelle. Cette approche répond à un problème identifié dans les évaluations précédentes de l'IA en santé, jugées trop rigides et vulnérables à la contamination des données d'entraînement. Les benchmarks classiques reposent en effet sur des grilles rédigées au cas par cas par des médecins pour un jeu de conversations figé, qui ne se généralisent pas à de nouveaux agents et qui, une fois publiées, finissent par être apprises par cœur par les modèles lors de leur entraînement, ce qui gonfle artificiellement les scores sans refléter une vraie capacité de raisonnement. Avec des critères réutilisables et une génération de scénarios renouvelée à chaque évaluation, PatientAgentBench limite ce risque de mémorisation et peut s'étendre à de nouveaux domaines cliniques, de nouvelles populations de patients et de nouveaux modèles sans nécessiter à chaque fois une nouvelle annotation médicale. Pour l'industrie, l'enjeu est de taille : à mesure que les agents IA passent du simple rôle de conseiller à celui d'exécutant de tâches médicales concrètes pour le compte des patients, il devient crucial de disposer d'outils fiables pour vérifier qu'ils respectent les mêmes garde-fous que ceux appliqués en médecine de premier recours contre les erreurs de diagnostic, les usages dangereux de médicaments ou les ruptures de suivi. Le projet s'inscrit dans un contexte plus large où les grands modèles de langage, même les plus performants, montrent encore des limites significatives dans la gestion de situations cliniques sensibles impliquant plusieurs tours de dialogue et des décisions d'escalade. Anthropic indique que des cliniciens licenciés ont validé les scénarios et les critères du benchmark, et que les premiers résultats obtenus avec PatientAgentBench doivent permettre d'orienter la conception d'agents de santé plus sûrs. En publiant ce standard de manière reproductible, l'entreprise cherche à établir une référence commune pour l'ensemble du secteur, à un moment où plusieurs acteurs de la tech et de la santé développent en parallèle des assistants IA destinés à interagir directement avec les patients, sans toujours disposer de méthodes rigoureuses pour en mesurer la sécurité réelle avant déploiement.

💬 Bon, PatientAgentBench, ça change enfin la donne sur un point précis : jusqu'ici on évaluait des IA de santé sur des QCM figés qu'elles finissaient par apprendre par cœur, pas sur leur capacité à gérer une vraie conversation avec un patient qui panique ou qui ment sur ses symptômes. Le vrai apport, c'est que les critères sont réutilisables et les scénarios régénérés à chaque test, donc ça limite la triche par mémorisation, ce qui manquait cruellement au secteur. Reste que c'est un jury de LLM qui note d'autres LLM, donc avant de le prendre pour argent comptant en prod sur du triage réel, faut voir ce que ça donne sur des cas limites que même les cliniciens débattent entre eux.