Présentation du benchmark SWE-Lancer

AsgardBench : un benchmark pour la planification interactive ancrée dans la vision

Des chercheurs ont publié AsgardBench, un nouveau benchmark conçu pour évaluer la capacité des agents IA incarnés à adapter leurs plans d'action en temps réel en fonction de ce qu'ils observent visuellement. Le système repose sur 108 scénarios contrôlés répartis en 12 types de tâches, tous construits sur AI2-THOR, un environnement de simulation 3D interactif représentant des intérieurs domestiques. Concrètement, un agent reçoit une instruction ménagère, nettoyer une tasse, remplir un évier, éteindre une lumière, et doit proposer à chaque étape une séquence complète d'actions, dont seule la première s'exécute. Il reçoit ensuite une image mise à jour et un signal binaire (succès ou échec), puis doit réviser son plan en conséquence. Ce qui rend le benchmark exigeant : les objets peuvent se trouver dans des états variables (tasse propre ou sale, évier vide ou encombré), si bien que la même instruction peut nécessiter des séquences d'actions radicalement différentes selon ce que l'agent perçoit. L'intérêt d'AsgardBench est de cibler précisément une compétence souvent noyée dans les évaluations existantes : l'adaptation du plan à partir de l'observation visuelle. La plupart des benchmarks actuels mêlent navigation, perception et contrôle physique dans une seule épreuve, ce qui rend impossible de savoir si un agent performe grâce à sa compréhension de l'environnement ou simplement parce que l'environnement est suffisamment prévisible pour être scripté. En isolant la révision de plan, sans demander à l'agent de naviguer dans une pièce ni de raisonner sur l'emplacement précis d'un meuble, le benchmark permet de mesurer directement si le modèle utilise ce qu'il voit pour décider de ce qu'il fait. C'est une distinction critique pour les applications réelles : un robot ménager qui ignore qu'une tâche est déjà accomplie va gaspiller des ressources, voire causer des erreurs en chaîne. Ce travail s'inscrit dans un contexte de forte effervescence autour de l'IA incarnée (embodied AI), un domaine où des acteurs comme Google DeepMind, Meta et plusieurs laboratoires universitaires investissent massivement pour créer des agents capables d'agir dans des environnements physiques ou simulés. AI2-THOR, développé par l'Allen Institute for AI, est déjà largement utilisé comme terrain d'entraînement pour ces systèmes. AsgardBench ne cherche pas à remplacer les benchmarks existants mais à combler un angle mort : la capacité de replanning visuel sous feedback minimal. Les suites probables incluent des évaluations sur des environnements plus ouverts, des instructions plus ambiguës, ou l'intégration de modèles multimodaux de nouvelle génération comme GPT-4o ou Gemini 2.0, dont la capacité à raisonner visuellement en boucle fermée reste encore peu documentée dans des conditions aussi contrôlées.

Présentation d'EVMbench

OpenAI et Paradigm présentent EVMbench, un benchmark évaluant la capacité des agents d'IA à détecter, corriger et exploiter des vulnérabilités critiques dans les contrats intelligents. Ce test mesure l'efficacité des systèmes d'IA dans la gestion des failles de sécurité importantes dans ce domaine.

KinDER : un benchmark de raisonnement physique pour l'apprentissage et la planification robotique

Une équipe de chercheurs en robotique vient de publier KinDER (Kinematic and Dynamic Embodied Reasoning), un nouveau benchmark conçu pour évaluer la capacité des systèmes robotiques à raisonner sur les contraintes physiques du monde réel. Présenté sur arXiv, le projet propose 25 environnements générés de façon procédurale, une bibliothèque Python compatible avec l'interface Gymnasium, et une suite d'évaluation standardisée incluant 13 méthodes de référence. Ces méthodes couvrent quatre grandes familles d'approches : la planification de tâches et de mouvements, l'apprentissage par imitation, le reinforcement learning et les systèmes basés sur des modèles de fondation comme les grands modèles de langage. Les environnements ciblent cinq défis spécifiques : les relations spatiales de base, la manipulation d'objets sans préhension directe, l'utilisation d'outils, les contraintes géométriques combinatoires et les contraintes dynamiques. Les résultats empiriques sont sans appel : les méthodes actuelles échouent sur une grande partie des environnements proposés, révélant des lacunes profondes dans la façon dont les robots comprennent et anticipent les interactions physiques. C'est un signal fort pour la communauté, car la plupart des benchmarks existants mélangent raisonnement physique, compréhension du langage et perception visuelle, rendant difficile l'identification précise des points de blocage. KinDER isole délibérément ces cinq dimensions pour mesurer séparément chaque capacité. Les chercheurs ont également mené des expériences de transfert simulation-réalité sur un robot manipulateur mobile, confirmant que les comportements observés en simulation correspondent bien à ceux du monde physique. La robotique souffre depuis longtemps d'un manque de benchmarks rigoureux et comparables entre paradigmes d'apprentissage. Le succès des grands modèles de langage a relancé l'intérêt pour les agents physiques capables de raisonner sur leur environnement, mais les outils d'évaluation n'ont pas suivi le rythme. KinDER vient combler ce vide en offrant un terrain de jeu commun, entièrement open-source, qui permet enfin de comparer équitablement des approches aussi différentes que le reinforcement learning classique et les modèles de fondation multimodaux. À mesure que la robotique généraliste monte en puissance, ce type d'infrastructure d'évaluation deviendra un outil central pour orienter les investissements de recherche et repérer les vrais progrès.

Un nouveau benchmark pour évaluer les agents IA de santé destinés aux patients

Nouveau benchmark, PatientAgentBench, pour évaluer les IA médicales tournées vers le patient (chiffres clés, etc.) Anthropic a présenté PatientAgentBench, un nouveau standard d'évaluation conçu spécifiquement pour les agents IA qui interagissent directement avec les patients, comme la prise de rendez-vous, la gestion des ordonnances ou le tri des symptômes. Contrairement aux benchmarks existants, qui testent soit les connaissances médicales statiques (questions d'examens, échanges ponctuels destinés aux cliniciens), soit des tâches techniques réservées aux professionnels de santé, PatientAgentBench simule des conversations multitours réalistes entre un agent IA et un patient virtuel. Le système génère un dossier médical synthétique, un scénario clinique dérivé de ce dossier, puis un agent patient qui converse avec l'IA de santé évaluée, laquelle doit collecter les bonnes informations, raisonner sur le dossier, déterminer le niveau de soins approprié et exécuter correctement les démarches cliniques. Un jury composé de plusieurs modèles de langage note ensuite chaque conversation selon plus de 100 critères validés par des cliniciens, répartis en six dimensions : sécurité clinique, qualité du tri, précision du parcours de soins, réussite de la tâche, utilité clinique et qualité conversationnelle. Cette approche répond à un problème identifié dans les évaluations précédentes de l'IA en santé, jugées trop rigides et vulnérables à la contamination des données d'entraînement. Les benchmarks classiques reposent en effet sur des grilles rédigées au cas par cas par des médecins pour un jeu de conversations figé, qui ne se généralisent pas à de nouveaux agents et qui, une fois publiées, finissent par être apprises par cœur par les modèles lors de leur entraînement, ce qui gonfle artificiellement les scores sans refléter une vraie capacité de raisonnement. Avec des critères réutilisables et une génération de scénarios renouvelée à chaque évaluation, PatientAgentBench limite ce risque de mémorisation et peut s'étendre à de nouveaux domaines cliniques, de nouvelles populations de patients et de nouveaux modèles sans nécessiter à chaque fois une nouvelle annotation médicale. Pour l'industrie, l'enjeu est de taille : à mesure que les agents IA passent du simple rôle de conseiller à celui d'exécutant de tâches médicales concrètes pour le compte des patients, il devient crucial de disposer d'outils fiables pour vérifier qu'ils respectent les mêmes garde-fous que ceux appliqués en médecine de premier recours contre les erreurs de diagnostic, les usages dangereux de médicaments ou les ruptures de suivi. Le projet s'inscrit dans un contexte plus large où les grands modèles de langage, même les plus performants, montrent encore des limites significatives dans la gestion de situations cliniques sensibles impliquant plusieurs tours de dialogue et des décisions d'escalade. Anthropic indique que des cliniciens licenciés ont validé les scénarios et les critères du benchmark, et que les premiers résultats obtenus avec PatientAgentBench doivent permettre d'orienter la conception d'agents de santé plus sûrs. En publiant ce standard de manière reproductible, l'entreprise cherche à établir une référence commune pour l'ensemble du secteur, à un moment où plusieurs acteurs de la tech et de la santé développent en parallèle des assistants IA destinés à interagir directement avec les patients, sans toujours disposer de méthodes rigoureuses pour en mesurer la sécurité réelle avant déploiement.

💬 Bon, PatientAgentBench, ça change enfin la donne sur un point précis : jusqu'ici on évaluait des IA de santé sur des QCM figés qu'elles finissaient par apprendre par cœur, pas sur leur capacité à gérer une vraie conversation avec un patient qui panique ou qui ment sur ses symptômes. Le vrai apport, c'est que les critères sont réutilisables et les scénarios régénérés à chaque test, donc ça limite la triche par mémorisation, ce qui manquait cruellement au secteur. Reste que c'est un jury de LLM qui note d'autres LLM, donc avant de le prendre pour argent comptant en prod sur du triage réel, faut voir ce que ça donne sur des cas limites que même les cliniciens débattent entre eux.