Évaluer les agents IA en pratique : benchmarks,…

38

1AWS ML Blog

Évaluer les agents IA pour la production : un guide pratique de Strands Evals

Le passage des agents IA du prototype à la production soulève un défi fondamental : comment évaluer de manière systématique des systèmes qui, par nature, ne produisent pas de résultats déterministes ? Strands Evals, un framework d'évaluation développé pour le Strands Agents SDK, apporte une réponse structurée à cette question en combinant évaluateurs automatisés, simulation de conversations multi-tours et outils de reporting. L'enjeu est de taille pour le secteur. Les tests logiciels traditionnels reposent sur un principe simple : même entrée, même sortie attendue. Les agents IA brisent cette règle fondamentale. Un agent peut répondre à la question "Quel temps fait-il à Tokyo ?" de dizaines de façons différentes, en Celsius ou en Fahrenheit, avec ou sans humidité, et toutes peuvent être correctes. S'y ajoutent les interactions multi-tours où le contexte s'accumule au fil de la conversation, et les appels d'outils dont la pertinence doit elle aussi être évaluée, indépendamment de la réponse finale. Strands Evals structure cette évaluation autour de trois concepts centraux : les Cases (scénarios de test unitaires, contenant l'entrée, la sortie attendue et la séquence d'outils prévue appelée trajectory), les Experiments (regroupements de cases avec leurs évaluateurs associés, analogues aux suites de tests), et les Evaluators eux-mêmes. Pour dépasser les limites de la comparaison mécanique de mots-clés, le framework s'appuie sur des modèles de langage (LLM) comme évaluateurs, capables de juger des dimensions qualitatives comme l'utilité, la cohérence ou la fidélité aux sources. Cette approche marque une évolution significative dans la manière dont les équipes d'ingénierie peuvent industrialiser le déploiement d'agents IA. En fournissant une infrastructure de mesure répétable et traçable, Strands Evals ouvre la voie à des pipelines d'intégration continue adaptés aux systèmes non déterministes, un prérequis pour tout passage à l'échelle en production.

OutilsOutil

1 source

« Évaluer les agents IA : un modèle de production avec Strands et AgentCore »

39

2AWS ML Blog

« Évaluer les agents IA : un modèle de production avec Strands et AgentCore »

Motorway, une place de marché britannique de voitures d'occasion en ligne, organise chaque jour une enchère où jusqu'à 8 000 concessionnaires se disputent jusqu'à 2 500 véhicules. L'entreprise a collaboré avec l'équipe AWS Prototyping and AI Customer Engineering (PACE) pour développer un agent IA de recherche de stock destiné à ses concessionnaires, capable de remplacer des heures de filtrage manuel par de simples requêtes en langage naturel. Ensemble, elles ont construit un pipeline d'évaluation de bout en bout qui a fait chuter le taux de résultats erronés d'une requête sur huit à une sur cinquante, tout en réduisant le temps de détection des problèmes de plusieurs heures à quelques minutes seulement. L'agent repose sur le SDK Strands Agents combiné à Amazon Bedrock AgentCore, le service entièrement géré d'AWS pour déployer et exploiter des agents IA à grande échelle. Il expose huit outils associant un filtrage structuré sur plus de 89 attributs de véhicules à une recherche par similarité vectorielle, propulsée par la base LanceDB et les embeddings Amazon Titan Text Embeddings V2. Un concessionnaire peut désormais demander « des SUV diesel à moins de 25 000 livres près de mon site » ou « quelque chose de sportif et automatique pour une famille », plutôt que de parcourir des fichiers CSV et des filtres rigides pendant des heures. Le système absorbe environ 1 500 utilisateurs simultanés aux heures de pointe. Cette fiabilité n'est pas un détail cosmétique : de l'argent réel est en jeu à chaque enchère. Une erreur de sélection d'outil par l'agent renvoie de mauvais résultats et érode la confiance des concessionnaires ; une mauvaise interprétation sémantique fait remonter des annonces hors sujet ; une dérive du contexte au fil d'une conversation à plusieurs tours fait perdre les critères affinés par l'utilisateur ; et la nature non déterministe des réponses rend les tests à essai unique peu fiables. Une requête aussi banale que « voitures essence, hybrides et électriques de moins de cinq ans » exige déjà que l'agent interprète correctement plusieurs contraintes combinées. Sans méthode d'évaluation rigoureuse, ces failles restent invisibles jusqu'à ce qu'un concessionnaire tombe sur un résultat absurde, avec un impact direct sur la confiance et, potentiellement, sur les transactions. AWS a publié un dépôt compagnon documentant une méthodologie transposable à d'autres agents, au-delà de son propre écosystème. Elle repose sur une évaluation en deux temps : des tests réalisés en amont du déploiement avec la bibliothèque open source strands-agents-evals, puis une surveillance en production via Amazon Bedrock AgentCore Evaluations. S'y ajoute un cadre à trois niveaux, évaluant l'usage des outils, le raisonnement et la qualité des réponses, ainsi qu'un pipeline de déploiement en cinq étapes doté de portes de qualité qui bloquent une mise en production si les métriques passent sous un seuil défini, notamment via l'indicateur pass^k mesurant la constance des réponses. Le déploiement initial prend de 30 à 45 minutes, son adaptation à un autre domaine deux à trois heures, pour un coût d'environ 5 à 10 dollars de calcul via Bedrock. Le dépôt applique par ailleurs des rôles IAM à privilèges minimaux et stocke les clés API dans AWS Systems Manager Parameter Store plutôt que dans des variables d'environnement.

OutilsActu

1 source

Vercel lance Eve, un framework open source pour créer des agents IA

48

3InfoQ AI

Vercel lance Eve, un framework open source pour créer des agents IA

Vercel a lancé Eve, un framework open-source conçu pour construire, déployer et opérer des agents IA en production. Présenté par la plateforme américaine spécialisée dans le déploiement frontend, Eve repose sur une structure de projet basée sur le système de fichiers pour organiser les différents composants d'un agent : instructions, outils, compétences, sous-agents, canaux de communication et tâches planifiées. Les développeurs peuvent ainsi définir le comportement de leurs agents de manière déclarative, sans avoir à écrire l'intégralité de la plomberie technique sous-jacente. L'enjeu est significatif pour les équipes d'ingénierie qui peinent à passer de la phase de prototype à la mise en production d'agents IA fiables. En standardisant la structure d'un projet agentique, Eve réduit la quantité d'infrastructure à implémenter manuellement, un frein majeur à l'adoption en entreprise. Pour Vercel, cela représente aussi un moyen naturel d'ancrer l'exécution des agents sur sa propre plateforme cloud, transformant un outil open-source en point d'entrée vers ses services commerciaux. La sortie d'Eve s'inscrit dans une course effrénée entre fournisseurs d'infrastructure pour capter les workloads IA. Des acteurs comme AWS, Google Cloud et des startups spécialisées comme LangChain ou CrewAI proposent déjà des solutions concurrentes pour orchestrer des agents. Vercel, dont la réputation s'est construite sur la simplicité de déploiement pour les applications Next.js, tente de répliquer cette expérience développeur dans l'univers des agents autonomes, un marché en pleine structuration où la facilité d'usage restera un avantage décisif.

UELes équipes de développement européennes peuvent adopter Eve pour accélérer la mise en production d'agents IA, mais l'exécution reste ancrée sur l'infrastructure cloud américaine de Vercel.

OutilsOutil

1 source

Évaluation systématique des agents IA avec Agent-EvalKit

39

4AWS ML Blog

Évaluation systématique des agents IA avec Agent-EvalKit

Agent-EvalKit est une boîte à outils open source (licence Apache 2.0) conçue pour évaluer les agents IA de manière systématique, en s'intégrant directement dans les assistants de codage comme Claude Code, Kiro CLI ou Kilo Code. Plutôt que de fonctionner comme une plateforme externe, l'outil s'insère dans l'environnement de développement existant et pilote l'évaluation via des commandes slash telles que /evalkit.plan et /evalkit.data, accompagnées d'instructions en langage naturel. Le toolkit couvre six phases d'évaluation : lecture du code source de l'agent, génération de cas de test ciblés, exécution des évaluations, puis production d'un rapport avec des recommandations d'amélioration pointant vers des emplacements précis dans le code. Il a été conçu et démontré sur un agent de recherche de voyages construit avec le SDK Strands Agents et Amazon Bedrock. Ce type d'outil répond à un angle mort majeur dans le développement d'agents IA : les tests classiques basés sur la vérification des sorties ne suffisent pas. Un agent peut formuler une réponse bien structurée tout en halluciant des faits, parce que ses outils ont renvoyé des résultats vides. Il peut aussi atteindre la bonne conclusion en court-circuitant les étapes de vérification qui garantissent un processus fiable. Ces défaillances, invisibles dans la réponse finale, n'apparaissent qu'en traçant le chemin d'exécution complet : quels outils ont été appelés, quelles données ont été retournées, et si la réponse reflète fidèlement ces données. Agent-EvalKit combine des évaluateurs basés sur du code, rapides et reproductibles, avec des évaluateurs de type "LLM as judge", plus nuancés mais plus coûteux en inférence, pour couvrir trois dimensions distinctes : l'ancrage factuel dans les résultats des outils, la pertinence des appels d'outils, et la cohérence globale de la réponse. La difficulté d'évaluer les agents IA n'est pas nouvelle, mais elle s'est intensifiée à mesure que ces systèmes autonomes s'imposent dans des workflows professionnels critiques. La plupart des équipes ne disposent pas des ressources pour construire from scratch l'infrastructure nécessaire : cas de test avec vérité terrain, instrumentation d'observabilité pour capturer les appels intermédiaires, et métriques adaptées. Agent-EvalKit tente de démocratiser cet accès en faisant de l'assistant de codage l'interface centrale de l'évaluation, évitant ainsi la fragmentation entre outils de développement et outils de test post-déploiement. La vraie valeur revendiquée par le projet est de transformer des scores d'évaluation en recommandations concrètes au niveau du code, là où beaucoup d'efforts d'évaluation s'arrêtent à un tableau de bord de métriques sans suite actionnable.

OutilsOutil

1 source

Évaluer les agents IA en pratique : benchmarks, frameworks et leçons tirées de l'expérience

À lire aussi

Évaluer les agents IA pour la production : un guide pratique de Strands Evals

« Évaluer les agents IA : un modèle de production avec Strands et AgentCore »

Vercel lance Eve, un framework open source pour créer des agents IA

Évaluation systématique des agents IA avec Agent-EvalKit