UAEF : un système indépendant des frameworks pour évaluer les agents d'IA en boucle fermée
Les équipes qui développent des agents d'IA sur AWS utilisent des frameworks variés, dont LangGraph, LangChain, Strands Agents et Amazon Bedrock AgentCore, et chacun enregistre l'exécution d'un agent à sa manière : la structure des messages, des appels d'outils et des transferts entre agents diffère d'un outil à l'autre. AWS présente le Universal Agent Evaluation Framework (UAEF), un système d'évaluation indépendant du framework. Des clients de 12 organisations, issues des secteurs des télécoms, de la santé et des services financiers, l'ont déjà employé pour évaluer leurs agents avec un jeu de métriques unique et comparer les versions avant leur mise en production. UAEF reçoit un agent et un jeu de données, qui peut inclure des réponses de référence et, pour juger les appels d'outils, la liste attendue des outils, de leur ordre et de leurs arguments. Un adaptateur convertit d'abord l'exécution native en une trace canonique, l'AgentTrace. Le système masque ensuite les informations personnelles (adresses e-mail, numéros de téléphone, cartes bancaires) avant tout stockage, puis note la trace avec 36 métriques réparties sur 7 dimensions. Les résultats sont enregistrés comme des expériences dans Amazon DynamoDB, qui garde les métadonnées, et Amazon S3, qui conserve les résultats complets.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de AWS ML Blog. Lire l'article original →
L'enjeu est de pouvoir répondre simplement à une question de base du développement : une modification du prompt, du modèle ou des outils a-t-elle réellement amélioré l'agent ? Sans métriques cohérentes d'une version à l'autre et sans historique partagé, les équipes doivent reconstruire leurs outils de mesure à chaque changement de framework, ou quand elles font tourner des agents sur plusieurs plateformes. UAEF permet de comparer une version à une référence, de détecter les régressions et de produire des rapports expliquant ce qui a changé et pourquoi. La qualité d'un agent ne se résume en outre pas à un score de justesse : les sept dimensions couvrent l'appel d'outils, la qualité des réponses, l'IA responsable, la performance, les conversations à plusieurs tours, la coordination entre agents et le raisonnement. Pour des secteurs réglementés comme la santé et la finance, la détection systématique des données personnelles avant stockage répond de plus à une contrainte concrète.
Cette approche s'inscrit dans le morcellement actuel de l'écosystème des agents, où l'outillage d'évaluation suit souvent les frontières de chaque framework, ce qui enferme les équipes dans un format de trace unique. Les adaptateurs de UAEF visent à lever cette dépendance : ils lisent des agents exécutés en local, derrière un point d'accès HTTP ou sur un runtime géré comme Amazon Bedrock AgentCore, avec des traces stockées dans Langfuse ou non capturées du tout, et produisent toujours la même trace. Une trace existante, issue d'une exécution passée, d'un journal ou d'un outil d'observabilité, peut aussi être soumise et normalisée par l'adaptateur correspondant. Le cycle décrit par AWS est fermé : évaluer l'agent, identifier ce qui a régressé ou progressé, modifier le prompt, le modèle ou les outils, puis réévaluer. AWS accompagne cette présentation d'un guide pour choisir les métriques et préparer les jeux de données, ainsi que de notebooks exécutables pour chaque framework pris en charge.
Les équipes européennes de secteurs réglementés comme la santé et la finance peuvent évaluer leurs agents avec masquage des données personnelles avant stockage, utile pour la conformité au RGPD.