Métrique d'évaluation des agents pour les conversations multi-tours
Une nouvelle méthode d'évaluation des agents conversationnels multi-tours, baptisée AEM (Agent Evaluation Metric), a été présentée pour résoudre un problème précis : dans une conversation à plusieurs échanges avec un agent IA, une seule erreur commise tôt peut se propager silencieusement dans tous les tours suivants sans que les métriques classiques ne le détectent. L'exemple donné est celui d'un assistant d'entreprise chargé de générer un rapport de ventes sur cinq tours d'échange : au deuxième tour, l'agent choisit la bonne action mais utilise le paramètre "profit" au lieu de "revenu". Cette erreur unique contamine ensuite silencieusement les tours 3, 4 et 5. Une évaluation classique, qui ne juge que le résultat final, marquerait l'ensemble de l'interaction comme un échec, sans jamais révéler qu'un seul tour est fautif. AEM, à l'inverse, décompose la qualité en sous-métriques nommées et mesurables indépendamment à chaque tour, ce qui permet d'isoler la cause racine des effets qui en découlent. Pour cette première version, AEM mesure la dimension "correction" via deux sous-métriques : la véracité (truthfulness), qui vérifie si les valeurs produites par l'agent, que ce soit dans les paramètres d'appels d'outils ou dans les réponses en langage naturel, correspondent aux faits attendus, et la complétude (completeness), qui vérifie qu'aucun élément requis ni aucun paramètre n'est manquant.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de AWS ML Blog. Lire l'article original →
Cette approche répond à une limite bien identifiée des outils d'évaluation existants, qui notent la qualité de façon globale, au niveau de la tâche ou de la réponse entière, via des scores de complétion d'objectif ou des évaluations par un modèle-juge (LLM-as-judge). Savoir qu'un agent a "réussi à 70 %" son objectif ne dit rien sur la nature du problème : erreur factuelle, information manquante ou mauvais choix d'outil. Pour les équipes qui déploient des agents conversationnels en production, notamment dans des contextes d'entreprise où les tâches s'enchaînent sur plusieurs tours, cette granularité change la manière de déboguer et de corriger les systèmes, en identifiant précisément quel tour et quel type d'erreur doit être traité, plutôt que de reprendre l'ensemble de la conversation.
Le constat de départ est que les métriques existantes souffrent de trois angles morts : les métriques au niveau de la tâche indiquent si l'objectif est atteint mais pas quelle dimension de qualité a échoué, les métriques à tour unique évaluent chaque réponse isolément sans tenir compte de la propagation des erreurs, et les scores globaux ne permettent pas de distinguer une erreur factuelle d'un champ manquant. Les concepteurs d'AEM présentent la correction comme la première dimension d'un indicateur composite appelé à s'étendre à d'autres axes, comme la sécurité ou la rétention des instructions, sans nécessiter de refonte de la méthode d'évaluation.
Pas d'impact direct sur la France/UE