Renforcer la confiance dans les agents IA : un cadre d'évaluation prêt pour la production avec Amazon Bedrock AgentCore
Une équipe d'AWS, la division Sales, Marketing and Global Services (SMGS) Operations, détaille le cadre d'évaluation continue qu'elle a construit avec Amazon Bedrock AgentCore pour fiabiliser un système multi-agents en production. Accessible depuis Amazon Quick, il permet aux commerciaux et aux dirigeants d'AWS de poser en langage naturel des questions métier. Plusieurs sous-agents se partagent le travail : le Performance Insights Agent pour les revenus et performances par territoire, le Customer Insights Agent pour les données clients, le Data Insights Agent qui traduit le texte en SQL sur les jeux de données de référence, et un accès direct aux tableaux de bord. Les réponses respectent le territoire et le niveau de sécurité de chaque utilisateur. Avant le lancement, l'évaluation du Customer Insights Agent a révélé des erreurs graves : 410,08 dollars de revenus sur trois mois affichés comme « 410,08 millions », un chiffre d'affaires étiqueté à tort comme hors ajustements, une estimation de revenu récurrent annuel absente des données, et des calculs maison présentés comme des faits sourcés. Pendant ce temps, la supervision restait au vert.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de AWS ML Blog. Lire l'article original →
L'enjeu dépasse la simple panne. Un agent échoue en douceur : il livre une réponse fluide, assurée et fausse, que rien ne signale. Les équipes terrain s'en servent pour bâtir leur stratégie de compte et préparer leurs rendez-vous clients, et un vendeur qui répète un chiffre gonflé perd en crédibilité auprès du client. Pour la direction, le même système alimente les Weekly Business Reviews, en évitant la préparation manuelle de rapports. La surveillance classique indique seulement que le système a répondu, pas que la réponse est juste. Le cadre doit donc établir si les réponses sont ancrées et correctes, et remonter chaque défaillance à sa cause : les données, le prompt ou le code de l'agent.
Le risque s'aggrave à chaque nouvel agent et à chaque modification des données, des prompts, du code ou des modèles. Il existe même sans aucune livraison, puisque les pipelines en amont rafraîchissent les données chaque semaine. Les versions coordonnées posent un risque voisin : si une évolution des données, un changement d'outil et une mise à jour de prompt censés partir ensemble arrivent séparément, le système tourne un temps en configuration incohérente. Lors d'un test de préproduction, cette seule fenêtre a fait chuter le taux de réussite de 78 % à 38 %. La thèse des auteurs est que les équipes qui réussiront l'ère des agents seront celles qui traitent la qualité comme le système d'exploitation de l'agent, mesurée en continu, défendue automatiquement et améliorée à chaque interaction, plutôt que comme une étape finale d'assurance qualité. Le texte fourni s'interrompt avant la description détaillée de l'architecture d'évaluation, mais il pose le principe d'une boucle de qualité continue, appliquée avant chaque livraison puis en production, pour chaque sous-agent et chaque flux de travail.
Pas d'impact direct sur la France/UE
410,08 dollars devenus « 410,08 millions » pendant que le monitoring restait au vert : un agent ne plante pas, il se trompe avec aplomb, et c'est ce qui rend la supervision classique inutile. Selon Le Fil IA, on ne juge plus la fiabilité d'un agent à sa disponibilité mais à l'exactitude de chaque réponse, mesurée en continu, y compris les semaines où personne n'a rien livré. Le chiffre qui m'a scotché, c'est 78 % à 38 % de réussite juste parce que data, outil et prompt sont arrivés en décalé. Bon, il manque l'archi détaillée, mais le principe est le bon.