Créez une suite de tests évolutive pour votre agent avec la gestion de datasets dans Amazon Bedrock AgentCore

Amazon a annoncé une fonctionnalité de gestion de jeux de données dans Amazon Bedrock AgentCore, conçue pour stabiliser l'évaluation des agents d'intelligence artificielle. Le principe repose sur la constitution de jeux de tests versionnés : chaque scénario contient une entrée, une sortie attendue, des assertions à vérifier et la séquence d'outils que l'agent doit appeler. Ces jeux de données sont d'abord éditables dans un état brouillon, puis publiés en versions numérotées immuables. Une fois verrouillée, une version ne peut plus changer, ce qui garantit que deux évaluations successives comparent exactement les mêmes entrées. Lorsqu'un bug survient en production, la trace fautive est capturée et intégrée définitivement au jeu de test, de sorte que toute modification future de l'agent sera systématiquement confrontée à ce cas limite.

L'enjeu est de taille parce que les agents LLM sont non-déterministes par nature : la même requête peut produire des réponses différentes d'une exécution à l'autre. Sans entrées stables, il est impossible de distinguer une vraie amélioration de l'agent d'une simple variation statistique du modèle. Par ailleurs, un juge LLM peut apprécier si une réponse semble pertinente, mais il ne peut pas vérifier si un cours boursier est exact, si une séquence d'appels d'outils s'est déroulée dans le bon ordre, ou si des données personnelles ont fuité entre deux sessions. Seule la vérité terrain, c'est-à-dire la réponse attendue et les assertions explicites, transforme un score subjectif en mesure vérifiable. C'est précisément ce que les datasets versionnés apportent : stabilité des inputs et ancrage dans le réel.

La fonctionnalité répond à deux cycles de travail distincts dans le développement d'agents. Le premier est la boucle courte du développeur, qui modifie un outil, relance une évaluation et observe le score en quelques minutes : sans jeu de tests stable en dessous, une amélioration du score peut simplement signifier que les questions sont devenues plus faciles. Le second est la pipeline CI/CD, qui doit valider chaque changement avant déploiement. La plupart des équipes ont ce verrou, mais peu disposent d'un socle de scénarios versionnés avec assertions explicites, ce qui signifie qu'un pipeline peut valider une build simplement parce que les questions ont changé, ratant les régressions réelles. En ancrant les deux boucles sur le même dataset publié, Amazon Bedrock AgentCore vise à faire du score qui convainc le développeur en local le même score que celui que surveille la CI en production.