OutilsAWS ML Blog6sem

Strands Evals : simuler des utilisateurs réalistes pour évaluer les agents IA multi-tours

Résumé IASource uniqueImpact UE

Amazon a publié dans son SDK Strands Evaluations une fonctionnalité appelée ActorSimulator, destinée à automatiser l'évaluation des agents IA dans des conversations multi-tours. Contrairement aux tests à tour unique — où l'on fournit une entrée, on collecte une sortie et on juge le résultat — les interactions réelles s'étendent sur plusieurs échanges : l'utilisateur pose des questions de suivi, change de direction ou exprime sa frustration face à des réponses incomplètes. Un assistant de voyage qui gère correctement "Réserve-moi un vol pour Paris" peut échouer lorsque le même utilisateur enchaîne avec "En fait, peut-on regarder les trains ?" ou "Qu'en est-il des hôtels près de la tour Eiffel ?". L'ActorSimulator permet de générer des utilisateurs simulés avec des personas structurés et des objectifs définis, puis de les laisser converser naturellement avec un agent sur plusieurs tours, à grande échelle.

L'enjeu est considérable pour les équipes qui développent des agents conversationnels en production. Conduire manuellement des centaines de conversations multi-tours à chaque modification d'un agent est insoutenable, et les jeux de données statiques d'entrées/sorties ne capturent pas la dynamique réelle : la "bonne" prochaine question de l'utilisateur dépend entièrement de ce que l'agent vient de répondre. Les approches artisanales consistant à demander à un LLM de "jouer l'utilisateur" sans définition structurée du persona produisent des résultats incohérents d'une exécution à l'autre, rendant impossible la détection fiable de régressions. L'ActorSimulator répond à ce problème en combinant le réalisme d'une conversation humaine avec la reproductibilité et l'échelle des tests automatisés.

Ce développement s'inscrit dans une tendance plus large de l'industrie à professionnaliser l'évaluation des agents IA, à mesure que ceux-ci quittent les démos pour entrer dans des usages critiques. AWS positionne Strands Evaluations comme une infrastructure d'évaluation systématique, comparable aux simulateurs de vol ou aux moteurs de jeu qui testent des millions de comportements avant déploiement. La difficulté fondamentale réside dans la croissance combinatoire des chemins de conversation : plus les capacités d'un agent s'étoffent, plus le nombre de scénarios possibles explose au-delà de ce que des équipes humaines peuvent explorer. En permettant la simulation structurée de personas avec des objectifs explicites et un suivi de progression, Strands Evals vise à offrir aux équipes d'évaluation un outil comparable à ce que les testeurs de logiciels ont dans d'autres disciplines d'ingénierie, avec des résultats comparables dans le temps.

Dans nos dossiers

Agents IA

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

1AWS ML Blog

Évaluer les agents IA pour la production : un guide pratique de Strands Evals

Évaluer des agents IA en production est fondamentalement différent des tests logiciels classiques : les agents produisent des sorties non déterministes, prennent des décisions contextuelles et opèrent sur plusieurs tours de conversation. Strands Evals est un framework structuré conçu pour l'Agents SDK de Strands, qui utilise des LLMs comme évaluateurs pour mesurer des critères qualitatifs comme la pertinence, la cohérence et la fidélité aux sources. Il propose des évaluateurs intégrés, des outils de simulation multi-tours et des capacités de reporting pour suivre la qualité des agents de façon rigoureuse et reproductible.

OutilsOutil

1 source

2AWS ML Blog

Simulateur d'outils : tests à grande échelle pour agents IA

Amazon Web Services a lancé ToolSimulator, un framework de simulation d'outils propulsé par des LLM, intégré au SDK Strands Evals. Disponible dès maintenant, cet outil permet aux développeurs de tester en profondeur les agents IA qui dépendent d'API externes, de bases de données ou de services MCP, sans jamais déclencher d'appels réels. Concrètement, un développeur qui teste un agent de réservation de vols peut simuler des recherches, des confirmations et des annulations avec des données réalistes et cohérentes, sans envoyer de vraie requête à une compagnie aérienne. L'installation se résume à une commande pip install strands-evals, et aucun compte AWS n'est requis pour exécuter les simulations localement. L'enjeu est considérable pour les équipes qui industrialisent des agents IA. Tester contre des API en production expose des données personnelles, risque de déclencher des actions irréversibles comme l'envoi d'e-mails ou la modification de bases de données, et se heurte aux limites de débit qui rendent impraticable le passage à l'échelle sur des centaines de scénarios de test. Les mocks statiques, l'alternative habituelle, s'avèrent insuffisants dès qu'un agent enchaîne plusieurs appels dont le deuxième dépend de l'état laissé par le premier. ToolSimulator résout ce problème en maintenant un état partagé cohérent entre les appels successifs : une écriture affecte les lectures suivantes, exactement comme dans un système réel. Les schémas de réponse peuvent être imposés via des modèles Pydantic, ce qui garantit la validité structurelle des sorties simulées et permet de détecter les bugs d'intégration tôt dans le cycle de développement. Ce lancement s'inscrit dans la montée en maturité de l'outillage autour des agents IA autonomes, un segment en pleine explosion depuis l'essor des modèles capables d'utiliser des outils externes. AWS positionne Strands Evals comme une réponse aux besoins des équipes qui passent du prototype à la production : l'absence de cadre de test robuste est aujourd'hui l'un des principaux freins à ce passage. ToolSimulator rejoint un écosystème d'évaluation d'agents qui comprend déjà des solutions comme LangSmith d'Anthropic ou les environnements de sandbox d'OpenAI, mais mise sur l'intégration native avec le SDK Strands et la génération adaptative de réponses par LLM plutôt que sur des templates figés. La prochaine étape naturelle sera d'étendre ces capacités aux workflows MCP complexes et aux agents multi-modaux, à mesure que les cas d'usage en production se diversifient.

OutilsOutil

1 source

3MarkTechPost

Implémenter avec Memori une mémoire persistante pour agents LLM multi-utilisateurs et multi-sessions

Memori s'impose comme une couche d'infrastructure mémoire native pour les agents LLM, permettant aux applications d'intelligence artificielle de conserver et d'isoler le contexte utilisateur à travers plusieurs sessions et identités. Un tutoriel publié cette semaine détaille son implémentation concrète dans un environnement Google Colab, en connectant Memori à des clients OpenAI synchrones et asynchrones via le modèle gpt-4o-mini. La bibliothèque, disponible dès la version 3.3.0, s'installe en quelques lignes aux côtés du SDK OpenAI et de Nest AsyncIO. Le principe central repose sur l'enregistrement des clients LLM auprès de Memori, qui intercepte alors automatiquement chaque appel de complétion pour y injecter ou y stocker des informations contextuelles. L'attribution de la mémoire se fait par paire entity\id et process\id : deux paramètres qui définissent à quel utilisateur et à quel rôle d'agent appartient chaque fragment d'information. Ce mécanisme résout un problème fondamental des applications LLM actuelles : l'amnésie entre les sessions. Sans infrastructure mémoire, chaque conversation repart de zéro, forçant l'utilisateur à répéter son contexte à chaque interaction. Avec Memori, un assistant personnel se souvient qu'Alice est allergique aux cacahuètes, aime la cuisine italienne et pratique la randonnée, même si la session a été fermée puis rouverte. Plus crucial encore, le système garantit l'isolation des données entre utilisateurs : les informations de Bob, développeur Rust basé à Berlin et végétarien, ne fuient pas dans la mémoire d'Alice, et inversement. Cette séparation multi-tenant est essentielle pour tout service IA destiné à plusieurs clients ou utilisateurs distincts, que ce soit un chatbot de support client, un assistant professionnel ou une application grand public. Le tutoriel illustre également des cas d'usage plus avancés : réponses en streaming, appels asynchrones et simulation d'un agent de support client multi-tours, autant de scénarios qui testent la robustesse de la couche mémoire dans des conditions proches de la production. Memori propose un niveau gratuit avec limitation de débit, ainsi qu'un accès authentifié via clé API pour les usages intensifs. Cette approche s'inscrit dans une tendance plus large de l'écosystème IA : doter les agents de capacités de persistance et de personnalisation sans que les développeurs aient à construire eux-mêmes des systèmes de stockage et de récupération vectorielle. Des projets comme LangMem, Zep ou MemGPT explorent le même territoire, mais Memori mise sur une intégration transparente via simple enregistrement du client OpenAI, réduisant la friction d'adoption pour les équipes déjà familiarisées avec le SDK standard d'OpenAI.

OutilsOutil

1 source

4AWS ML Blog

Créer des agents Strands avec les modèles SageMaker AI et MLflow

Amazon Web Services a publié un guide technique détaillant la construction d'agents d'intelligence artificielle en combinant trois de ses outils : le SDK open source Strands Agents, les endpoints de modèles Amazon SageMaker AI, et la plateforme d'observabilité MLflow hébergée sur SageMaker Serverless. Le SDK Strands, à approche pilotée par le modèle, permet de créer un agent fonctionnel en quelques lignes de code en associant un modèle de langage, un prompt système et un ensemble d'outils. Les modèles sont déployés via SageMaker JumpStart, un hub machine learning qui permet d'évaluer et de sélectionner rapidement des modèles de fondation selon des critères de qualité et de responsabilité prédéfinis. L'intégration de MLflow permet ensuite de tracer les appels d'agents, de versionner les modèles et d'implémenter des tests A/B entre plusieurs variantes de modèles pour en évaluer les performances à l'aide de métriques objectives. Cette architecture répond à un besoin concret des grandes entreprises qui ne peuvent pas se contenter des services de modèles entièrement gérés : contrôle précis sur les instances de calcul, politiques de mise à l'échelle, configuration réseau compatible avec les architectures de sécurité existantes, et conformité en matière de résidence des données. Là où Amazon Bedrock simplifie l'accès aux modèles de fondation en masquant l'infrastructure, SageMaker AI laisse à l'organisation la maîtrise de l'endroit et de la manière dont l'inférence se produit, ce qui est décisif pour les secteurs réglementés comme la finance ou la santé. La couche MLflow ajoute une dimension industrielle : les équipes peuvent comparer les performances de différents modèles dans des conditions réelles, réduire les coûts en sélectionnant le modèle le plus efficace pour chaque tâche, et maintenir un historique d'expériences exploitable dans le temps. La publication de ce guide s'inscrit dans une course plus large pour capter les déploiements d'agents IA en production. AWS répond ainsi à la demande croissante des équipes MLOps qui veulent bénéficier de la commodité du cloud tout en conservant une maîtrise fine de l'infrastructure, une position souvent impossible avec les APIs gérées de type Bedrock ou OpenAI. Strands Agents, rendu open source par Amazon, concurrence directement des frameworks comme LangChain ou CrewAI, avec l'avantage d'une intégration native dans l'écosystème AWS. L'accent mis sur les tests A/B et l'évaluation continue des agents signale que le secteur entre dans une phase de maturité : il ne s'agit plus seulement de faire fonctionner un agent, mais de le mesurer, le comparer, et l'améliorer de façon systématique en production.

UECette architecture de déploiement d'agents avec contrôle fin sur la résidence des données répond aux exigences du RGPD, la rendant pertinente pour les secteurs réglementés européens comme la finance et la santé.

OutilsOutil

1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour