Des agents IA en production pour la conformite financiere : les lecons de Stripe

Évaluer les agents IA pour la production : un guide pratique de Strands Evals

Le passage des agents IA du prototype à la production soulève un défi fondamental : comment évaluer de manière systématique des systèmes qui, par nature, ne produisent pas de résultats déterministes ? Strands Evals, un framework d'évaluation développé pour le Strands Agents SDK, apporte une réponse structurée à cette question en combinant évaluateurs automatisés, simulation de conversations multi-tours et outils de reporting. L'enjeu est de taille pour le secteur. Les tests logiciels traditionnels reposent sur un principe simple : même entrée, même sortie attendue. Les agents IA brisent cette règle fondamentale. Un agent peut répondre à la question "Quel temps fait-il à Tokyo ?" de dizaines de façons différentes, en Celsius ou en Fahrenheit, avec ou sans humidité, et toutes peuvent être correctes. S'y ajoutent les interactions multi-tours où le contexte s'accumule au fil de la conversation, et les appels d'outils dont la pertinence doit elle aussi être évaluée, indépendamment de la réponse finale. Strands Evals structure cette évaluation autour de trois concepts centraux : les Cases (scénarios de test unitaires, contenant l'entrée, la sortie attendue et la séquence d'outils prévue appelée trajectory), les Experiments (regroupements de cases avec leurs évaluateurs associés, analogues aux suites de tests), et les Evaluators eux-mêmes. Pour dépasser les limites de la comparaison mécanique de mots-clés, le framework s'appuie sur des modèles de langage (LLM) comme évaluateurs, capables de juger des dimensions qualitatives comme l'utilité, la cohérence ou la fidélité aux sources. Cette approche marque une évolution significative dans la manière dont les équipes d'ingénierie peuvent industrialiser le déploiement d'agents IA. En fournissant une infrastructure de mesure répétable et traçable, Strands Evals ouvre la voie à des pipelines d'intégration continue adaptés aux systèmes non déterministes, un prérequis pour tout passage à l'échelle en production.

Anthropic lance dix agents IA pour la finance, dans la course aux revenus avant introduction en bourse

Anthropic vient de lancer dix agents d'intelligence artificielle préconfigurés destinés au secteur financier, couvrant des tâches clés comme la recherche d'investissement, les vérifications de conformité et de risque, ainsi que la comptabilité financière. Ces modèles prêts à l'emploi s'adressent directement aux banques d'investissement, aux gestionnaires d'actifs et aux compagnies d'assurance, qui peuvent les déployer sans développement sur mesure. L'annonce s'inscrit dans une offensive commerciale accélérée de la startup californienne, valorisée à plus de 60 milliards de dollars après sa dernière levée de fonds. Ce lancement marque un pivot stratégique important : Anthropic ne se contente plus de vendre un accès brut à son modèle Claude, mais propose désormais des solutions verticales clés en main pour des secteurs à forte valeur ajoutée. Pour les institutions financières, l'enjeu est considérable, automatiser des processus jusqu'ici réservés à des équipes d'analystes coûteux représente des économies potentielles de plusieurs millions de dollars par an. La rapidité de traitement des données réglementaires et des rapports de risque pourrait également réduire les délais de conformité, un avantage concurrentiel direct. Ce mouvement s'explique aussi par la pression croissante sur Anthropic de démontrer une trajectoire de revenus solide en vue d'une éventuelle introduction en bourse. OpenAI suit une logique similaire en multipliant les offres entreprise et les partenariats sectoriels. Les deux acteurs se livrent désormais une bataille frontale pour capturer les budgets technologiques des grandes institutions financières mondiales, un marché estimé à plusieurs dizaines de milliards de dollars.

💬 Anthropic arrête de vendre de la farine et commence à vendre du pain. Dix agents préconfigurés pour la finance, c'est exactement ce que les DSI attendaient depuis deux ans, parce qu'une API brute ça demande des mois de dev interne avant de créer de la valeur. Reste à voir si ces agents tiennent vraiment face aux workflows réels des banques, ou si c'est un produit nickel en démo et chantier en prod.

« Évaluer les agents IA : un modèle de production avec Strands et AgentCore »

Motorway, une place de marché britannique de voitures d'occasion en ligne, organise chaque jour une enchère où jusqu'à 8 000 concessionnaires se disputent jusqu'à 2 500 véhicules. L'entreprise a collaboré avec l'équipe AWS Prototyping and AI Customer Engineering (PACE) pour développer un agent IA de recherche de stock destiné à ses concessionnaires, capable de remplacer des heures de filtrage manuel par de simples requêtes en langage naturel. Ensemble, elles ont construit un pipeline d'évaluation de bout en bout qui a fait chuter le taux de résultats erronés d'une requête sur huit à une sur cinquante, tout en réduisant le temps de détection des problèmes de plusieurs heures à quelques minutes seulement. L'agent repose sur le SDK Strands Agents combiné à Amazon Bedrock AgentCore, le service entièrement géré d'AWS pour déployer et exploiter des agents IA à grande échelle. Il expose huit outils associant un filtrage structuré sur plus de 89 attributs de véhicules à une recherche par similarité vectorielle, propulsée par la base LanceDB et les embeddings Amazon Titan Text Embeddings V2. Un concessionnaire peut désormais demander « des SUV diesel à moins de 25 000 livres près de mon site » ou « quelque chose de sportif et automatique pour une famille », plutôt que de parcourir des fichiers CSV et des filtres rigides pendant des heures. Le système absorbe environ 1 500 utilisateurs simultanés aux heures de pointe. Cette fiabilité n'est pas un détail cosmétique : de l'argent réel est en jeu à chaque enchère. Une erreur de sélection d'outil par l'agent renvoie de mauvais résultats et érode la confiance des concessionnaires ; une mauvaise interprétation sémantique fait remonter des annonces hors sujet ; une dérive du contexte au fil d'une conversation à plusieurs tours fait perdre les critères affinés par l'utilisateur ; et la nature non déterministe des réponses rend les tests à essai unique peu fiables. Une requête aussi banale que « voitures essence, hybrides et électriques de moins de cinq ans » exige déjà que l'agent interprète correctement plusieurs contraintes combinées. Sans méthode d'évaluation rigoureuse, ces failles restent invisibles jusqu'à ce qu'un concessionnaire tombe sur un résultat absurde, avec un impact direct sur la confiance et, potentiellement, sur les transactions. AWS a publié un dépôt compagnon documentant une méthodologie transposable à d'autres agents, au-delà de son propre écosystème. Elle repose sur une évaluation en deux temps : des tests réalisés en amont du déploiement avec la bibliothèque open source strands-agents-evals, puis une surveillance en production via Amazon Bedrock AgentCore Evaluations. S'y ajoute un cadre à trois niveaux, évaluant l'usage des outils, le raisonnement et la qualité des réponses, ainsi qu'un pipeline de déploiement en cinq étapes doté de portes de qualité qui bloquent une mise en production si les métriques passent sous un seuil défini, notamment via l'indicateur pass^k mesurant la constance des réponses. Le déploiement initial prend de 30 à 45 minutes, son adaptation à un autre domaine deux à trois heures, pour un coût d'environ 5 à 10 dollars de calcul via Bedrock. Le dépôt applique par ailleurs des rôles IAM à privilèges minimaux et stocke les clés API dans AWS Systems Manager Parameter Store plutôt que dans des variables d'environnement.

NVIDIA déploie des agents IA fiables pour les opérations télécoms en continu

NVIDIA présente cette semaine à Copenhague, lors du TM Forum DTW Ignite 2026, une plateforme d'autonomie pour les opérateurs télécom, réunissant plusieurs partenaires industriels majeurs autour d'agents d'intelligence artificielle capables de gérer des réseaux en continu et sans intervention humaine systématique. Parmi les partenaires impliqués figurent SoftBank Corp., Amdocs, NTT DATA et AdaptKey. Les briques technologiques démontrées incluent NVIDIA NeMo Safe Synthesizer et NeMo Anonymizer pour la génération de données synthétiques, ainsi que NemoClaw et OpenShell pour le déploiement sécurisé d'agents autonomes. SoftBank utilise ces outils pour constituer des jeux de données synthétiques qui reflètent la structure de ses données réseau réelles, sans exposer d'informations sensibles, afin d'entraîner un grand modèle télécom propriétaire. AdaptKey pilote des agents capables de détecter des problèmes de sécurité et de connectivité sur des réseaux 5G, puis de soumettre des demandes de correction auditables couvrant le coeur de réseau, le RAN et les systèmes de facturation. Amdocs, de son côté, déploie des agents proactifs pour la relation client, notamment pour détecter les abonnés dont le forfait itinérance approche de son plafond et leur proposer automatiquement des options validées par l'opérateur. Ce passage vers l'autonomie représente un saut qualitatif par rapport à l'automatisation classique, qui se limitait jusqu'ici à accélérer des étapes prédéfinies tout en laissant aux humains la corrélation des informations et les décisions. Les agents autonomes de nouvelle génération sont conçus pour tenir des tâches complexes de bout en bout, sous contraintes de niveaux de service, de politiques de changement et de réglementations strictes. Pour les opérateurs, cela signifie des réseaux capables de se réparer seuls, une relation client prise en charge en temps réel et des migrations de systèmes de facturation orchestrées intelligemment selon l'éligibilité de chaque compte client, sans mobiliser d'équipes entières pour chaque décision. Le chemin vers ces réseaux autonomes se heurtait jusqu'ici à un obstacle majeur : 54 % des opérateurs identifient les problèmes liés aux données comme leur principal frein, les données réseau et clients les plus précieuses étant trop sensibles pour alimenter directement les modèles d'IA. La génération de données synthétiques permet de contourner cette contrainte en produisant des datasets représentatifs sans exposer les enregistrements bruts. Par ailleurs, la question de la gouvernance reste centrale : les agents NemoClaw et OpenShell opèrent dans des environnements bac à sable, avec des garde-fous basés sur des politiques, pour garantir que leur comportement reste prévisible et auditable. La démonstration de Copenhague intervient dans un contexte où la course aux réseaux autonomes s'accélère, avec des enjeux considérables pour la fiabilité des infrastructures critiques et la capacité des opérateurs à proposer des services à valeur ajoutée pilotés par l'IA.