LangSmith sur AWS pour évaluer les agents LLM avancés

Strands Evals : simuler des utilisateurs réalistes pour évaluer les agents IA multi-tours

Amazon a publié dans son SDK Strands Evaluations une fonctionnalité appelée ActorSimulator, destinée à automatiser l'évaluation des agents IA dans des conversations multi-tours. Contrairement aux tests à tour unique — où l'on fournit une entrée, on collecte une sortie et on juge le résultat — les interactions réelles s'étendent sur plusieurs échanges : l'utilisateur pose des questions de suivi, change de direction ou exprime sa frustration face à des réponses incomplètes. Un assistant de voyage qui gère correctement "Réserve-moi un vol pour Paris" peut échouer lorsque le même utilisateur enchaîne avec "En fait, peut-on regarder les trains ?" ou "Qu'en est-il des hôtels près de la tour Eiffel ?". L'ActorSimulator permet de générer des utilisateurs simulés avec des personas structurés et des objectifs définis, puis de les laisser converser naturellement avec un agent sur plusieurs tours, à grande échelle. L'enjeu est considérable pour les équipes qui développent des agents conversationnels en production. Conduire manuellement des centaines de conversations multi-tours à chaque modification d'un agent est insoutenable, et les jeux de données statiques d'entrées/sorties ne capturent pas la dynamique réelle : la "bonne" prochaine question de l'utilisateur dépend entièrement de ce que l'agent vient de répondre. Les approches artisanales consistant à demander à un LLM de "jouer l'utilisateur" sans définition structurée du persona produisent des résultats incohérents d'une exécution à l'autre, rendant impossible la détection fiable de régressions. L'ActorSimulator répond à ce problème en combinant le réalisme d'une conversation humaine avec la reproductibilité et l'échelle des tests automatisés. Ce développement s'inscrit dans une tendance plus large de l'industrie à professionnaliser l'évaluation des agents IA, à mesure que ceux-ci quittent les démos pour entrer dans des usages critiques. AWS positionne Strands Evaluations comme une infrastructure d'évaluation systématique, comparable aux simulateurs de vol ou aux moteurs de jeu qui testent des millions de comportements avant déploiement. La difficulté fondamentale réside dans la croissance combinatoire des chemins de conversation : plus les capacités d'un agent s'étoffent, plus le nombre de scénarios possibles explose au-delà de ce que des équipes humaines peuvent explorer. En permettant la simulation structurée de personas avec des objectifs explicites et un suivi de progression, Strands Evals vise à offrir aux équipes d'évaluation un outil comparable à ce que les testeurs de logiciels ont dans d'autres disciplines d'ingénierie, avec des résultats comparables dans le temps.

AWS lance des agents autonomes pour les tests de sécurité et les opérations cloud

Amazon Web Services a annoncé la disponibilité générale de deux agents autonomes d'intelligence artificielle lors de son événement re:Invent : AWS Security Agent, dédié aux tests d'intrusion, et AWS DevOps Agent, spécialisé dans les opérations cloud. Ces systèmes appartiennent à une nouvelle catégorie baptisée « frontier agents » — des IA capables de travailler de façon autonome pendant des heures, voire des jours, sans supervision humaine continue. Selon AWS, les retours des clients en phase de préversion sont significatifs : AWS Security Agent réduit les délais de tests de pénétration de plusieurs semaines à quelques heures, tandis qu'AWS DevOps Agent accélère la résolution d'incidents de 3 à 5 fois. Des entreprises comme Bamboo Health et HENNGE K.K. témoignent de résultats concrets, cette dernière affirmant avoir réduit la durée de ses cycles de sécurité de plus de 90 %. L'enjeu pour les équipes de sécurité et d'exploitation est majeur. La plupart des organisations ne peuvent aujourd'hui faire réaliser des tests de pénétration manuels que sur leurs applications les plus critiques, faute de temps et de budget — laissant la majorité de leur portefeuille logiciel vulnérable entre deux cycles d'audit. AWS Security Agent change cette équation en analysant le code source, les diagrammes d'architecture et la documentation pour reconstituer des chaînes d'attaque complexes que les scanners traditionnels ne détectent pas. Côté opérations, AWS DevOps Agent s'intègre avec les principaux outils du marché — CloudWatch, Datadog, Dynatrace, Splunk, Grafana, GitHub, GitLab — et corrèle télémétrie, code et données de déploiement pour identifier la cause racine d'un incident, qu'il s'agisse d'infrastructures AWS, Azure, hybrides ou on-premise. Pour les équipes SRE débordées, c'est la promesse d'un coéquipier disponible en permanence. Ces annonces s'inscrivent dans une course à l'automatisation des opérations IT qui s'intensifie depuis l'essor des grands modèles de langage. Les hyperscalers — AWS, Microsoft Azure, Google Cloud — cherchent tous à proposer des agents capables de gérer des tâches complexes et durables, au-delà des simples assistants conversationnels. AWS positionne explicitement ces outils non comme des aides ponctuelles, mais comme de véritables extensions de l'équipe humaine, capables de prendre des décisions en plusieurs étapes sans intervention constante. Amy Herzog, vice-présidente et RSSI d'AWS, indique que l'entreprise utilise elle-même AWS Security Agent en interne. La question qui se posera à mesure de l'adoption est celle de la gouvernance : jusqu'où déléguer à une IA des décisions critiques sur la sécurité ou la stabilité des systèmes de production ?

Le plan de GitHub pour les agents, par Kyle Daigle

Kyle Daigle, directeur des opérations de GitHub, a accordé une longue interview au podcast AI Engineer World's Fair, enregistrée en marge de Microsoft Build, pour expliquer comment l'essor des agents de code transforme en profondeur la plateforme. Le chiffre clé de l'entretien : les contributions générées par des agents ont bondi de 1 400 % en 2026, une explosion qui se traduit concrètement par une multiplication massive des commits, des pull requests, des builds et des charges sur l'infrastructure GitHub, conçue à l'origine pour des développeurs humains travaillant à vitesse humaine. Face à cette pression, GitHub a connu des épisodes d'indisponibilité remarqués. Daigle détaille les outils que son équipe a déployés en interne : WorkIQ, des flux de travail Copilot intégrés dans Slack, Teams et l'e-mail, le protocole MCP, une nouvelle application de bureau Copilot, une interface CLI, et des agents cloud. Il décrit aussi sa propre routine du week-end, où il pilote jusqu'à quinze agents en parallèle pour préparer ses décisions stratégiques en consultant l'historique de contexte de l'entreprise. L'enjeu dépasse largement la fiabilité d'une plateforme : c'est la définition même du développeur et du logiciel qui est en train de changer. Quand n'importe quelle idée déclenche automatiquement un build, les systèmes CI/CD actuels atteignent leurs limites. Les mainteneurs de projets open source, eux, se retrouvent submergés de contributions automatiques de faible qualité, que Daigle qualifie de « slop forks ». GitHub doit donc inventer de nouveaux mécanismes de confiance, révision assistée par IA, système de parrainage, requêtes de prompt, pour préserver le contrat social qui a fait le succès de l'open source. Par ailleurs, Copilot n'est plus seulement un outil d'autocomplétion : il évolue vers un agent ambiant capable d'agir sur un contexte d'entreprise complet, ce qui redéfinit des fonctions comme celle de chef de cabinet ou d'analyste. GitHub aborde cette transition avec une histoire particulière : près de vingt ans de couches d'infrastructure accumulées, des webhooks aux Actions, en passant par le rachat de npm et l'intégration de Dependabot et de Semmle pour la sécurité de la chaîne d'approvisionnement. GitHub Actions, initialement pensé pour l'automatisation des workflows de développement, est devenu de facto une couche de calcul généraliste sur laquelle les agents s'appuient. Daigle reconnaît que cette évolution « casse » GitHub d'une façon inédite, mais il y voit aussi une opportunité : les anciens développeurs reconvertis dans le management pourraient avoir un avantage structurel dans cette ère où comprendre le code redevient une compétence décisionnelle clé. La prochaine étape, selon lui, est de faire en sorte que GitHub « agisse comme Kyle veut qu'il agisse », c'est-à-dire transformer la plateforme en système d'exploitation personnel pour agents.

Pourquoi les boucles d'agents ont la cote

Les "agent loops", ou boucles d'agents, s'imposent comme l'une des approches les plus discutées dans la communauté des développeurs IA, notamment sur X et Reddit ces dernières semaines. Le principe consiste à faire tourner un ou plusieurs agents en boucle autonome, sans intervention humaine entre chaque étape : l'agent tente différentes approches pour accomplir une tâche, un second agent évalue son travail, et le processus recommence jusqu'à l'atteinte de l'objectif ou d'une condition d'arrêt prédéfinie. Cette méthode tranche avec l'approche classique qui consiste à soumettre un prompt, attendre la réponse, puis corriger manuellement. Lors de la conférence AI Engineers d'avril 2025, des ingénieurs d'Anthropic ont illustré le potentiel de la technique avec un exemple concret : ils ont demandé à Claude de développer une application générant des jeux vidéo rétro. Avec un prompt minimal, Claude a livré l'application en 20 minutes pour 9 dollars. La même tâche confiée à une boucle d'agents a pris six heures et coûté 200 dollars, mais le résultat était nettement supérieur. L'engouement pour les boucles d'agents tient à leur capacité à traiter des tâches longues ou mal définies, là où une simple requête atteint rapidement ses limites. Pour les développeurs qui construisent des applications complexes, l'approche offre un niveau de qualité qu'un échange ponctuel ne permet pas d'atteindre. Le compromis reste cependant significatif : un rapport de coût de 1 à 22 représente une barrière réelle à l'adoption généralisée. À court terme, cette méthode restera donc réservée aux cas d'usage où la qualité prime sur le budget, plutôt qu'aux tâches routinières à faible enjeu. Cette tendance s'inscrit dans une évolution plus large du secteur vers des systèmes d'IA toujours plus autonomes. L'industrie se déplace progressivement du modèle "prompt-réponse" vers des architectures multi-agents capables de s'auto-corriger et de raisonner sur de longues séquences d'actions. Anthropic, qui développe Claude, figure parmi les acteurs en pointe sur ce terrain, aux côtés d'OpenAI et Google DeepMind. L'enjeu à moyen terme sera de réduire le coût computationnel de ces boucles pour les rendre économiquement accessibles à grande échelle, condition nécessaire pour que les agent loops passent du statut d'expérimentation avancée à celui d'outil standard du développement IA.

💬 Ce qui me frappe dans l'exemple d'Anthropic, c'est pas que ça coûte 200 dollars au lieu de 9, c'est que le résultat est vraiment meilleur, pas juste un peu. Les boucles d'agents ne remplacent pas le prompt classique, elles font autre chose : du travail long et mal défini qui demande de l'itération sans intervention humaine entre chaque étape. Reste à voir quand les coûts tombent assez pour que tu puisses en faire un outil standard plutôt qu'un truc réservé aux projets où t'as un vrai budget.