Détecter les défaillances silencieuses d'agents grâce à l'optimisation d'Amazon Bedrock AgentCore

Optimiser les agents en production avec Amazon Bedrock AgentCore Observability

Amazon publie la deuxième partie de sa série consacrée à l'observabilité des agents IA construits sur Amazon Bedrock AgentCore, en s'appuyant sur la fonctionnalité AgentCore Observability et sur Amazon CloudWatch. Après un premier volet dédié au débogage des agents défaillants (boucles infinies, erreurs d'invocation d'outils), ce second article s'attaque à un problème différent : les agents qui fonctionnent correctement mais trop lentement, ou dont la consommation mémoire dérive au fil du temps. Les prérequis restent identiques à la partie 1 : un compte AWS avec accès à Bedrock AgentCore, la fonction CloudWatch Transaction Search activée, et un agent déjà déployé. Un exemple concret illustre le problème : trois invocations successives d'un même agent affichent une latence moyenne de 7,5 à 8,2 secondes par span, révélant un goulot d'étranglement systémique plutôt qu'un simple ralentissement ponctuel. Amazon fournit une requête CloudWatch type pour repérer ces cas, filtrant les opérations InvokeAgent dont la latence dépasse 3 000 millisecondes, triées par ordre décroissant et limitées à 50 résultats. Ce type de dégradation est particulièrement insidieux car il ne déclenche aucune alerte d'erreur : le taux d'échec reste bas, mais les temps de réponse P95 grimpent progressivement, de 2 secondes à 5, puis 10, jusqu'à devenir inutilisables pour un cas d'usage interactif comme un chatbot de service client. Les utilisateurs finissent par abandonner leurs sessions sans que le système ne signale de panne. Pour les entreprises qui déploient des agents en production, cela signifie qu'un monitoring classique basé sur les taux d'erreur ne suffit plus : il faut définir des budgets de performance spécifiques à chaque cas d'usage et surveiller activement la dérive de latence avant qu'elle n'affecte l'expérience utilisateur. Amazon détaille ensuite une méthode d'analyse en profondeur : une fois une requête lente identifiée par son RequestId, une seconde requête CloudWatch permet de décomposer la chronologie complète de l'exécution, opération par opération. L'exemple fourni montre une trace OpenTelemetry de 17 spans répartis sur trois cycles d'exécution successifs (executeeventloopcycle), où des outils comme customerlookup et order_history s'exécutent l'un après l'autre au lieu d'être parallélisés, chaque cycle attendant la fin du précédent. Ce schéma séquentiel démultiplie la latence à chaque nouvel appel d'outil. Les causes les plus fréquentes identifiées par Amazon incluent la récupération de mémoire, l'invocation d'outils, la génération de tokens, et l'absence de parallélisation des opérations indépendantes, un diagnostic également accessible via des requêtes CloudWatch ciblées sur la latence spécifique de récupération mémoire.

💬 Selon Le Fil IA, le vrai piège des agents IA en prod, c'est qu'ils dégradent sans jamais planter : le taux d'erreur reste plat pendant que la latence P95 grimpe de 2 à 10 secondes, et personne ne le voit venir avant que les utilisateurs se cassent. L'exemple d'AWS est parlant, des appels d'outils exécutés en séquence au lieu d'être parallélisés, ça multiplie la latence sans qu'aucune alerte se déclenche. Bon, sur le papier l'outillage CloudWatch est bien pensé, mais ça confirme surtout un truc qu'on sous-estime encore trop : monitorer un agent, c'est plus proche du monitoring de perf que du monitoring d'erreurs, et la plupart des équipes ne sont pas encore équipées pour ça.

Mobileye a transformé ses opérations de support grâce à Amazon Bedrock AgentCore

Mobileye, pionnier de la conduite autonome avec plus de 230 millions de puces système-sur-puce EyeQ déployées sur environ 1200 modèles de véhicules dans le monde, a déployé un agent de support alimenté par l'intelligence artificielle grâce à Amazon Bedrock AgentCore. L'entreprise, dont le pipeline de collecte et de traitement de données ingère quotidiennement des milliers de sessions d'enregistrement de conduite, faisait face à un afflux constant de demandes de statut de la part des ingénieurs et des équipes data. Avant l'automatisation, chaque requête nécessitait des étapes manuelles réparties sur plusieurs systèmes : identification des sessions, vérification croisée avec des outils de visualisation, validation des résultats et consultation des journaux, avant de pouvoir répondre. Selon Mobileye, 66% des tickets de support concernaient des demandes de statut routinières, obligeant les ingénieurs à naviguer manuellement à travers 15 clics sur différents systèmes internes. Le nouvel agent, construit sur les modèles de fondation Claude d'Anthropic et accessible via la passerelle LLM interne de Mobileye connectée à Amazon Bedrock, a réduit les temps de réponse de 90% tout en dépassant l'objectif de précision fixé à 95%, sans gestion d'infrastructure supplémentaire pour les équipes techniques. Ce résultat change concrètement le quotidien des ingénieurs de Mobileye : libérés des tâches répétitives de suivi de tickets, ils peuvent désormais se concentrer sur des problèmes techniques plus complexes, tandis que les utilisateurs internes obtiennent des réponses en moins de deux minutes sans intervention humaine, que ce soit pour confirmer l'accès à une session terminée, signaler une erreur avec des recommandations de débogage, ou guider la soumission d'une nouvelle requête. Face à ce succès, Mobileye a décidé d'élargir l'usage de la plateforme AgentCore au-delà du support technique, en la transformant en solution en libre-service permettant à d'autres équipes de l'entreprise de déployer leurs propres agents IA, tout en conservant les standards de gouvernance et de sécurité attendus en environnement d'entreprise. Avant d'en arriver là, l'équipe de Mobileye avait testé les approches d'automatisation classiques (scripts, workflows statiques, arbres de décision), jugées incapables de gérer la variabilité réelle des demandes de support. La clé de la réussite du projet a résidé dans l'utilisation du Model Context Protocol (MCP), qui donne à l'agent un accès en temps réel aux API de la plateforme de traitement des données de conduite, lui permettant d'interroger le statut des sessions, de récupérer les journaux de traitement et d'extraire des informations de diagnostic pendant l'inférence. Une phase de validation, avec un objectif de précision de 95% et des réponses en moins de deux minutes, a précédé le déploiement en production sur une architecture hybride reliant les systèmes sur site de Mobileye aux services cloud d'AWS.

Amazon Bedrock AgentCore Observability : déboguer les agents en production

Amazon vient de détailler le fonctionnement d'AgentCore Observability, un outil intégré à sa plateforme Bedrock destiné à déboguer les agents d'intelligence artificielle en production. Contrairement aux applications traditionnelles qui génèrent des erreurs explicites, les agents IA échouent souvent en silence : ils peuvent retourner des réponses plausibles mais incorrectes, entrer dans des boucles de raisonnement infinies, ou sélectionner de mauvais outils sans déclencher la moindre alerte. AgentCore Observability répond à ce problème en exposant trois couches d'instrumentation : des métriques agrégées, des traces d'exécution pas à pas, et des journaux structurés. L'outil permet de suivre chaque étape de raisonnement de l'agent, d'inspecter les appels d'outils, et de localiser précisément où l'exécution dévie des attentes, même en l'absence d'erreur explicite. Le service s'appuie sur Amazon CloudWatch et nécessite l'activation de la fonctionnalité CloudWatch Transaction Search. L'enjeu est considérable pour les équipes qui déploient des agents en production : jusqu'ici, un monitoring classique pouvait afficher 100 % de succès d'exécution pendant que les utilisateurs recevaient de fausses informations. AWS identifie trois grandes familles de défaillances. Les problèmes de qualité regroupent les hallucinations, les erreurs factuelles, et les erreurs de raisonnement : un agent peut citer des politiques inexistantes ou répéter un calcul erroné. Dans les architectures multi-agents, ces erreurs se propagent en cascade lorsque la sortie d'un agent alimente l'entrée d'un autre. Les problèmes de fiabilité couvrent les échecs d'appels d'outils (erreurs 401, 403, 400), les pertes de contexte de session, et les workflows incomplets. Enfin, les problèmes d'efficacité affectent les coûts et les performances sans nécessairement compromettre l'exactitude : latence excessive, consommation de tokens gonflée par des réponses trop verbeuses ou des appels d'outils répétés faute de mise en cache. Ce lancement s'inscrit dans la course que mènent les grands fournisseurs cloud pour rendre les agents IA opérationnellement viables en entreprise. AWS, Microsoft Azure et Google Cloud investissent massivement dans des couches d'observabilité spécifiques aux LLMs, un segment qui n'existait pas il y a deux ans. La complexité croissante des architectures agentiques, où plusieurs modèles coopèrent et s'enchaînent, rend l'observabilité traditionnelle insuffisante. AgentCore Observability est présenté comme une première partie d'une série en deux volets : une seconde publication couvrira l'optimisation des performances et la gestion de la mémoire. La direction prise par AWS suggère que l'outillage autour des agents autonomes va devenir un différenciateur clé des plateformes cloud dans les prochains mois.

Baz améliore la précision de la revue de code par agents IA grâce à Amazon Bedrock AgentCore

Baz, une startup spécialisée dans l'automatisation des revues de code, a développé un agent IA capable de vérifier non seulement la qualité technique du code, mais aussi sa conformité aux spécifications produit et aux maquettes de design. Baptisé Spec Review Agent, ce système repose sur Amazon Bedrock et Amazon Bedrock AgentCore, les services d'IA managés d'AWS. Concrètement, l'agent s'active automatiquement à l'ouverture d'une pull request GitHub, interroge simultanément Figma pour récupérer les spécifications visuelles et Jira pour les exigences fonctionnelles, puis décompose l'ensemble en critères vérifiables. Il spawne ensuite des sous-agents parallèles, un par exigence, qui analysent le code source et interagissent avec l'environnement de prévisualisation via l'outil AgentCore Browser Tool, capable d'inspecter le DOM, de simuler des interactions utilisateur et de comparer visuellement l'interface rendue avec les maquettes Figma. L'enjeu est considérable pour les équipes de développement modernes. Jusqu'ici, la vérification qu'une fonctionnalité correspondait réellement à ce que le product owner avait demandé ou que le designer avait conçu reposait entièrement sur des tests manuels effectués par des équipes QA. Ces vérifications prenaient des heures, introduisaient des incohérences d'une release à l'autre et s'appuyaient sur une connaissance interne non documentée et donc fragile. En automatisant cette couche de validation, Baz cherche à supprimer le délai systématique entre la livraison du code et la détection des écarts, réduisant ainsi les régressions et accélérant les cycles de mise en production. Pour les équipes engineering qui travaillent à haute vélocité, c'est potentiellement une transformation profonde du workflow de review, qui passe d'une vérification de syntaxe à une validation de comportement réel. Ce projet s'inscrit dans une tendance plus large d'industrialisation des agents IA dans le cycle de développement logiciel, après l'émergence des assistants de génération de code comme GitHub Copilot. Amazon Bedrock AgentCore, lancé récemment par AWS, propose des primitives spécifiquement conçues pour l'orchestration d'agents multi-étapes en production, incluant la navigation web autonome, la gestion de la mémoire et l'exécution de code dans des environnements isolés. Baz exploite ces capacités pour bâtir une infrastructure d'orchestration déployée sur Amazon EKS, avec un Application Load Balancer en entrée. La prochaine étape logique pour ce type de système sera d'étendre la couverture au-delà des critères d'acceptation Jira et des maquettes Figma, vers des dimensions comme la performance ou l'accessibilité, transformant progressivement la revue de code en audit produit complet piloté par l'IA.