OutilsAWS ML Blog6sem· 2 min de lecture

Amazon Bedrock AgentCore Browser : actions au niveau du système d'exploitation

Amazon a annoncé cette semaine l'ajout des OS Level Actions à AgentCore Browser, son environnement de navigation isolé et sécurisé disponible dans la plateforme Bedrock. Cette nouvelle capacité est accessible via l'API InvokeBrowser sans configuration supplémentaire pour les sessions existantes comme pour les nouvelles. Elle expose huit actions réparties en trois catégories : contrôle de la souris (clics, positionnement), saisie clavier (touches, raccourcis) et capture visuelle (screenshot plein écran en PNG encodé base64). Le principe de fonctionnement repose sur une boucle action-screenshot-réaction : l'agent exécute une action, capture l'état de l'écran, l'envoie à un modèle de vision pour décider de la prochaine étape, et recommence. Chaque appel API transporte une seule action identifiée par son type et ses arguments, et renvoie un statut SUCCESS ou FAILED lié à la session via l'en-tête x-amzn-browser-session-id.

Ce lancement répond à une limite structurelle des outils d'automatisation web actuels. Playwright et le Chrome DevTools Protocol (CDP) opèrent exclusivement dans la couche DOM du navigateur : ils ne voient pas, et ne peuvent donc pas interagir avec, tout ce que le système d'exploitation génère en dehors de cette couche. Les boîtes de dialogue natives comme les demandes d'impression (window.print()), les invites de sécurité Windows ou macOS, les sélecteurs de certificats ou encore les menus contextuels sont totalement invisibles pour CDP. Pour les agents dotés de vision, ce blocage était particulièrement frustrant : le modèle pouvait observer précisément ce qu'il fallait faire sur le screenshot, mais n'avait aucun mécanisme pour agir. Les OS Level Actions comblent exactement ce vide en donnant à l'agent un contrôle direct au niveau du bureau complet, pas seulement du contenu web.

Cette annonce s'inscrit dans la montée en puissance des agents d'automatisation web déployés en production, où les workflows réels font surface à des états applicatifs imprévisibles que les tests ne reproduisent pas. La couche DOM est suffisante dans la majorité des scénarios, mais les cas limites, configuration OS spécifique, permissions utilisateur, applications hybrides web-natif, se produisent régulièrement à l'échelle. Amazon positionne AgentCore Browser comme une infrastructure complète pour les agents autonomes, capable de gérer aussi bien le web standard que les interfaces natives du système. L'intégration dans Bedrock suggère que cette fonctionnalité sera prochainement exploitée par des agents construits avec d'autres services de la plateforme, notamment les modèles Claude d'Anthropic disponibles via Bedrock, qui disposent déjà de capacités d'utilisation d'outils et de vision avancées.

Dans nos dossiers

AWS Anthropic

Cet article vous a été utile ?

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

1AWS ML Blog

Amazon Bedrock AgentCore Evaluations : construire des agents IA fiables

Amazon a lancé AgentCore Evaluations, un service entièrement géré intégré à Amazon Bedrock, conçu pour mesurer la performance des agents d'IA tout au long de leur cycle de développement. Le problème que ce service cherche à résoudre est bien documenté dans l'industrie : un agent fonctionne parfaitement en démo, convainc les parties prenantes lors des tests, puis échoue en production face à de vrais utilisateurs. Les symptômes sont prévisibles — mauvais appels d'outils, réponses incohérentes, comportements imprévus — mais leur détection systématique exige une infrastructure que la plupart des équipes n'ont pas. AgentCore Evaluations propose un cycle continu : construction de cas de tests, exécution sur l'agent, notation automatisée, analyse des échecs et amélioration itérative. Chaque échec devient automatiquement un nouveau cas de test, ce qui permet de fermer progressivement l'écart entre le comportement attendu et le comportement réel. L'enjeu est structurel : les grands modèles de langage sont non-déterministes. Une même requête peut produire des sélections d'outils différentes, des raisonnements distincts et des réponses variées d'un run à l'autre. Un seul passage de test ne dit pas ce qui se passe habituellement — il dit seulement ce qui peut arriver. Pour obtenir une image fiable du comportement d'un agent, il faut répéter chaque scénario plusieurs fois et agréger les résultats. Sans cela, chaque modification de prompt devient un pari : les équipes ignorent si leurs changements améliorent ou dégradent les performances, et brûlent des crédits API sans visibilité réelle. AgentCore Evaluations adresse précisément cette incertitude en fournissant des métriques de qualité sur plusieurs dimensions — exactitude des sélections d'outils, validité des paramètres, précision des réponses finales — pour le développement comme pour la production. Ce lancement s'inscrit dans une tendance plus large : la maturité des agents d'IA dépasse désormais la phase d'expérimentation et entre dans celle de l'ingénierie de fiabilité. Construire l'infrastructure d'évaluation en interne — curation de datasets, hébergement de modèles de scoring, gestion des limites de débit, pipelines de transformation des traces, tableaux de bord — représente un coût fixe considérable que les équipes multiplient pour chaque agent déployé. Amazon positionne AgentCore Evaluations comme la réponse cloud à ce problème, en absorbant cette complexité dans un service managé. La concurrence est vive : des outils comme LangSmith, Braintrust ou PromptFoo couvrent des besoins similaires, mais l'intégration native dans l'écosystème Bedrock donne à AWS un avantage naturel pour les entreprises déjà engagées sur sa plateforme. La prochaine étape logique sera de voir si le service s'étend aux agents multi-modaux et aux architectures multi-agents, deux domaines où l'évaluation reste un problème ouvert.

UELes équipes européennes développant des agents IA sur Amazon Bedrock peuvent adopter ce service managé pour remplacer une infrastructure d'évaluation coûteuse à construire en interne.

OutilsOutil

1 source

2AWS ML Blog

Créer des systèmes d'IA générative haute performance avec Strands Agents, NVIDIA NIM et Amazon Bedrock AgentCore

AWS a publié un guide technique détaillant comment construire des systèmes d'agents d'IA générative haute performance en combinant trois technologies complémentaires : Strands Agents, le framework multi-agents d'AWS ; NVIDIA NIM, une plateforme d'inférence accélérée par GPU disponible via build.nvidia.com ; et Amazon Bedrock AgentCore, l'environnement d'exécution managé d'Amazon. L'architecture proposée repose sur un système de trois agents spécialisés fonctionnant en parallèle : un agent d'analyse des personas qui évalue le contenu marketing selon différentes audiences et produit des scores de résonance, un agent de validation qui vérifie la conformité légale et de marque, et un agent agrégateur qui consolide les recommandations. Le tout s'articule autour d'un frontend React qui interroge les résultats de manière asynchrone au fur et à mesure que les agents rendent leurs verdicts. Cette combinaison répond à trois problèmes concrets qui freinent le passage des prototypes IA vers la production : la latence d'inférence sous forte charge, la perte de contexte entre les interactions dans les environnements sans état, et le manque de visibilité sur l'exécution des agents. NVIDIA NIM apporte l'accélération GPU via des technologies comme CUDA et TensorRT-LLM, en exposant des API compatibles OpenAI sans adaptation spécifique au modèle. Bedrock AgentCore prend en charge la persistance de la mémoire partagée entre agents, les mécanismes de checkpoint et de récupération sur erreur, ainsi que l'observabilité intégrée. Strands gère l'orchestration parallèle, le contrôle de flux et l'agrégation des résultats. L'ensemble se déploie sous forme de conteneur Docker dans AgentCore Runtime, éliminant la gestion d'infrastructure à mesure que la charge augmente. Le cas d'usage présenté, la revue automatisée de campagnes marketing, n'est qu'un point d'entrée : la même architecture s'applique aux assistants virtuels, aux pipelines RAG et à l'automatisation de processus de validation complexes. Ce guide s'inscrit dans une compétition intense entre les grands fournisseurs cloud pour capter les workloads IA en production. AWS positionne Bedrock AgentCore comme la couche managée qui simplifie le déploiement d'agents à grande échelle, tandis que NVIDIA consolide sa présence dans la chaîne de valeur logicielle via NIM, bien au-delà de la simple vente de GPU. Strands Agents, framework open source lancé par AWS début 2025, cherche à s'imposer face à LangGraph ou AutoGen comme standard d'orchestration multi-agents. La multiplication de ces briques interopérables signale que les architectures agentiques entrent dans une phase d'industrialisation, où la fiabilité et l'observabilité comptent désormais autant que les capacités du modèle lui-même.

OutilsOutil

1 source

3AWS ML Blog

Intégration du serveur MCP AWS API avec Amazon Q via Amazon Bedrock AgentCore Runtime

Amazon Web Services a publié un tutoriel détaillant comment connecter Amazon Q, son assistant IA conversationnel, à l'ensemble de l'infrastructure cloud via une architecture combinant Amazon Bedrock AgentCore Runtime et le Model Context Protocol (MCP). Le dispositif s'appuie sur un serveur AWS API MCP pour transformer des requêtes en langage naturel en commandes AWS CLI exécutées directement dans l'environnement cloud. Concrètement, un ingénieur peut demander "Montre-moi toutes les instances EC2 actives dans us-east-1" et obtenir une réponse structurée sans mémoriser la syntaxe des API ni jongler entre plusieurs interfaces. L'authentification repose sur Amazon Cognito via un flux OAuth 2.0 et des tokens JWT, tandis que les commandes s'exécutent sous un rôle IAM à privilèges minimaux. La mise en place est estimée à 30 à 45 minutes, et le coût mensuel pour un utilisateur Enterprise effectuant environ 500 requêtes reste modeste. Ce type d'intégration répond à une friction bien documentée dans les équipes SRE et DevOps : les ingénieurs passent une part significative de leur temps à basculer entre la console AWS, la documentation CLI et les tableaux de bord des dizaines de services disponibles. Un diagnostic d'incident oblige à croiser manuellement les logs CloudWatch, l'état des instances EC2 et les politiques IAM dans des interfaces séparées. La planification de capacité nécessite des requêtes manuelles sur plusieurs services, et les audits de sécurité exigent des séquences d'appels API répétitives, longues à scripter. Avec cette architecture, une seule intégration réutilisable standardise l'accès de l'agent IA à tous les services AWS, tout en conservant une piste d'audit complète via CloudWatch pour les exigences de conformité. Cette solution s'inscrit dans la montée en puissance du Model Context Protocol, standard ouvert publié par Anthropic en novembre 2024 qui permet aux agents IA de se connecter à des outils externes de façon cohérente. AWS l'a intégré dans Bedrock AgentCore Runtime, sa couche d'orchestration pour agents IA, qui joue ici le rôle de passerelle sécurisée entre Amazon Q et le serveur MCP. L'utilisation d'Amazon Q requiert un abonnement Enterprise au niveau Professional minimum, ce qui cible en priorité les grandes organisations avec une infrastructure AWS significative. La démarche illustre une tendance plus large chez les hyperscalers : positionner leurs assistants IA internes comme interface unique pour opérer l'ensemble du stack cloud, réduisant la dépendance aux outils tiers tout en consolidant la chaîne de valeur autour de leurs propres services.

OutilsTuto

1 source

4AWS ML Blog

Amazon Bedrock AgentCore au service des stratégies de vente par agents IA

AWS a déployé en interne un assistant conversationnel baptisé Field Advisor, construit sur Amazon Bedrock AgentCore, pour résoudre un problème concret apparu dans ses propres équipes commerciales mondiales : la prolifération d'agents IA spécialisés sans coordination centrale. L'organisation AWS Sales utilisait plus de 20 agents distincts couvrant la gestion CRM, la planification de réunions, les recommandations produits, les analyses clients et les vérifications de conformité. Les représentants commerciaux devaient eux-mêmes choisir quel agent invoquer selon la tâche, gérer les changements de contexte entre systèmes fragmentés et assembler manuellement les résultats, une charge cognitive qui réduisait d'autant le temps passé avec les clients. Field Advisor agit comme une couche d'orchestration centrale : les commerciaux posent leurs questions en langage naturel, et le système route automatiquement les requêtes vers l'agent ou l'outil approprié, maintient le contexte conversationnel entre les interactions et livre une réponse unifiée via une interface unique. L'impact est concret pour les équipes de vente : Field Advisor s'intègre directement dans les outils déjà utilisés au quotidien, systèmes CRM, Slack, applications internes, évitant toute rupture de flux de travail. Le système inclut des mécanismes de validation humaine pour les opérations sensibles : avant de modifier des données CRM, il présente les changements proposés et attend une approbation explicite, ce qui préserve la fiabilité des données et la responsabilité des commerciaux. La mémoire persistante, combinant historique de session à court terme et mémoire sémantique à long terme, permet aux représentants de reprendre une conversation là où elle s'était arrêtée sans avoir à répéter le contexte à chaque interaction. L'ensemble de ces fonctionnalités réduit la charge opérationnelle et libère du temps pour les échanges à valeur ajoutée avec les clients. Ce projet illustre un défi structurel qui émerge dans de nombreuses grandes entreprises à mesure que l'adoption des agents IA s'accélère : la multiplication d'agents spécialisés crée paradoxalement une nouvelle complexité si aucune orchestration ne les unifie. AWS a choisi Bedrock AgentCore précisément pour ses capacités natives à l'échelle enterprise, environnements d'exécution isolés pour les opérations multi-locataires sécurisées, passerelle unifiée pour les outils et agents répartis sur plusieurs comptes AWS, propagation d'identité cohérente via OAuth et observabilité intégrée sur les flux complexes. En s'appuyant sur une infrastructure clé en main plutôt que sur du développement sur mesure, l'équipe d'ingénierie a pu concentrer ses efforts sur la logique métier plutôt que sur les fondations techniques. Field Advisor représente ainsi autant un cas d'usage commercial qu'une démonstration de la viabilité d'AgentCore comme substrat pour des déploiements agentiques en production à grande échelle.

OutilsOutil

1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, rédigé par un humain · désinscription en un clic