Amazon Bedrock AgentCore Browser : actions au niveau du système d'exploitation

Amazon a annoncé cette semaine l'ajout des OS Level Actions à AgentCore Browser, son environnement de navigation isolé et sécurisé disponible dans la plateforme Bedrock. Cette nouvelle capacité est accessible via l'API InvokeBrowser sans configuration supplémentaire pour les sessions existantes comme pour les nouvelles. Elle expose huit actions réparties en trois catégories : contrôle de la souris (clics, positionnement), saisie clavier (touches, raccourcis) et capture visuelle (screenshot plein écran en PNG encodé base64). Le principe de fonctionnement repose sur une boucle action-screenshot-réaction : l'agent exécute une action, capture l'état de l'écran, l'envoie à un modèle de vision pour décider de la prochaine étape, et recommence. Chaque appel API transporte une seule action identifiée par son type et ses arguments, et renvoie un statut SUCCESS ou FAILED lié à la session via l'en-tête x-amzn-browser-session-id.

Ce lancement répond à une limite structurelle des outils d'automatisation web actuels. Playwright et le Chrome DevTools Protocol (CDP) opèrent exclusivement dans la couche DOM du navigateur : ils ne voient pas, et ne peuvent donc pas interagir avec, tout ce que le système d'exploitation génère en dehors de cette couche. Les boîtes de dialogue natives comme les demandes d'impression (window.print()), les invites de sécurité Windows ou macOS, les sélecteurs de certificats ou encore les menus contextuels sont totalement invisibles pour CDP. Pour les agents dotés de vision, ce blocage était particulièrement frustrant : le modèle pouvait observer précisément ce qu'il fallait faire sur le screenshot, mais n'avait aucun mécanisme pour agir. Les OS Level Actions comblent exactement ce vide en donnant à l'agent un contrôle direct au niveau du bureau complet, pas seulement du contenu web.

Cette annonce s'inscrit dans la montée en puissance des agents d'automatisation web déployés en production, où les workflows réels font surface à des états applicatifs imprévisibles que les tests ne reproduisent pas. La couche DOM est suffisante dans la majorité des scénarios, mais les cas limites, configuration OS spécifique, permissions utilisateur, applications hybrides web-natif, se produisent régulièrement à l'échelle. Amazon positionne AgentCore Browser comme une infrastructure complète pour les agents autonomes, capable de gérer aussi bien le web standard que les interfaces natives du système. L'intégration dans Bedrock suggère que cette fonctionnalité sera prochainement exploitée par des agents construits avec d'autres services de la plateforme, notamment les modèles Claude d'Anthropic disponibles via Bedrock, qui disposent déjà de capacités d'utilisation d'outils et de vision avancées.