Architectures pour un démarrage rapide des sessions sur Amazon Bedrock AgentCore Runtime
Amazon Bedrock AgentCore runtime, l'environnement serverless géré d'AWS pour les agents d'IA, propose désormais un mode de démarrage de session accéléré grâce au paramètre platformVersion réglé sur « V2 ». Chaque session continue de s'exécuter dans sa propre microVM isolée, avec une mise à l'échelle à zéro en l'absence de travail et une facturation limitée aux ressources consommées. La différence tient à la façon dont la session démarre. En V1, AgentCore récupère l'image du conteneur depuis Amazon ECR, lance le conteneur et exécute le code d'initialisation avant de traiter la première requête, si bien que le démarrage à froid augmente avec la taille de l'image. En V2, l'environnement est préparé une seule fois lors de la création ou de la mise à jour du runtime : le conteneur démarre dans une microVM neuve, la plateforme attend un premier ping de santé (GET /ping) dans un délai de 120 secondes, vide le cache de fichiers du système pour alléger l'instantané, gèle la microVM, puis stocke sa mémoire et son disque. Chaque nouvelle session restaure ensuite cet instantané, et le processus reprend là où il a été figé. V2 récupère aussi la mémoire inutilisée, de sorte que la facture suit l'usage réel de l'agent.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de AWS ML Blog. Lire l'article original →
Pour la plupart des agents, le simple passage à V2 suffit, et une nouvelle session démarre en environ 2 secondes. Mais ce délai reste trop long pour les expériences de chat ou de voix, et certains agents doivent être restructurés pour en tirer pleinement parti. Le comportement de l'instantané dicte les choix d'architecture. La mémoire est restaurée intégralement, y compris le contenu d'un système de fichiers en RAM comme /dev/shm : les bibliothèques importées, les clients boto3 (avec résolution des points d'accès et des identifiants déjà faite) et les données statiques conservées dans des objets sont disponibles dès le début de la session. En revanche, les lectures de fichiers ne se transmettent pas, puisque le cache est vidé avant le gel, et les fichiers de l'image sont chargés paresseusement, bloc par bloc, à la première lecture. Les connexions réseau ouvertes deviennent obsolètes après la restauration et doivent être fermées avant l'instantané. Tout le travail d'initialisation doit donc avoir lieu avant app.run() avec le SDK Python d'AgentCore, ou avant que le serveur HTTP ne signale un état sain si l'on utilise un autre langage comme Node.js.
Ce changement a un coût : chaque création ou mise à jour d'un runtime prend désormais quelques minutes, le temps de construire l'instantané. Le principe rappelle AWS Lambda SnapStart, dont les stratégies de préchauffage servent de référence. Quand l'agent ne peut pas garder ses ressources dans son propre processus, comme une CLI lancée comme processus séparé ou un navigateur dont le binaire est lu puis abandonné, une session restaurée doit retourner chercher ces fichiers dans l'image. AgentCore runtime prend donc en charge des hooks de build, qui chargent et préchauffent ces éléments pendant la construction de l'instantané. Pour viser un démarrage inférieur à la seconde lorsque l'utilisateur s'engage avant d'envoyer sa première requête, par exemple en ouvrant l'application ou une fenêtre de chat, AWS recommande enfin de lancer la session en arrière-plan dès cet instant. Au total, quatre schémas sont décrits, des modifications du code de l'agent jusqu'au démarrage anticipé des sessions.