Réduire les coûts en tokens et la latence des charges de travail JSON dans Amazon Bedrock AgentCore
Flightscape, éditeur d'une plateforme de gestion des opérations pour compagnies aériennes, a construit sur Amazon Bedrock AgentCore un agent d'optimisation des plannings de formation des équipages, chargé de vérifier les affectations par rapport aux règles métier. L'agent dispose de plus de 40 outils et manipule des fichiers JSON de plusieurs mégaoctets : la requête de l'optimiseur, sa réponse et un rapport de validation produit par un contrôleur de règles. Développé avec le framework open source LangGraph, il offre une interface conversationnelle pour interroger les résultats, comprendre les erreurs de validation et explorer les affectations. Son état interne contenait à l'origine les charges utiles complètes, et chaque appel d'outil les réinjectait dans la fenêtre de contexte du modèle. Résultat : des latences moyennes supérieures à 15 secondes sur la plupart des appels, et, sur les plus gros jeux de données, une fenêtre de contexte saturée avant la fin du raisonnement. Trois stratégies combinées ont permis de réduire la consommation de jetons jusqu'à 71 % et la latence moyenne jusqu'à 80 % sur une charge représentative de 23 Mo, selon les tests de référence de l'équipe.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de AWS ML Blog. Lire l'article original →
Ces gains dépassent le cas d'usage aérien. Dès qu'un agent d'entreprise enchaîne des dizaines d'outils sur de gros volumes de données structurées, le coût en jetons et le temps de réponse deviennent les principaux freins à une expérience utilisateur acceptable. Le problème s'aggrave au fil des conversations multi-tours, car chaque échange réinjecte du contexte, ce qui fait grimper la facture et dégrade la qualité des réponses. Les techniques décrites, qui sont composables, permettent de conserver la capacité de raisonnement complète sur des sessions longues tout en allégeant ce qui transite par le modèle. Elles s'adressent aux équipes qui déploient des agents en production et qui doivent concilier fiabilité, réactivité et maîtrise des coûts à grande échelle.
Le principe général consiste à sortir les gros artefacts du contexte conversationnel. Au début de chaque tour, une fonction d'hydratation (hydratestate) restaure un état de session léger depuis la mémoire d'AgentCore. Lorsqu'un outil renvoie une liste ou un dictionnaire volumineux, l'agent enregistre le résultat complet dans Amazon S3 et ne transmet au modèle qu'un résumé compact accompagné d'un identifiant. Le modèle peut ensuite obtenir davantage de détails, page par page, grâce à un outil dédié (getresultpagetool). À la fin du tour, une fonction de déshydratation (dehydrate_state) écrit les charges lourdes dans un magasin d'artefacts S3 et ne conserve dans la mémoire d'AgentCore que des références. Les deux dernières stratégies s'exécutent à chaque retour d'outil, tandis que la première encadre le début et la fin de chaque tour. Cette approche s'inscrit dans l'effort plus large des fournisseurs de cloud pour industrialiser les agents, avec des garde-fous comme Amazon Bedrock Guardrails pour filtrer les réponses, et laisse entrevoir une généralisation du déport des données hors du contexte comme pratique standard.