Amazon Bedrock AgentCore lève la limite de la fenêtre de contexte

Amazon Web Services a présenté une approche pour contourner la limite fondamentale des fenêtres de contexte des grands modèles de langage, en combinant Amazon Bedrock AgentCore Code Interpreter et le SDK Strands Agents. La technique repose sur les Recursive Language Models (RLM), introduits dans un article académique de Zhang et al. (arXiv:2512.24601), qui réorganisent radicalement la façon dont un modèle interagit avec des documents volumineux. Concrètement, plutôt que d'injecter l'intégralité d'un document dans le contexte du modèle, le système charge le document dans un environnement Python sandboxé persistant, puis orchestre des appels itératifs à des sous-modèles pour analyser des sections spécifiques. Les résultats intermédiaires restent stockés comme variables Python dans le sandbox, sans jamais encombrer la fenêtre de contexte du modèle racine. L'exemple illustratif est celui d'une analyse financière : comparer deux années de rapports annuels d'une même entreprise, soit 300 à 500 pages chacun, auxquels s'ajoutent les dépôts SEC et les rapports d'analystes, pour un total de plusieurs millions de caractères, impossible à traiter d'un seul tenant pour n'importe quel modèle existant.

Cette avancée répond à deux échecs classiques des LLM face aux très longs documents. Le premier : la requête dépasse la fenêtre de contexte maximale et est simplement rejetée. Le second, plus insidieux : le document entre en contexte mais le modèle peine à tenir compte des informations situées en son milieu, un phénomène connu sous le nom de "lost in the middle". Les RLM contournent les deux en découpant le problème : un modèle racine génère du code Python pour naviguer et découper le document, tandis que des sous-LLM sont appelés ponctuellement pour les tâches de compréhension sémantique. Le résultat est une architecture sans limite théorique de taille de document, potentiellement transformatrice pour des secteurs comme la finance, le droit ou la recherche médicale, où l'analyse de corpus massifs est quotidienne.

Le problème de la fenêtre de contexte n'est pas nouveau : les chercheurs et les ingénieurs y butent depuis l'émergence des LLM à grande échelle. Les solutions précédentes incluaient la recherche par similarité vectorielle (RAG), qui fragmente les documents en chunks et ne récupère que les passages pertinents, mais au prix d'une perte de cohérence globale. L'approche RLM se positionne comme une alternative plus puissante : le modèle racine explore activement le document comme un environnement, décide quelles sections méritent une analyse approfondie, et délègue ces tâches à des sous-modèles via une fonction llm_query() injectée dans le sandbox d'AgentCore. Ce dernier fonctionne en mode réseau PUBLIC, ce qui permet aux appels vers Amazon Bedrock de s'effectuer directement depuis l'environnement sandboxé. AWS s'appuie ici sur son infrastructure Bedrock pour proposer une solution intégrée, combinant orchestration, exécution de code et appels LLM dans un pipeline unifié, sans nécessiter d'infrastructure tierce.