Podcast : l'ingénierie de contexte avec Adi Polak

Amazon Bedrock AgentCore lève la limite de la fenêtre de contexte

58

1AWS ML Blog

Amazon Bedrock AgentCore lève la limite de la fenêtre de contexte

Amazon Web Services a présenté une approche pour contourner la limite fondamentale des fenêtres de contexte des grands modèles de langage, en combinant Amazon Bedrock AgentCore Code Interpreter et le SDK Strands Agents. La technique repose sur les Recursive Language Models (RLM), introduits dans un article académique de Zhang et al. (arXiv:2512.24601), qui réorganisent radicalement la façon dont un modèle interagit avec des documents volumineux. Concrètement, plutôt que d'injecter l'intégralité d'un document dans le contexte du modèle, le système charge le document dans un environnement Python sandboxé persistant, puis orchestre des appels itératifs à des sous-modèles pour analyser des sections spécifiques. Les résultats intermédiaires restent stockés comme variables Python dans le sandbox, sans jamais encombrer la fenêtre de contexte du modèle racine. L'exemple illustratif est celui d'une analyse financière : comparer deux années de rapports annuels d'une même entreprise, soit 300 à 500 pages chacun, auxquels s'ajoutent les dépôts SEC et les rapports d'analystes, pour un total de plusieurs millions de caractères, impossible à traiter d'un seul tenant pour n'importe quel modèle existant. Cette avancée répond à deux échecs classiques des LLM face aux très longs documents. Le premier : la requête dépasse la fenêtre de contexte maximale et est simplement rejetée. Le second, plus insidieux : le document entre en contexte mais le modèle peine à tenir compte des informations situées en son milieu, un phénomène connu sous le nom de "lost in the middle". Les RLM contournent les deux en découpant le problème : un modèle racine génère du code Python pour naviguer et découper le document, tandis que des sous-LLM sont appelés ponctuellement pour les tâches de compréhension sémantique. Le résultat est une architecture sans limite théorique de taille de document, potentiellement transformatrice pour des secteurs comme la finance, le droit ou la recherche médicale, où l'analyse de corpus massifs est quotidienne. Le problème de la fenêtre de contexte n'est pas nouveau : les chercheurs et les ingénieurs y butent depuis l'émergence des LLM à grande échelle. Les solutions précédentes incluaient la recherche par similarité vectorielle (RAG), qui fragmente les documents en chunks et ne récupère que les passages pertinents, mais au prix d'une perte de cohérence globale. L'approche RLM se positionne comme une alternative plus puissante : le modèle racine explore activement le document comme un environnement, décide quelles sections méritent une analyse approfondie, et délègue ces tâches à des sous-modèles via une fonction llm_query() injectée dans le sandbox d'AgentCore. Ce dernier fonctionne en mode réseau PUBLIC, ce qui permet aux appels vers Amazon Bedrock de s'effectuer directement depuis l'environnement sandboxé. AWS s'appuie ici sur son infrastructure Bedrock pour proposer une solution intégrée, combinant orchestration, exécution de code et appels LLM dans un pipeline unifié, sans nécessiter d'infrastructure tierce.

UELes secteurs européens à forte charge documentaire (juridique, financier, médical) disposent d'une approche technique concrète pour traiter des corpus massifs sans être bloqués par les limites de contexte des LLM.

LLMsOutil

1 source

Z.ai lance GLM-5V-Turbo : un modèle multimodal de vision et de code optimisé pour les workflows d'ingénierie à base d'agents

39

2MarkTechPost

Z.ai lance GLM-5V-Turbo : un modèle multimodal de vision et de code optimisé pour les workflows d'ingénierie à base d'agents

Zhipu AI (Z.ai), laboratoire d'intelligence artificielle chinois, a lancé GLM-5V-Turbo, un nouveau modèle de vision multimodale spécialement conçu pour la génération de code et les workflows d'ingénierie logicielle. Ce modèle se distingue par une architecture dite de fusion multimodale native, associant un encodeur visuel CogViT à une architecture MTP (Multi-Token Prediction), avec une fenêtre de contexte de 200 000 tokens. Il est capable de traiter simultanément des images, des vidéos, des maquettes de design et des documents techniques complexes, tout en produisant du code syntaxiquement rigoureux. Son entraînement repose sur une technique de reinforcement learning conjoint sur plus de 30 tâches distinctes couvrant le raisonnement STEM, l'ancrage visuel, l'analyse vidéo et l'utilisation d'outils externes. Ce lancement répond à un problème structurel bien connu dans le domaine des modèles vision-langage : le « effet de balançoire », où les gains en perception visuelle se font au détriment des capacités de programmation logique. En optimisant conjointement ces deux dimensions, GLM-5V-Turbo ouvre la voie à des agents d'interface graphique (GUI agents) véritablement opérationnels — des systèmes capables de « voir » un écran et d'en déduire les actions ou le code nécessaire pour y interagir. Concrètement, cela permet à un développeur de soumettre une capture d'écran d'un bug ou une maquette de fonctionnalité, et d'obtenir directement le code correspondant, sans passer par une description textuelle intermédiaire. L'intégration avec OpenClaw, framework open source pour agents GUI, et avec Claude Code, l'outil de programmation assistée d'Anthropic, renforce son positionnement dans des pipelines d'automatisation logicielle à haute capacité. Ce modèle s'inscrit dans une compétition mondiale de plus en plus intense autour des modèles multimodaux orientés code, où des acteurs comme Google (Gemini), OpenAI (GPT-4o) et Anthropic (Claude) investissent massivement. La stratégie de Z.ai se distingue par une spécialisation assumée : plutôt que de viser un usage généraliste, GLM-5V-Turbo cible explicitement les workflows agentiques, en s'intégrant dès le départ dans des écosystèmes d'outils existants. Cette approche de « deep adaptation » pourrait s'avérer décisive pour les équipes d'ingénierie cherchant à automatiser des tâches visuellement complexes — déploiement d'environnements, analyse de sessions enregistrées, génération de code à partir de maquettes — sans sacrifier la précision logique indispensable au développement logiciel professionnel.

LLMsActu

1 source

Comprendre la fenêtre de contexte : limites et solutions techniques des LLM

35

3Le Big Data

Comprendre la fenêtre de contexte : limites et solutions techniques des LLM

La fenêtre de contexte est la limite fondamentale qui détermine ce qu'un modèle d'intelligence artificielle peut "garder en tête" lors d'une conversation ou d'une analyse de document. Concrètement, tout ce que le modèle traite en une seule fois, qu'il s'agisse de la question posée, de l'historique des échanges, des instructions système et de la réponse en cours de génération, doit tenir dans cet espace mesuré en tokens, des unités linguistiques représentant en moyenne trois quarts de mot. Sur une fenêtre de 2 000 tokens, un texte de 900 mots consomme déjà environ 1 200 tokens en entrée, ne laissant que 800 tokens pour la réponse avant que le modèle ne s'arrête net. Les premiers modèles géraient environ 2 000 tokens, soit 1 500 mots. Aujourd'hui, certains systèmes atteignent 1 million de tokens, l'équivalent d'un roman entier, mais chaque gain décuple les besoins matériels. Cette contrainte a des conséquences directes et mesurables sur la qualité des réponses. L'architecture Transformer, utilisée par tous les grands modèles actuels, calcule les relations entre chaque paire de tokens selon une complexité quadratique O(n²) : 1 000 tokens génèrent un million de connexions, et la mémoire GPU explose rapidement. Résultat : au-delà d'un certain seuil, le modèle perd les informations placées en début de contexte, répète des idées ou invente des faits, phénomène connu sous le nom d'hallucination. Le test "needle-in-haystack", qui consiste à vérifier si un modèle retrouve une information précise noyée dans un long texte, révèle 30 % d'échecs au-delà de 500 000 tokens. Les coûts ne sont pas négligeables non plus : traiter 1 million de tokens coûte environ dix centimes, sans compter les risques de sécurité, car un prompt malveillant placé en début de contexte peut manipuler le comportement du modèle sur toute la durée d'un long document. Pour contourner ces limites, plusieurs approches techniques ont émergé. Le KV-cache, qui mémorise les calculs d'attention déjà effectués plutôt que de les recalculer à chaque nouveau token généré, peut représenter jusqu'à 100 Go de mémoire temporaire mais accélère considérablement la génération. D'autres architectures cherchent à remplacer ou compléter l'attention quadratique par des mécanismes linéaires ou par de la mémoire externe, permettant de traiter des documents bien au-delà des capacités actuelles sans explosion des coûts. L'enjeu est industriel et stratégique : les cas d'usage les plus lucratifs, analyse juridique, recherche médicale, assistance sur des bases de code entières, nécessitent précisément de maintenir la cohérence sur de très longues séquences. La course aux grandes fenêtres de contexte est donc moins une question de prouesse technique que de viabilité économique pour des applications professionnelles à grande échelle.

LLMsTuto

1 source

Construire un pipeline IA de génération prêt pour la production avec Gemma 3 1B Instruct, Hugging Face Transformers et Colab

38

4MarkTechPost

Construire un pipeline IA de génération prêt pour la production avec Gemma 3 1B Instruct, Hugging Face Transformers et Colab

Google a récemment mis à disposition Gemma 3 1B Instruct, un modèle de langage compact de 1 milliard de paramètres conçu pour être déployé dans des environnements contraints, notamment sur CPU ou GPU grand public. Un tutoriel détaillé publié sur la plateforme AnalyticsVidhya propose un pipeline complet et reproductible pour faire tourner ce modèle directement dans Google Colab, en s'appuyant sur la bibliothèque Hugging Face Transformers (version 4.51.0 minimum), ainsi que sur les outils accelerate, sentencepiece et safetensors. Le workflow couvre l'authentification sécurisée via un token Hugging Face, le chargement du tokenizer et du modèle avec détection automatique du matériel disponible (CUDA ou CPU), et l'utilisation de la précision bfloat16 pour optimiser la mémoire sur GPU. Ce type de guide a une valeur concrète pour les développeurs et data scientists qui souhaitent intégrer des LLM légers dans leurs applications sans recourir à des infrastructures coûteuses. Gemma 3 1B se distingue par sa taille réduite, ce qui le rend accessible à un large éventail de machines, y compris les environnements gratuits de Colab. Le tutoriel ne se limite pas au simple chargement du modèle : il propose des utilitaires réutilisables pour la génération de texte, la mise en forme des prompts en structure de conversation (chat template), et teste le modèle sur des cas d'usage réels — génération libre, réponses structurées au format JSON, chaînage de prompts, benchmarking de vitesse et résumé déterministe. Cette approche orientée production, plutôt que démonstration, répond à un besoin croissant de reproductibilité dans les projets d'IA appliquée. Gemma 3 est la troisième génération de la famille de modèles open-weights de Google DeepMind, lancée début 2025 pour concurrencer des modèles comme Llama 3 de Meta ou Phi-3 de Microsoft sur le segment des LLM légers et locaux. L'écosystème Hugging Face joue ici un rôle central de plateforme de distribution et d'intégration, avec des outils standardisés qui facilitent le passage du prototype à la production. La disponibilité de modèles performants sous 2 milliards de paramètres est un enjeu stratégique : elle permet des déploiements on-device, réduit les coûts d'inférence et ouvre la voie à des applications embarquées ou hors-ligne. Les prochaines étapes naturelles de ce type de pipeline incluent le fine-tuning sur données propriétaires, le déploiement via une API FastAPI ou Gradio, et l'intégration dans des workflows RAG (retrieval-augmented generation).

LLMsTuto

1 source

Podcast : l'ingénierie de contexte avec Adi Polak

À lire aussi

Amazon Bedrock AgentCore lève la limite de la fenêtre de contexte

Z.ai lance GLM-5V-Turbo : un modèle multimodal de vision et de code optimisé pour les workflows d'ingénierie à base d'agents

Comprendre la fenêtre de contexte : limites et solutions techniques des LLM

Construire un pipeline IA de génération prêt pour la production avec Gemma 3 1B Instruct, Hugging Face Transformers et Colab