Réduire le TTFT des charges multi-tours à base d'agents grâce au transfert bidirectionnel du cache KV dans vLLM
Des chercheurs d'Amazon Web Services ont intégré à vLLM un mécanisme de transfert bidirectionnel du cache clé-valeur (KV) pour accélérer les charges de travail agentiques multi-tours. Dans l'architecture classique de désagrégation prefill-décodé (P-D), un nœud de prefill traite le prompt et construit le cache KV, puis un nœud de décodé récupère ces blocs et génère la réponse. Le flux ne va que dans un sens. Avec le nouveau mécanisme, le nœud de décodé renvoie au nœud de prefill, lors des tours suivants, le KV déjà calculé, y compris celui des tokens de réponse. Cette fonction s'appuie sur une extension du connecteur NIXL (NVIDIA Inference Xfer Library), qui permet désormais aux nœuds de prefill de consommer des blocs KV distants, comme le font déjà les nœuds de décodé. Un routeur sensible au cache KV coordonne l'ensemble, et un seuil de recalcul configurable arbitre entre transfert et recalcul. Sur un déploiement 1P1D utilisant des instances Amazon EC2 P5en, le TTFT (délai avant le premier token) baisse jusqu'à 1,6 fois pour Qwen3-32B et jusqu'à 3,3 fois pour zai-org/GLM-5-FP8, selon la charge et la configuration. Les instances communiquent via AWS Elastic Fabric Adapter (EFA), un réseau RDMA à faible latence qui prend en charge GPUDirect RDMA et Neuron Direct RDMA.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de AWS ML Blog. Lire l'article original →
L'enjeu est direct pour tous ceux qui déploient des assistants conversationnels ou des agents. À chaque tour, le client renvoie l'historique complet : instructions système, prompts précédents, résultats d'outils et réponses du modèle. Sans réutilisation, le nœud de prefill doit recalculer les projections KV des réponses précédentes. Pire, comme c'est le nœud de décodé qui conserve l'état de la session, les nœuds de prefill risquent d'évincer le cache des sessions encore actives. En cas d'échec total du cache, tout l'historique est recalculé. Plus la conversation s'allonge, plus ce travail redondant mobilise des accélérateurs et dégrade le TTFT. Le transfert bidirectionnel libère donc de la capacité de calcul et maintient une latence réactive à mesure que le contexte grandit, ce qui améliore l'utilisation des accélérateurs et le coût par session pour les opérateurs de services d'inférence.
Cette évolution s'inscrit dans la montée en puissance des agents, dont les boucles de raisonnement, d'appels d'outils et d'intégration de résultats produisent des contextes de plus en plus volumineux. La désagrégation prefill-décodé, qui spécialise les nœuds selon la phase de calcul, est devenue une approche courante pour servir de grands modèles, mais son flux unidirectionnel convenait mal aux échanges répétés. AWS a d'abord conçu et validé la fonction sur des clusters d'instances Trainium reliés par EFA, puis l'a proposée à vLLM comme capacité indépendante de l'accélérateur. Les mesures publiées proviennent d'un cluster GPU P5en, ce qui montre que les gains s'étendent aux GPU. Le billet détaille aussi l'architecture, le flux de métadonnées du routeur, la rétention des blocs KV et la méthode pour reproduire le benchmark. Les résultats restant dépendants des charges, les opérateurs devront ajuster le seuil de recalcul à leurs propres usages.
Pas d'impact direct sur la France/UE