Réduire le coût et la latence des LLM auto-hébergés grâce à la skill d'agent de cache KV distribué
Les entreprises qui hébergent elles-mêmes leurs grands modèles de langage sur des GPU paient souvent un travail redondant : chaque serveur dispose d'un petit cache isolé, incapable de contenir ou de partager le contexte toujours plus volumineux que renvoient les agents d'IA et les applications de conversation. Un assistant juridique peut ainsi accumuler des centaines de milliers de tokens d'historique de dossier. Quand un avocat reprend une conversation après le déjeuner, le serveur GPU qui reçoit la requête n'a rien en mémoire et doit recalculer les états d'attention clé-valeur (KV) de tout l'historique, une étape appelée prefill, avant d'écrire le moindre mot, ce qui peut prendre plusieurs minutes. Amazon annonce un cache KV distribué fondé sur Amazon ElastiCache, qui ajoute aux caches locaux des GPU un niveau partagé pour que n'importe quel serveur réutilise ces états pendant plusieurs jours. Selon AWS, il peut réduire jusqu'à 40 % le coût d'inférence et jusqu'à 80 % le délai avant le premier token (TTFT). Le groupe publie aussi une compétence d'agent, intégrée à l'Agent Toolkit for AWS, qui permet d'évaluer et de mettre en place ce cache en quelques requêtes depuis un agent de code comme Kiro, Claude Code ou OpenAI Codex.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de AWS ML Blog. Lire l'article original →
L'enjeu est d'éviter des dépenses hasardeuses, car le gain dépend du modèle, du trafic et du routage des requêtes. Pour des prompts courts, charger l'état KV peut être plus lent que le recalculer ; au-delà d'une longueur seuil, la lecture l'emporte. La compétence fait donc d'abord un contrôle d'adéquation : l'agent inspecte la flotte GPU par un appel en lecture seule (describe-instances), compte les interfaces Elastic Fabric Adapter (EFA) et ne demande que ce qu'il ne peut pas voir, comme le moteur, le modèle, la taille de parallélisme tensoriel, le type de données KV, le prix du serveur et la fréquence de répétition des prompts. Il estime ensuite les économies avec l'outil KVTrace, gratuit, et s'arrête si elles ne couvrent pas le coût du cache. Il ajoute le connecteur LMCache à un moteur vLLM ou SGLang existant, y compris sous llm-d ou Ray Serve, conserve le routage et uniformise le mécanisme d'identifiant KV (hachage et graine) ainsi que le type de données, afin d'éviter que chaque serveur écrive des états introuvables par les autres. Avant la production, il vide les niveaux locaux et vérifie que deux exécutions chargées depuis le cache donnent le même résultat, car une erreur de disposition peut produire des compteurs de succès satisfaisants mais des réponses fausses. Toute création, modification ou suppression de ressources exige une approbation explicite.
Ce lancement s'inscrit dans la montée de l'auto-hébergement des LLM, motivée par le contrôle des coûts, de la précision et de la latence, alors que les agents de code et assistants documentaires renvoient des contextes de plus en plus longs. Les prérequis sont précis : un agent compatible avec les Agent Skills, des instances GPU gérant l'écriture RDMA via EFA comme les p5, LMCache 0.5.8rc1 ou ultérieur, vLLM 0.11.1 ou ultérieur (SGLang 0.5.13 ou ultérieur), et ElastiCache for Valkey 9.1 ou ultérieur sur des nœuds cache.i8ge.48xlarge pour la mise en place du cache. L'exemple présenté est celui d'une flotte vLLM sur p5 servant un assistant juridique avec des contextes de 64 000 tokens, où les conversations reprises mettent 13 secondes à produire le premier token faute de cache partagé. AWS illustre le fonctionnement de la compétence par quatre scénarios : diagnostic d'un premier token lent, dimensionnement et chiffrage du cache, installation, puis correction d'un transfert en échec.
Les entreprises françaises et européennes qui auto-hébergent des LLM sur GPU peuvent évaluer ce cache partagé pour réduire leurs coûts d'inférence et leur latence.