Tsinghua AI publie en open source AKV, un serveur d'ingénierie de cache pour agents LLM sur SGLang

Le système définit trois opérations sur le cache : Append pour les nouveaux tokens, Drop pour retirer des entrées de l'attention future sans changer les positions, et Repos pour réécrire les clés conservées aux positions 0 à r-1 par rotation RoPE, sans recalculer les états cachés. L'ajout de Repos a fait passer le taux de réussite de GPT-OSS-120B sur BrowseComp-Plus de 55 % à 62 % lors des ablations. Côté serving, AKV étend l'arbre radix de SGLang avec des nœuds de suppression et de repositionnement, et ne libère la mémoire que lorsqu'aucune requête active n'en a besoin. L'interface reste sans état et compatible OpenAI : le client envoie l'historique complet, plus deux champs optionnels, dropmessage et reposition. Des politiques prêtes à l'emploi (par tour, par nombre de tokens ou pilotées par un modèle) et un outil dropcontext permettent même au modèle de décider lui-même. La politique principale conserve les 12 dernières réponses d'outils. Les baselines résument à 96 000 tokens (192 000 pour MiroThinker) ou à 48 000 pour l'ingénierie textuelle. AKV coûte aussi 21,9 % de moins que cette dernière. L'écart de précision se creuse sur les longues exécutions : sur BrowseComp-Plus au-delà de 96 000 tokens, GPT-OSS-120B atteint 37 % avec AKV, contre 24 % en standard et 32 % avec l'ingénierie textuelle.

L'enjeu est économique autant que qualitatif. Dans l'analyse de coûts des auteurs, les lectures de cache KV représentent 82,4 % de la facture d'API totale, ce qui fait de leur préservation un levier majeur pour les agents qui tournent longtemps. Les coûts annoncés sont des estimations équivalentes API calculées sur les tarifs publiés, les tokens repositionnés étant facturés au tarif de cache-hit, hypothèse que les auteurs présentent comme volontairement prudente. Pour les équipes qui déploient des agents de recherche ou de programmation, l'approche promet des trajectoires plus longues sans perte de détails des tours intermédiaires, que les résumés tardifs et agressifs font souvent disparaître.

Ce travail s'inscrit dans le prolongement de l'ingénierie de contexte, qui taille ou résume le texte. Or toute modification du préfixe invalide les états KV suivants et force un nouveau préremplissage du suffixe conservé, d'où des résumés repoussés le plus tard possible. L'ingénierie de cache laisse la trajectoire textuelle intacte et agit seulement sur les entrées visibles par l'attention. Les entrées conservées peuvent ainsi continuer à porter l'information des messages supprimés. La difficulté technique tient au fait que des tokens identiques peuvent produire des états différents selon l'historique d'opérations, de sorte qu'une simple correspondance de préfixe risquerait de réutiliser de mauvais états. Les résultats restent toutefois inégaux selon les modèles et les tâches, comme le montre le recul sur BrowseComp-Plus avec MiniMax-M2.7.