10 techniques de compression du cache KV pour l'inférence LLM : éviction, quantification et méthodes de faible rang

La course à la compression du KV Cache : TurboQuant vs OSCAR vs EpiCache

La mémoire cache des modèles de langage à long contexte est devenue l'un des principaux goulots d'étranglement de l'IA générative, et plusieurs équipes de recherche publient en 2026 des solutions radicalement différentes. Le mécanisme en question, le cache KV (clé-valeur), stocke à chaque couche du transformeur les vecteurs calculés pour chaque token déjà traité, évitant ainsi de les recalculer à chaque étape. Le problème : ce cache grossit linéairement avec la longueur du contexte. Pour Llama-3.1-70B en BF16, le coût atteint environ 0,31 Mo par token, soit 40 Go pour 128 000 tokens, et plus de 300 Go pour un million de tokens, un volume supérieur aux 140 Go des poids du modèle lui-même. À haute concurrence, ce cache monopolise la bande passante mémoire et ralentit l'inférence indépendamment de la puissance de calcul disponible. TurboQuant, développé conjointement par Google et l'Université de New York et présenté à l'ICLR 2026, répond à ce défi sans calibration préalable : chaque vecteur est d'abord soumis à une rotation aléatoire qui distribue les valeurs de façon approximativement gaussienne, puis quantifié par un quantificateur scalaire optimal (Lloyd-Max). Un second étage applique une transformation Johnson-Lindenstrauss à 1 bit sur le résidu, produisant une estimation sans biais des logits d'attention. OSCAR, développé par Together AI, adopte l'approche inverse : constatant que quatre niveaux de représentation (INT2) laissent trop peu de précision pour une rotation aveugle, il calcule lors d'une passe de calibration hors ligne une rotation spécifique au modèle, les clés sont projetées dans la base propre de la covariance des requêtes, les valeurs dans celle des valeurs pondérées par les scores d'attention. Apple a de son côté publié EpiCache pour s'attaquer à un problème que ni TurboQuant ni OSCAR n'adressent. L'enjeu dépasse largement l'optimisation technique : réduire le cache KV, c'est rendre accessibles des contextes très longs à coût maîtrisé, ce qui change concrètement l'économie des services d'IA. Un modèle capable d'ingérer un million de tokens sans saturer la mémoire GPU peut traiter des documents entiers, des bases de code complètes ou des historiques de conversation longs sans dégradation ni coût prohibitif. TurboQuant affiche une neutralité qualitative à 3,5 bits et une dégradation marginale à 2,5 bits par canal, avec une précision quasi-totale sur le benchmark Needle-in-a-Haystack à compression 4x. OSCAR, conçu pour la production, est livré sous forme de bibliothèque C intégrable, ce qui facilite son déploiement dans des systèmes existants. Ces travaux s'inscrivent dans une course à la compression des caches KV démarrée avec KIVI, qui avait établi la référence en quantifiant les clés par canal et les valeurs par token, réduisant la mémoire de pointe d'environ 2,6x, sans aucun réglage fin. La vraie difficulté reste les canaux aberrants : quelques dimensions aux magnitudes disproportionnées qui faussent la quantification et effondrent la précision en INT2 naïf. TurboQuant et OSCAR attaquent ce problème différemment, l'un par rotation aléatoire à coût nul, l'autre par calibration ciblée, laissant la porte ouverte à des hybrides qui combineraient les deux approches selon le régime de compression visé.

Quantification de l'incertitude pour l'appel de fonctions dans les LLM

Les modèles de langage (LLM) sont de plus en plus déployés pour accomplir de manière autonome des tâches concrètes, notamment grâce au paradigme dit du "function calling", qui leur permet d'appeler des outils externes pour agir sur le monde réel. Ce mécanisme est aujourd'hui largement utilisé pour doter les LLM de capacités d'usage d'outils, que ce soit pour interroger une base de données, exécuter du code ou déclencher une action dans une application tierce. Le problème soulevé par des chercheurs est qu'un appel de fonction incorrect peut avoir des conséquences graves, en particulier lorsque l'action déclenchée est irréversible, comme un virement bancaire ou la suppression de données. Face à ce risque, les auteurs proposent d'évaluer la confiance du modèle dans la justesse d'un appel de fonction avant même de l'exécuter, via des méthodes de quantification de l'incertitude, ou "Uncertainty Quantification" (UQ). Cette approche change la donne pour les entreprises qui intègrent des agents IA autonomes dans leurs systèmes de production. Plutôt que de laisser un modèle exécuter aveuglément chaque action qu'il génère, la quantification de l'incertitude permettrait de détecter en amont les appels de fonction douteux et de les soumettre à une validation humaine ou de les bloquer purement et simplement. Pour les secteurs sensibles comme la finance, la santé ou la gestion de données critiques, ce type de garde-fou pourrait devenir un prérequis avant tout déploiement à grande échelle d'agents capables d'agir sans supervision constante. Cette recherche s'inscrit dans un mouvement plus large de la communauté IA visant à rendre les agents autonomes plus fiables et plus sûrs, alors que leur adoption s'accélère dans les entreprises. Les mécanismes de function calling, bien que puissants, restent une source de fragilité: un modèle peut mal interpréter une requête, halluciner des paramètres ou choisir le mauvais outil. En couplant ces systèmes à des méthodes de quantification de l'incertitude, les chercheurs espèrent ouvrir la voie à des agents capables d'évaluer eux-mêmes leur propre fiabilité, une étape jugée essentielle avant de leur confier des tâches à fort enjeu.

La compression TurboQuant de Google pourrait accélérer l'inférence sans perte de précision sur du matériel moins puissant

Google Research a dévoilé TurboQuant, un nouvel algorithme de quantification conçu pour compresser les caches Key-Value (KV) des grands modèles de langage jusqu'à six fois leur taille originale. Cette technique permet d'atteindre une compression à 3,5 bits avec une perte de précision quasi nulle, et sans nécessiter de réentraînement du modèle. Les premiers benchmarks communautaires confirment des gains d'efficacité substantiels, permettant aux développeurs de faire tourner des fenêtres de contexte très larges sur du matériel bien moins puissant qu'auparavant. L'enjeu est considérable : le cache KV est l'un des principaux goulots d'étranglement en mémoire lors de l'inférence de LLM, surtout lorsque les contextes atteignent des centaines de milliers de tokens. En réduisant l'empreinte mémoire de ces caches par un facteur pouvant atteindre 6x, TurboQuant ouvre la voie à des déploiements sur des GPU grand public ou des serveurs moins coûteux, ce qui représente une réduction directe des coûts d'inférence pour les entreprises et les développeurs indépendants. La compression des caches KV est un domaine de recherche actif, avec des travaux concurrents comme KVQuant ou StreamingLLM déjà publiés ces dernières années. L'originalité de TurboQuant réside dans sa capacité à atteindre ce niveau de compression sans phase de fine-tuning, ce qui facilite son intégration dans des pipelines existants. Google Research n'a pas encore précisé de calendrier de disponibilité dans ses produits, mais cette publication s'inscrit dans la course plus large à réduire le coût computationnel des modèles toujours plus grands comme Gemini.

La compression de contexte devient viable en production : une nouvelle technique réduit les entrées des LLM par 16 sans perte de précision

Une équipe de chercheurs issue de six institutions américaines, NYU, Columbia, Princeton, l'Université du Maryland, Harvard et le Lawrence Livermore National Laboratory, a publié cette semaine un article présentant les Latent Context Language Models (LCLMs), une nouvelle famille de modèles encodeur-décodeur capables de compresser le contexte d'entrée avant qu'il n'atteigne le décodeur. Résultat : une réduction du contexte jusqu'à 16 fois, avec des sorties générées 8,8 fois plus rapidement que les méthodes actuelles de référence sur le benchmark RULER. À un taux de compression de 4x, la précision atteint 91,76 % contre 94,41 % sans compression, soit moins de 3 points de perte pour diviser la taille du contexte par quatre. À 16x, où 93,75 % des tokens d'entrée sont supprimés, la précision descend à 75,06 %, mais surpasse encore toutes les méthodes de compression KV cache testées au même ratio. L'architecture repose sur un encodeur de 0,6 milliard de paramètres couplé à un décodeur de 4 milliards, entraîné sur plus de 350 milliards de tokens. Les modèles sont disponibles en open source sur HuggingFace. Ce travail s'attaque à un goulot d'étranglement croissant dans les systèmes d'IA en production : plus un agent fonctionne longtemps, plus il accumule de tokens issus de documents récupérés, de traces de raisonnement et d'historique de conversation, et plus la mémoire et le calcul nécessaires explosent. Contrairement aux méthodes de compression KV cache dominantes, qui chargent quand même le cache complet avant d'en supprimer des entrées, les LCLMs compriment la séquence de tokens en amont, ce qui réduit directement la charge côté décodeur. « Notre objectif était d'entraîner des modèles de bout en bout capables de gérer des contextes très longs de manière efficace et précise. Si vous y parvenez, tout devient moins cher et plus rapide », explique Micah Goldblum, co-responsable du projet et chercheur à Columbia. Les gains se confirment aussi sur des entrées courtes : sur GSM8K, un benchmark de problèmes mathématiques, les LCLMs surpassent toutes les autres méthodes testées, quel que soit le taux de compression. La compression de contexte n'est pas un problème nouveau, mais la plupart des solutions existantes souffrent d'un compromis rédhibitoire en production : soit elles dégradent trop la précision, soit les économies de mémoire ne se traduisent pas en gains de vitesse réels dans les infrastructures de déploiement standard. Les LCLMs sont conçus pour s'intégrer directement dans une architecture agentique existante, il suffit de faire passer les documents récupérés par le compresseur avant de les injecter dans le contexte du modèle. L'équipe a également démontré comment construire des agents capables de décompresser sélectivement les passages pertinents, à la manière d'un lecteur qui parcourt rapidement un texte avant de zoomer sur les détails utiles. Avec la montée en puissance des systèmes d'agents longs et des pipelines RAG à grande échelle, ce type de compression en amont pourrait devenir une brique technique incontournable pour maîtriser les coûts d'inférence.

💬 Moins de 3 points de précision pour diviser le contexte par 4, c'est le compromis qu'on attendait pour que ça tienne en prod. Ce qui tranche avec les approches KV cache, c'est que la compression se fait en amont du décodeur : les gains se traduisent en vitesse réelle, pas juste en mémoire sur le papier. Si tu fais du RAG ou de l'agentique, ça vaut le détour sur HuggingFace cette semaine.