RechercheMarkTechPost2h· 2 min de lecture

La course à la compression du KV Cache : TurboQuant vs OSCAR vs EpiCache

La mémoire cache des modèles de langage à long contexte est devenue l'un des principaux goulots d'étranglement de l'IA générative, et plusieurs équipes de recherche publient en 2026 des solutions radicalement différentes. Le mécanisme en question, le cache KV (clé-valeur), stocke à chaque couche du transformeur les vecteurs calculés pour chaque token déjà traité, évitant ainsi de les recalculer à chaque étape. Le problème : ce cache grossit linéairement avec la longueur du contexte. Pour Llama-3.1-70B en BF16, le coût atteint environ 0,31 Mo par token, soit 40 Go pour 128 000 tokens, et plus de 300 Go pour un million de tokens, un volume supérieur aux 140 Go des poids du modèle lui-même. À haute concurrence, ce cache monopolise la bande passante mémoire et ralentit l'inférence indépendamment de la puissance de calcul disponible. TurboQuant, développé conjointement par Google et l'Université de New York et présenté à l'ICLR 2026, répond à ce défi sans calibration préalable : chaque vecteur est d'abord soumis à une rotation aléatoire qui distribue les valeurs de façon approximativement gaussienne, puis quantifié par un quantificateur scalaire optimal (Lloyd-Max). Un second étage applique une transformation Johnson-Lindenstrauss à 1 bit sur le résidu, produisant une estimation sans biais des logits d'attention. OSCAR, développé par Together AI, adopte l'approche inverse : constatant que quatre niveaux de représentation (INT2) laissent trop peu de précision pour une rotation aveugle, il calcule lors d'une passe de calibration hors ligne une rotation spécifique au modèle, les clés sont projetées dans la base propre de la covariance des requêtes, les valeurs dans celle des valeurs pondérées par les scores d'attention. Apple a de son côté publié EpiCache pour s'attaquer à un problème que ni TurboQuant ni OSCAR n'adressent.

L'enjeu dépasse largement l'optimisation technique : réduire le cache KV, c'est rendre accessibles des contextes très longs à coût maîtrisé, ce qui change concrètement l'économie des services d'IA. Un modèle capable d'ingérer un million de tokens sans saturer la mémoire GPU peut traiter des documents entiers, des bases de code complètes ou des historiques de conversation longs sans dégradation ni coût prohibitif. TurboQuant affiche une neutralité qualitative à 3,5 bits et une dégradation marginale à 2,5 bits par canal, avec une précision quasi-totale sur le benchmark Needle-in-a-Haystack à compression 4x. OSCAR, conçu pour la production, est livré sous forme de bibliothèque C intégrable, ce qui facilite son déploiement dans des systèmes existants.

Ces travaux s'inscrivent dans une course à la compression des caches KV démarrée avec KIVI, qui avait établi la référence en quantifiant les clés par canal et les valeurs par token, réduisant la mémoire de pointe d'environ 2,6x, sans aucun réglage fin. La vraie difficulté reste les canaux aberrants : quelques dimensions aux magnitudes disproportionnées qui faussent la quantification et effondrent la précision en INT2 naïf. TurboQuant et OSCAR attaquent ce problème différemment, l'un par rotation aléatoire à coût nul, l'autre par calibration ciblée, laissant la porte ouverte à des hybrides qui combineraient les deux approches selon le régime de compression visé.

Cet article vous a été utile ?

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

1MarkTechPost

10 techniques de compression du cache KV pour l'inférence LLM : éviction, quantification et méthodes de faible rang

La compression du cache KV s'impose comme l'un des défis techniques centraux de l'inférence à grande échelle pour les grands modèles de langage. Pour un modèle de 30 milliards de paramètres fonctionnant avec une taille de lot de 128 et des séquences d'entrée de 1 024 tokens, le cache clé-valeur (KV) peut atteindre jusqu'à 180 Go de mémoire GPU. À titre de comparaison, les paramètres d'un modèle de 7 milliards de paramètres n'occupent que 14 Go, tandis que son cache KV peut en réclamer 72. Face à cette asymétrie, la recherche a produit ces deux dernières années une dizaine de techniques distinctes de compression. Les plus importantes sont : H2O (Heavy Hitter Oracle, présenté à NeurIPS 2023), qui identifie dynamiquement les tokens générant le plus d'attention et évince les autres, améliorant le débit jusqu'à 29 fois par rapport à Hugging Face Accelerate sur les modèles OPT-6.7B et OPT-30B avec seulement 20 % de tokens retenus ; StreamingLLM, qui conserve en permanence les premiers tokens du contexte comme ancres structurelles, combinés à une fenêtre glissante des tokens les plus récents ; SnapKV, qui cible spécifiquement la phase de prefill et agrège les scores d'attention sur une fenêtre d'observation finale pour sélectionner les positions importantes par tête d'attention ; et PyramidKV/PyramidInfer, qui alloue des budgets de cache différents selon les couches du transformeur, reflétant la diminution progressive du nombre de clés cruciales en profondeur. Ces techniques répondent à un problème qui freine directement la rentabilité des déploiements en production. Compresser le cache KV sans réentraîner le modèle permet d'augmenter la taille des lots traités simultanément, donc le nombre d'utilisateurs servis par GPU, et de réduire les coûts d'inférence. StreamingLLM rend possible des conversations infiniment longues sur du matériel limité, tandis que SnapKV s'adapte mieux aux prompts longs comme les documents juridiques ou médicaux. La granularité par couche de PyramidKV permet d'aller plus loin dans la compression sans dégradation de précision mesurable sur des benchmarks comme LongBench. Ces approches s'inscrivent dans une tendance de fond : à mesure que les fenêtres de contexte des LLM s'étendent de 4 000 à plusieurs centaines de milliers de tokens, le cache KV devient proportionnellement plus coûteux que les poids du modèle lui-même. Les grandes entreprises comme OpenAI, Google et les fournisseurs cloud sont confrontés à ce goulot d'étranglement dès qu'ils cherchent à servir des millions de requêtes simultanées. L'éviction de tokens, la quantification du cache et les méthodes à faible rang constituent trois familles complémentaires de solutions, et leur combinaison, encore peu explorée en production, représente probablement la prochaine frontière pour réduire le coût marginal de chaque token généré.

RecherchePaper

1 source

2InfoQ AI

La compression TurboQuant de Google pourrait accélérer l'inférence sans perte de précision sur du matériel moins puissant

Google Research a dévoilé TurboQuant, un nouvel algorithme de quantification conçu pour compresser les caches Key-Value (KV) des grands modèles de langage jusqu'à six fois leur taille originale. Cette technique permet d'atteindre une compression à 3,5 bits avec une perte de précision quasi nulle, et sans nécessiter de réentraînement du modèle. Les premiers benchmarks communautaires confirment des gains d'efficacité substantiels, permettant aux développeurs de faire tourner des fenêtres de contexte très larges sur du matériel bien moins puissant qu'auparavant. L'enjeu est considérable : le cache KV est l'un des principaux goulots d'étranglement en mémoire lors de l'inférence de LLM, surtout lorsque les contextes atteignent des centaines de milliers de tokens. En réduisant l'empreinte mémoire de ces caches par un facteur pouvant atteindre 6x, TurboQuant ouvre la voie à des déploiements sur des GPU grand public ou des serveurs moins coûteux, ce qui représente une réduction directe des coûts d'inférence pour les entreprises et les développeurs indépendants. La compression des caches KV est un domaine de recherche actif, avec des travaux concurrents comme KVQuant ou StreamingLLM déjà publiés ces dernières années. L'originalité de TurboQuant réside dans sa capacité à atteindre ce niveau de compression sans phase de fine-tuning, ce qui facilite son intégration dans des pipelines existants. Google Research n'a pas encore précisé de calendrier de disponibilité dans ses produits, mais cette publication s'inscrit dans la course plus large à réduire le coût computationnel des modèles toujours plus grands comme Gemini.

UELes développeurs et entreprises européens pourraient bénéficier indirectement d'une réduction des coûts d'inférence LLM en déployant des modèles à large contexte sur du matériel grand public ou des serveurs moins coûteux.

RecherchePaper

1 source

3MarkTechPost

MIT, NVIDIA et Zhejiang University proposent TriAttention, une compression du cache KV à débit 2,5 fois supérieur

Des chercheurs du MIT, de NVIDIA et de l'université du Zhejiang ont présenté TriAttention, une nouvelle méthode de compression du cache KV qui résout l'un des goulots d'étranglement les plus critiques des grands modèles de langage actuels. Publiés dans un article disponible sur arXiv (référence 2504.04921), leurs travaux montrent que TriAttention atteint la même précision que l'attention complète sur le benchmark de raisonnement mathématique AIME25 avec des séquences de 32 000 tokens, tout en offrant un débit 2,5 fois supérieur ou une réduction de la mémoire KV d'un facteur 10,7. Les meilleures méthodes concurrentes, comme SnapKV, H2O ou R-KV, n'atteignent qu'environ la moitié de cette précision pour un niveau d'efficacité équivalent. L'enjeu est considérable pour tous ceux qui déploient des modèles de raisonnement avancés comme DeepSeek-R1 ou Qwen3. Ces modèles peuvent générer des dizaines de milliers de tokens avant de produire une réponse, et chaque token doit être stocké dans le cache KV, une structure mémoire qui grossit jusqu'à saturer complètement la mémoire GPU sur du matériel grand public. Les méthodes existantes tentent de compresser ce cache en évictant les tokens jugés peu importants, mais elles opèrent dans l'espace post-RoPE, après application du schéma d'encodage positionnel rotatif utilisé par la quasi-totalité des LLM modernes (Llama, Qwen, Mistral). Ce mécanisme fait pivoter les vecteurs Query et Key selon la position, rendant les requêtes anciennes inutilisables pour estimer l'importance des tokens récents. La fenêtre d'observation efficace se réduit alors à environ 25 requêtes, ce qui conduit à l'éviction définitive de tokens qui deviendront pourtant essentiels plus tard dans la chaîne de raisonnement. L'innovation de TriAttention repose sur une observation faite dans l'espace pré-RoPE, avant que la rotation positionnelle ne soit appliquée. Les chercheurs ont constaté que sur Qwen3-8B, environ 90 % des têtes d'attention présentent un indice de concentration R supérieur à 0,95, signifiant que leurs vecteurs Query et Key se regroupent de façon quasi parfaite autour de centres fixes et stables, indépendants de la position ou de la séquence d'entrée. Cette propriété, qu'ils appellent concentration Q/K, permet d'estimer la pertinence des tokens sans être perturbé par l'encodage positionnel. Le résultat est particulièrement important pour les têtes de récupération, ces composants spécialisés dans l'extraction d'informations factuelles précises depuis de longs contextes, qui étaient les premières victimes des méthodes post-RoPE. En préservant les tokens réellement utiles sur l'ensemble de la fenêtre de contexte, TriAttention maintient l'intégrité des longues chaînes de pensée là où les approches précédentes échouaient.

RecherchePaper

1 source

4Apple Machine Learning

EpiCache : gestion du cache KV épisodique pour les conversations longues sur appareils à ressources limitées

Des chercheurs ont présenté EpiCache, une nouvelle méthode de gestion de la mémoire cache pour les grands modèles de langage (LLM) conçue pour fonctionner sur des appareils aux ressources limitées. Le système s'attaque à un problème précis : lorsque les LLM maintiennent de longues conversations, le cache KV (Key-Value), qui stocke les calculs intermédiaires pour éviter de les recalculer, grossit de manière linéaire avec la longueur de l'historique. Sur des appareils comme les smartphones ou les ordinateurs grand public, cette croissance fait rapidement dépasser les limites de mémoire disponible. Le problème des approches existantes est double. D'abord, la plupart des méthodes de compression n'élaguent le cache qu'après avoir traité l'intégralité du contexte, ce qui entraîne un pic de consommation mémoire non maîtrisé. Ensuite, les techniques d'éviction basées sur la requête en cours restreignent la sémantique du cache à une seule question, rendant le système incapable de maintenir une cohérence conversationnelle sur le long terme. EpiCache contourne ces limites en découpant l'historique en épisodes gérés indépendamment, ce qui permet un contrôle précis de l'empreinte mémoire à tout moment. L'enjeu est stratégique pour la démocratisation de l'IA conversationnelle. Les fournisseurs comme Google, OpenAI et Anthropic repoussent les fenêtres de contexte vers le million de tokens, mais cette course aux capacités reste largement inaccessible hors de l'infrastructure cloud. EpiCache s'inscrit dans un mouvement plus large visant à faire tourner des modèles performants en local, sur des terminaux personnels, sans sacrifier la qualité des échanges longs.

RecherchePaper

1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, rédigé par un humain · désinscription en un clic