Présentation : l'avantage méconnu du cache KV pour servir des LLM à grande échelle

L'enjeu est d'abord économique. Les GPU représentent le poste de dépense dominant de l'inférence, et un cache saturé provoque des dégradations brutales de performance au lieu d'un ralentissement progressif. Maîtriser ces seuils permet d'augmenter le nombre de requêtes servies par machine, de réduire le coût par jeton et de lisser les temps de réponse pour les utilisateurs. La réduction de la latence de queue compte particulièrement pour les applications interactives, où quelques requêtes lentes suffisent à dégrader l'expérience. Le gain porte aussi sur la disponibilité de l'ensemble de la flotte, pas seulement sur la vitesse d'une requête isolée.

Ce discours s'inscrit dans un mouvement plus large : à mesure que les modèles se généralisent en production, la difficulté se déplace de l'entraînement vers l'exploitation. Les techniques classiques des systèmes distribués, comme la hiérarchisation du stockage, la séparation des responsabilités et la gestion de la latence de queue, sont désormais appliquées à l'inférence. La séparation du prefill et du décodé, qui sollicitent le matériel de manière très différente, illustre cette convergence. Elle intéresse les fournisseurs de modèles, les opérateurs de cloud et les entreprises qui hébergent leurs propres modèles et cherchent à contenir leurs coûts.