Buoyant lance Kinference, un plan de contrôle d'inférence open source pour Kubernetes et vLLM
Buoyant, l'entreprise à l'origine du service mesh Linkerd, a publié Kinference, un projet open source sous licence Apache 2.0 destiné à bâtir des plateformes d'inférence sur Kubernetes. Écrit en Rust et disponible dans sa version v0.1.0-alpha.7, il joue le rôle de plan de contrôle devant une flotte de workers vLLM : vLLM reste le plan de données, Kinference décide où part chaque requête. Le système repose sur une passerelle de trafic et un gestionnaire d'inférence exposant une interface gRPC, qui renvoie le point d'arrivée choisi et un corps de requête éventuellement modifié. Il s'associe à un proxy comme la Buoyant Gateway, surveille les événements de cache KV et les métriques des moteurs, et utilise la crate dynamo-kv-router de NVIDIA. La configuration passe par cinq CRD : GatewayBackend, InferencePolicy, InferencePool, InferenceProvider et InferenceWorkerSet. Les politiques, versionnées dans git et validables hors ligne avec la CLI kinfctl, filtrent selon le locataire, le modèle demandé, l'état du pool de GPU ou des étiquettes sémantiques, puis minimisent en général le TTFT prédit à partir du recouvrement de cache et de la longueur des files.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de MarkTechPost. Lire l'article original →
Les gains annoncés sont importants sur le trafic riche en préfixes communs, mais ces chiffres sont publiés par Buoyant lui-même. Le test a mobilisé trois pods vLLM 0.31.0, chacun sur un GPU L40S, avec le modèle Qwen3.8-27B-FP8 et la charge générée par GuideLLM 0.8.1. Face à un simple Service ClusterIP, le TTFT médian passe de 6,88 s à 0,31 s (environ -95 %) sur une charge à préfixe partagé, et de 1,70 s à 0,59 s (environ -65 %) en multitour. La latence médiane de bout en bout recule de 45 % et 32 %. Le débit utile, c'est-à-dire les requêtes par minute respectant un objectif de TTFT, atteint 103,0 contre 14,0 requêtes par minute (environ 7,4 fois plus) sur préfixe partagé, et 82,7 contre 23,8 en multitour. Sans préfixe partagé, la médiane ne bouge pas (6,92 s contre 6,83 s), même si le TTFT au 95e centile baisse de 21,46 s à 12,33 s grâce à l'équilibrage tenant compte des files.
Pour les équipes qui servent plusieurs modèles ouverts à de nombreux clients internes, Kinference offre dans une seule couche le routage, la limitation de débit en jetons et les métriques par locataire. Les exemples de politiques montrent des usages concrets : envoyer les prompts simples vers un modèle plus petit sauf si le cache rend le grand modèle plus rapide, déborder vers un fournisseur cloud comme Bedrock quand plus de deux prompts sont en file, garder les données personnelles en local avec un rejet par défaut, réserver les requêtes batch aux GPU sous 70 % d'utilisation du cache, ou publier un alias stable de modèle. Cela déplace la logique de gouvernance hors du code applicatif et vers des règles déclaratives auditables.
Ces résultats demandent toutefois de la prudence. La référence est un routage aléatoire par kube-proxy, et non un routeur déjà conscient du cache comme llm-d ou Dynamo, ce qui avantage mécaniquement Kinference. Buoyant précise aussi que ses objectifs de latence (8 s et 4 s) conviennent à des agents hors ligne plutôt qu'à du chat interactif. Le projet, encore en alpha, s'inscrit dans la course à l'orchestration de l'inférence sur Kubernetes, où Buoyant cherche à étendre son expertise réseau au monde des LLM face à des projets soutenus par NVIDIA et par l'écosystème cloud natif.
Pas d\'impact direct sur la France/UE