Google publie TPU Sync, un outil open source de transfert du cache KV pour les TPU
Google Cloud a publié TPU Sync, une bibliothèque open source en C++ (licence Apache-2.0) dédiée au déplacement des caches KV et des poids de modèles sur ses TPU. Elle traite la mémoire HBM des TPU, la DRAM de l'hôte, le stockage partagé et le réseau du centre de données comme une seule hiérarchie mémoire, et utilise des transferts DMA asynchrones qui préservent la disposition native des tenseurs. Elle s'appuie sur un cœur C++ avec des paquets Python pour PyTorch et JAX, et fonctionne sur les Cloud TPU v7x (Ironwood) et v6e. Lors de tests internes menés en juillet 2026 sur TPU v7x avec des modèles MoE de 235 à 480 milliards de paramètres, Google annonce une baisse de plus de 90 % de la surcharge de transfert du cache KV : la latence médiane pour Qwen3 235B passe de plusieurs secondes à environ 230 ms. Le temps moyen avant le premier token recule de 60 % pour le modèle de 235 milliards de paramètres et de 90 % pour celui de 480 milliards à faible concurrence, tandis que le débit de sortie gagne 30 à 70 % lors des pics de trafic. Avec le cache de préfixes, le temps avant le premier token baisse jusqu'à 90 % sur des contextes de 64K, le débit progresse de plus de 50 % et la latence inter-token P99 diminue de 30 %.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de MarkTechPost. Lire l'article original →
Également couvert par InfoQ AI.
Ces gains tiennent à quatre choix de conception : lecture directe des buffers JAX PJRT ou des tenseurs PyTorch sans sérialisation ni copie intermédiaire, transferts recouverts par le calcul grâce à un rythme de DMA contrôlé, absence de compilation XLA dans le chemin de données, et bande passante élevée jusqu'à 223 Go/s par hôte Ironwood (pour un plafond PCIe Gen5 de 256 Go/s) et environ 350 Gbps sur deux cartes réseau. Concrètement, dans un service où préremplissage et décodage sont séparés, le nœud de préremplissage décharge ses blocs KV vers la RAM de l'hôte, qui les transmet à l'hôte du nœud de décodage pendant que celui-ci continue de générer. Pour le cache de préfixes, la capacité effective augmente d'un ordre de grandeur lorsque les poids MoE occupent l'essentiel de la HBM. Pour les opérateurs de services d'inférence sur TPU, cela signifie des réponses plus rapides et une meilleure utilisation du matériel sans changer de modèle. Ces chiffres restent toutefois publiés par Google, issus de tests internes, et l'entreprise précise que les résultats réels varieront. Le README déconseille encore un usage général, et aucun résultat n'est publié pour le transfert de poids en apprentissage par renforcement.
Le déplacement de l'état du modèle, plus que son calcul, devient un goulot d'étranglement majeur de l'inférence à grande échelle, et TPU Sync répond à ce que proposent déjà, côté GPU, NVIDIA Dynamo avec KVBM et NIXL, LMCache ou Mooncake. La bibliothèque s'intègre à vLLM-TorchTPU comme connecteur KV, à SGLang-TorchTPU comme backend de transfert et d'E/S de cache hiérarchique, et à llm-d 1.0 sur GKE pour le routage par affinité de préfixes et un débordement expérimental vers Managed Lustre. Les sociétés Inferact et RadixArk ont co-conçu les intégrations vLLM et SGLang, et Google affirme que Meta et Wayfair évaluent l'architecture. Le stockage repose pour l'instant sur des backends POSIX expérimentaux, dont les SSD locaux et Managed Lustre. L'ouverture du code vise à ancrer les TPU dans l'écosystème des moteurs d'inférence ouverts, face à la domination de CUDA, et la suite dépendra de la validation indépendante des performances et de la maturation de la bibliothèque.