Google dévoile les TPU 8i Max et TPU 8tx : une puce TPU double et un TPU confidentiel
Google a présenté deux nouveaux systèmes pour sa huitième génération de TPU, qui rejoignent les TPU 8t et TPU 8i annoncés en avril. Le TPU 8i Max réunit deux puces TPU 8i dans un seul boîtier et double la puissance de calcul, la SRAM et la bande passante HBM par rapport au TPU 8i. Chaque puce TPU 8i affiche 10,1 PFLOPS en FP4, 288 Go de HBM, 8 601 Go/s de bande passante et 384 Mo de SRAM. On peut donc en déduire environ 20,2 PFLOPS, 768 Mo de SRAM et 17,2 To/s par boîtier, mais Google n'a publié aucun de ces chiffres, pas plus que la capacité mémoire du Max. Le TPU 8tx reprend le silicium du TPU 8t, l'associe à des processeurs AMD EPYC de 5e génération et adopte le réseau Boardfly du TPU 8i. Google annonce une latence jusqu'à deux fois plus faible que le TPU 8t, avec une pénalité de sécurité quasi nulle. Il s'agit de nouvelles configurations et non de nouvelles puces.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de MarkTechPost. Lire l'article original →
Le TPU 8i Max loge deux fois plus de silicium dans le même encombrement de rack. Google le destine aux agents qui travaillent sur des bases de code entières ou sur des heures de vidéo, où la mémoire est le principal goulot d'étranglement. Le TPU 8tx vise les entreprises réglementées et les gouvernements, car il protège les données et les poids du modèle même pendant leur traitement actif, alors que ces données doivent normalement être déchiffrées en mémoire. Les équipes peuvent y affiner un modèle, le distiller et faire de l'apprentissage par renforcement sur un seul système, sans déplacer de données sensibles entre clusters. Côté logiciel, Google s'appuie sur TorchTPU, ouvert le mois dernier, qui exécute nativement les modèles PyTorch et Hugging Face, et sur des backends TPU pour vLLM et SGLang. TPU Sync, une bibliothèque C++ open source, répartit le cache KV entre HBM, DRAM et stockage. Sur Qwen3 235B, la latence médiane de transfert du cache KV passe de plusieurs secondes à environ 230 ms, et le délai avant le premier token baisse de 60 % en moyenne pour le modèle 235B et de 90 % pour le 480B à faible concurrence. Ces tests ont toutefois tourné sur Ironwood (TPU v7x), pas sur les nouveaux systèmes. Le découpage dynamique de GKE, désormais disponible, accélère le démarrage des jobs jusqu'à 5 fois et la reprise sur panne jusqu'à 4,5 fois.
Le contexte est celui d'une course aux accélérateurs d'inférence, où chaque acteur cherche à repousser le mur de la mémoire. Nvidia propose pour son GPU Rubin 50 PFLOPS en NVFP4, 288 Go de HBM4 et 22 To/s, avec une production en volume prévue au second semestre 2026. Microsoft a annoncé son Maia 200 en janvier 2026, avec plus de 10 PFLOPS, 216 Go de HBM3e, 7 To/s et 272 Mo de SRAM. Le Trainium3 d'AWS, annoncé en décembre 2025, offre 144 Go de HBM3e et 4,9 To/s. Google n'a communiqué ni benchmarks, ni prix, ni régions de disponibilité pour ses deux systèmes. Selon Bloomberg, relayé par Quartz, ils n'arriveraient qu'en 2027. La société complète l'ensemble par une suite d'agents en préversion, branchée sur Claude Code, Cursor et Antigravity pour l'intégration et le réglage des noyaux. Elle prévoit aussi Agent Compute Engine, qui suspend les sessions d'agents inactives et déporte leur mémoire de travail hors de la puce, avec une préversion attendue dans les prochains mois.
Le TPU 8tx, conçu pour protéger données et poids de modèles pendant leur traitement, pourrait intéresser les entreprises et administrations européennes soumises au RGPD et à des exigences de souveraineté, mais aucune disponibilité ni région n'est annoncée.