Google lance deux nouvelles puces IA pour protéger les données et accélérer les agents
Google poursuit le renforcement de sa gamme de puces d'intelligence artificielle avec deux nouveaux systèmes TPU, le 8tx et le 8i Max, présentés en complément de la huitième génération dévoilée en avril. Cette génération comptait alors deux variantes : la 8t, destinée à l'entraînement et au pré-entraînement des modèles, et la 8i, conçue pour l'inférence. Le TPU 8tx vise une inférence sécurisée et confidentielle, tandis que le 8i Max cible les fenêtres de contexte massives et la plus grande densité de calcul par rack. Le 8tx repose sur la puce 8t, dont il conserve 216 Go de mémoire HBM3e et une puissance de 12 600 TFLOPS en FP4, mais y ajoute la topologie réseau « high-radix », dite Boardfly, développée pour le 8i. Selon Google, cela offre une latence jusqu'à deux fois inférieure à celle du 8t, pour une perte de performance quasi nulle. Le système est associé à un processeur AMD EPYC.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de Next INpact. Lire l'article original →
Le choix du nom 8tx s'explique par sa filiation : le système suit la puce de base, la 8t, même si l'accent est mis sur l'inférence. Une puce optimisée pour l'entraînement peut aussi faire de l'inférence, et inversement, simplement avec de moindres performances qu'un composant spécialisé. L'enjeu est considérable pour les entreprises et les administrations qui hésitent à confier des données sensibles à des modèles hébergés dans le cloud. Un calcul protégé de bout en bout, avec des garanties de confidentialité, répond à une exigence de plus en plus fréquente dans la finance, la santé ou le secteur public. De son côté, le 8i Max s'adresse aux agents d'IA, qui manipulent de longues séquences et ont besoin de conserver beaucoup d'informations en mémoire pour raisonner sur des tâches étendues. Augmenter la densité par rack permet aussi de réduire les coûts d'exploitation des centres de données.
Cette annonce s'inscrit dans une stratégie de spécialisation croissante du matériel d'IA, où l'entraînement et l'inférence ne sont plus servis par une puce unique. Google, qui conçoit ses TPU depuis plusieurs années, cherche ainsi à réduire sa dépendance aux GPU de Nvidia et à proposer une alternative crédible à ses clients du cloud. La présence d'un processeur AMD EPYC dans le 8tx montre aussi que l'entreprise assemble des briques de fournisseurs différents autour de ses propres accélérateurs. La concurrence est vive : Amazon développe ses puces Trainium et Inferentia, Microsoft ses accélérateurs Maia, et Nvidia continue d'imposer son rythme avec ses nouvelles architectures. Les performances réelles du 8tx et du 8i Max, ainsi que leur disponibilité commerciale, seront déterminantes pour mesurer l'avantage que Google peut en tirer face à ses rivaux.
Le TPU 8tx, dédié à l'inférence confidentielle, pourrait intéresser les entreprises et administrations européennes soucieuses de la protection des données sensibles dans le cloud.