Anthropic signe un accord de 3,5 gigawatts avec Broadcom et Google pour des TPU

Guide pratique : utiliser le Transformer Engine NVIDIA avec précision mixte, vérifications FP8 et exécution de secours

Le Transformer Engine de NVIDIA s'impose progressivement comme un outil de référence pour accélérer l'entraînement des modèles de deep learning en entreprise. Un tutoriel technique publié récemment propose une implémentation complète en Python, couvrant l'installation des composants, la vérification de la compatibilité GPU et CUDA, ainsi que la comparaison directe entre un pipeline PyTorch standard et un pipeline optimisé via le Transformer Engine. La démonstration construit deux réseaux neuronaux (enseignant et élève), les entraîne en parallèle, mesure leurs performances respectives en termes de vitesse d'exécution et de consommation mémoire, et produit des visualisations comparatives. Le tutoriel prend soin de gérer les échecs d'installation silencieusement, de manière à ce que le notebook reste exécutable même lorsque l'extension native ne peut pas être compilée, via un mode de repli automatique. Ce type d'outillage répond à un besoin concret des équipes d'IA cherchant à réduire les coûts d'entraînement sans changer d'architecture. Le Transformer Engine exploite la précision FP8 (8 bits flottants), disponible sur les GPU NVIDIA à partir de l'architecture Hopper (H100), pour effectuer les calculs matriciels les plus lourds avec une empreinte mémoire réduite et un débit augmenté, tout en maintenant la précision finale du modèle grâce à la gestion automatique des facteurs d'échelle. En pratique, cela peut se traduire par des gains de vitesse significatifs sur les passes avant et arrière des transformers, réduisant directement le temps et le coût des runs d'entraînement à grande échelle. L'approche intéresse aussi bien les laboratoires de recherche que les équipes MLOps en production. NVIDIA a développé le Transformer Engine en réponse à la montée en puissance des modèles de langage et de vision nécessitant des milliards de paramètres, pour lesquels la précision FP32 ou même FP16 devient un goulot d'étranglement. Introduit officiellement avec les GPU H100 et le framework TransformerEngine open source, il s'intègre à PyTorch et JAX via des couches drop-in comme te.Linear et te.TransformerLayer. La complexité d'installation, notamment la nécessité d'un compilateur NVCC et des headers cuDNN présents sur la machine, freine encore son adoption hors des environnements cloud spécialisés. Le tutoriel aborde précisément ce point de friction en proposant une détection automatique de l'environnement et un fallback propre, ce qui devrait abaisser la barrière d'entrée pour les équipes souhaitant expérimenter avant de migrer leurs pipelines de production vers cette technologie.

TensorWave peut-il dépasser l'avantage concurrentiel de Nvidia ?

Nick Tatarchuk, fondateur de la startup TensorWave, a organisé mercredi à San Francisco un événement intitulé Beyond Summit, anciennement appelé Beyond CUDA. Ce changement de nom n'est pas anodin : l'édition précédente, tenue à San Jose en 2025 lors de la conférence GTC de Nvidia, avait attiré des centaines de participants désireux de discuter des alternatives au logiciel de Nvidia. Cette année, des sponsors et participants potentiels ont exprimé des réticences à s'associer à un événement aussi explicitement positionné contre le géant des puces. Tatarchuk lui-même reconnaît cette pression, d'autant que sa salle habituelle à San Jose avait été réservée pour plusieurs années... par Nvidia. L'événement réunit des startups qui développent des compilateurs, des noyaux et des couches d'optimisation pour concurrencer l'écosystème logiciel de Nvidia, dont plusieurs ont figuré dans les classements Top 50 Startups de 2024 et 2025. L'enjeu central est CUDA, la plateforme logicielle de Nvidia considérée comme son véritable fossé concurrentiel : elle simplifie radicalement l'utilisation du matériel Nvidia pour l'entraînement et l'inférence de modèles d'IA. Mais ce monopole commence à se fissurer. OpenAI et Meta ont récemment annoncé des accords importants avec AMD, rival direct de Nvidia, pour utiliser ses puces dans leurs infrastructures d'IA. Tatarchuk affirme que des laboratoires d'IA commencent désormais à réaliser des entraînements à grande échelle sur du matériel AMD, une pratique qui était à peine évoquée publiquement il y a encore peu. Pour la première fois depuis des années, des clients seraient prêts à envisager sérieusement des alternatives à CUDA, estime-t-il : "Il y a tellement d'entreprises sophistiquées qui n'ont pas besoin de CUDA." Ce mouvement s'inscrit dans un contexte de transformation profonde de l'industrie du calcul pour l'IA. La domination de Nvidia, dont les GPU représentent l'essentiel du marché de l'entraînement des grands modèles, est contestée à la fois par des fabricants de puces alternatifs et par un écosystème logiciel naissant. En parallèle, une autre initiative illustre l'effervescence du secteur : à l'université Stanford, un cours universitaire de premier cycle sur l'infrastructure IA est devenu un événement majeur, surnommé le "Compute Coachella". Le cours, complet, réunit cette semaine Jensen Huang (Nvidia), Lisa Su (AMD), Sam Altman (OpenAI), Satya Nadella (Microsoft) et Andrej Karpathy comme intervenants. Il est enseigné par Anjney Midha, ancien associé d'Andreessen Horowitz et investisseur précoce d'Anthropic, et Michael Abbott, ancien responsable ingénierie chez Apple, tous deux impliqués dans AMP, une initiative visant à faciliter l'accès aux ressources de calcul pour les entreprises.

L'Iran menace le centre de données Stargate d'OpenAI à Abu Dhabi

Les Gardiens de la révolution islamique iraniens (IRGC) ont publié le 3 avril 2026 une vidéo menaçant directement le datacenter Stargate d'OpenAI en cours de construction à Abu Dhabi. Diffusée sur le compte X d'un média d'État iranien, la vidéo évoque "l'annihilation totale et complète" des entreprises énergétiques et technologiques liées aux États-Unis dans la région, accompagnée d'une image du chantier Stargate aux Émirats arabes unis. Ce projet est évalué à 30 milliards de dollars et s'inscrit dans l'initiative Stargate globale d'OpenAI, dotée de 500 milliards de dollars, avec des investisseurs comme Oracle. Cette menace expose la fragilité géopolitique des infrastructures IA au Moyen-Orient. Le datacenter d'Abu Dhabi, conçu pour soutenir une expansion massive des capacités de calcul d'OpenAI, se retrouve pris en otage d'une escalade diplomatique entre Washington et Téhéran. Pour les entreprises technologiques américaines qui misent sur le Golfe comme hub stratégique, ce type de menace directe soulève des questions sérieuses sur la sécurité des investissements dans la région. La menace intervient dans un contexte de tensions accrues entre les États-Unis et l'Iran, Washington ayant évoqué des frappes potentielles contre des installations électriques iraniennes. Les Émirats arabes unis, partenaire clé du projet Stargate via le groupe G42, se retrouvent au centre d'un bras de fer qui dépasse largement le secteur tech. OpenAI avait annoncé ce partenariat comme une expansion stratégique vers les marchés du Golfe, mais la menace iranienne pourrait désormais compliquer la concrétisation de ces ambitions régionales.

L'IA est insatiable

L'intelligence artificielle provoque une pénurie mondiale de mémoire informatique, et plus précisément de mémoire à haute bande passante (HBM), un composant spécialement conçu pour alimenter les processeurs d'IA. Les fabricants de puces comme Nvidia et AMD exigent des quantités croissantes de HBM pour chacun de leurs processeurs, sous la pression de géants comme Google, Microsoft, OpenAI et Anthropic, qui financent une expansion sans précédent de leurs centres de données. Le site Hyperion de Meta en Louisiane, prévu à 5 gigawatts, illustre l'ampleur pharaonique de ces infrastructures. La pénurie ne se limite pas à la mémoire : la consommation électrique de l'IA pourrait atteindre 12 % de l'ensemble de la production américaine d'électricité d'ici 2028, tandis que les requêtes d'IA générative, qui ont consommé 15 térawattheures en 2025, devraient grimper à 347 TWh d'ici 2030. Les conséquences de cette tension sur les approvisionnements se répercutent bien au-delà des data centers. La pression des hyperscalers sur la demande en mémoire fait monter les prix de tous les appareils électroniques grand public, y compris des ordinateurs à bas coût comme le Raspberry Pi. Cette inflation technologique est amplifiée par la hausse générale des prix et l'instabilité du régime des droits de douane américains, rendant difficile pour les consommateurs et les entreprises d'évaluer le vrai coût de la pénurie. Pour les industriels de la tech, la contrainte d'approvisionnement oblige à repenser l'architecture des systèmes, potentiellement au détriment des performances. Les trois grands fabricants de HBM sont Micron, Samsung et SK Hynix, et tout ajustement de leur calendrier de production constituerait un signal fort d'un éventuel retour à l'équilibre. Du côté de la demande, les data centers pourraient se tourner vers des équipements sacrifiant une partie des performances pour réduire leur consommation de mémoire, tandis que les startups pourraient être contraintes de repenser leurs produits pour limiter leurs besoins en RAM. Cette pénurie, bien que pénalisante à court terme, pourrait aussi stimuler des innovations inattendues dans la conception de systèmes plus sobres en ressources, une dynamique que les observateurs de l'industrie suivront de près dans les prochains trimestres.

💬 Le Raspberry Pi qui augmente à cause des data centers d'OpenAI, c'est le genre d'effet domino qu'on n'anticipe pas. La pression des hyperscalers sur le HBM, ça se répercute sur toute la chaîne, du GPU H100 jusqu'au tinkerer qui commande une carte à 35 euros. Reste à voir si la contrainte d'approvisionnement pousse vraiment vers des architectures plus sobres, ou si c'est juste un argument de comm' le temps que Micron et SK Hynix rattrapent la demande.