NVIDIA introduit une méthode de pré-entraînement en 4 bits avec NVFP4, validée sur un modèle hybride Mamba-Transformer de 12 milliards de paramètres

Guide pratique : utiliser le Transformer Engine NVIDIA avec précision mixte, vérifications FP8 et exécution de secours

Le Transformer Engine de NVIDIA s'impose progressivement comme un outil de référence pour accélérer l'entraînement des modèles de deep learning en entreprise. Un tutoriel technique publié récemment propose une implémentation complète en Python, couvrant l'installation des composants, la vérification de la compatibilité GPU et CUDA, ainsi que la comparaison directe entre un pipeline PyTorch standard et un pipeline optimisé via le Transformer Engine. La démonstration construit deux réseaux neuronaux (enseignant et élève), les entraîne en parallèle, mesure leurs performances respectives en termes de vitesse d'exécution et de consommation mémoire, et produit des visualisations comparatives. Le tutoriel prend soin de gérer les échecs d'installation silencieusement, de manière à ce que le notebook reste exécutable même lorsque l'extension native ne peut pas être compilée, via un mode de repli automatique. Ce type d'outillage répond à un besoin concret des équipes d'IA cherchant à réduire les coûts d'entraînement sans changer d'architecture. Le Transformer Engine exploite la précision FP8 (8 bits flottants), disponible sur les GPU NVIDIA à partir de l'architecture Hopper (H100), pour effectuer les calculs matriciels les plus lourds avec une empreinte mémoire réduite et un débit augmenté, tout en maintenant la précision finale du modèle grâce à la gestion automatique des facteurs d'échelle. En pratique, cela peut se traduire par des gains de vitesse significatifs sur les passes avant et arrière des transformers, réduisant directement le temps et le coût des runs d'entraînement à grande échelle. L'approche intéresse aussi bien les laboratoires de recherche que les équipes MLOps en production. NVIDIA a développé le Transformer Engine en réponse à la montée en puissance des modèles de langage et de vision nécessitant des milliards de paramètres, pour lesquels la précision FP32 ou même FP16 devient un goulot d'étranglement. Introduit officiellement avec les GPU H100 et le framework TransformerEngine open source, il s'intègre à PyTorch et JAX via des couches drop-in comme te.Linear et te.TransformerLayer. La complexité d'installation, notamment la nécessité d'un compilateur NVCC et des headers cuDNN présents sur la machine, freine encore son adoption hors des environnements cloud spécialisés. Le tutoriel aborde précisément ce point de friction en proposant une détection automatique de l'environnement et un fallback propre, ce qui devrait abaisser la barrière d'entrée pour les équipes souhaitant expérimenter avant de migrer leurs pipelines de production vers cette technologie.

Un meilleur matériel peut transformer les outsiders de l'IA en acteurs majeurs

Le dernier modèle Llama de Meta atteint les 2 000 milliards de paramètres, un chiffre vertigineux qui illustre la course effrénée au gigantisme dans l'industrie de l'IA. Mais des chercheurs de l'université de Stanford ont mis au point une puce expérimentale qui pourrait changer radicalement l'équation énergétique de ces modèles colossaux. Leur approche repose sur un phénomène connu sous le nom de sparsité : dans la plupart des grands modèles de langage, une majorité des paramètres (poids et activations) sont égaux à zéro, ou si proches de zéro qu'ils peuvent être traités comme tels sans perte de précision. L'équipe Stanford a conçu le premier accélérateur matériel capable de traiter efficacement tous les types de charges de travail sparses, en partant de zéro sur la pile complète : hardware, firmware bas niveau et logiciel applicatif. Résultat mesuré : la puce consomme en moyenne soixante-dix fois moins d'énergie qu'un CPU classique et effectue les calculs huit fois plus vite. L'enjeu est considérable pour l'ensemble de l'industrie. Les modèles d'IA actuels exigent des ressources computationnelles et énergétiques croissantes, avec un impact carbone qui devient difficile à ignorer. Or les GPU et CPU dominants aujourd'hui n'exploitent pas naturellement la sparsité : ils multiplient et additionnent les zéros comme n'importe quel autre nombre, gaspillant du temps et de l'énergie. Sauter ces opérations inutiles et ne stocker que les paramètres non nuls permettrait, en théorie, de faire tourner des modèles de très grande taille avec une fraction de l'infrastructure actuelle, sans sacrifier leurs performances. Pour les entreprises qui déploient des modèles en production, les économies potentielles sur les coûts d'inférence seraient substantielles. Il y a deux ans, Cerebras avait déjà démontré que l'on peut mettre à zéro jusqu'à 70 à 80 % des paramètres d'un grand modèle de langage sans perte de précision mesurable, en testant cette approche sur le Llama 7B de Meta, avec des implications étendues à des modèles comme ChatGPT ou Claude. La sparsité peut aussi être naturellement présente dans certaines architectures, comme les modèles de recommandation ou les graphes de réseaux sociaux, où la plupart des connexions possibles n'existent pas. Ce que l'équipe Stanford apporte maintenant, c'est la preuve matérielle que toute la chaîne d'exécution peut être repensée pour exploiter cette propriété. La prochaine étape sera de savoir si l'industrie, dominée par Nvidia et ses GPU denses, adoptera cette direction ou si la sparsité restera un sujet de recherche académique face à la brutalité des roadmaps de puissance brute.

💬 70x moins d'énergie, c'est pas un détail. Stanford prouve qu'on peut reconstruire toute la stack matérielle autour de la sparsité et obtenir des résultats qui feraient pâlir n'importe quel data center. La vraie question, c'est si Nvidia va laisser ce genre de truc décoller, ou si leurs roadmaps de puissance brute vont continuer à dicter la direction de l'industrie pendant les 10 prochaines années.

NVIDIA lance Ising : sa première famille de modèles d'IA quantique ouverts pour systèmes hybrides quantique-classique

NVIDIA a lancé Ising, la première famille de modèles d'IA quantique ouverts au monde, conçue pour aider chercheurs et entreprises à construire des processeurs quantiques capables de faire tourner des applications réelles. La famille comprend deux composants distincts : Ising Calibration, un modèle de langage visuel qui interprète en temps réel les mesures des processeurs quantiques et ajuste automatiquement le système pour le maintenir en fonctionnement optimal, réduisant les temps de calibration de plusieurs jours à quelques heures ; et Ising Decoding, disponible en deux variantes de réseau de neurones convolutif 3D optimisées respectivement pour la vitesse et la précision, qui effectuent le décodage d'erreurs quantiques en temps réel. Ising Decoding se montre jusqu'à 2,5 fois plus rapide et 3 fois plus précis que pyMatching, l'actuel standard open source du secteur. Dès le premier jour, des organisations comme IonQ, IQM Quantum Computers, Infleqtion, le Fermi National Accelerator Laboratory, Harvard, Sandia National Laboratories, l'Université de Chicago et une douzaine d'autres acteurs académiques et commerciaux ont déjà adopté ces outils. L'enjeu est considérable : le principal frein au déploiement concret de l'informatique quantique n'est pas la puissance brute des processeurs, mais leur extrême sensibilité aux perturbations extérieures. Les qubits, unités de calcul fondamentales, accumulent des erreurs à une vitesse qui rend tout calcul utile quasiment impossible sans une calibration rigoureuse et une correction d'erreurs en temps réel. Ces deux opérations étaient jusqu'ici manuelles, lentes et difficiles à mettre à l'échelle. En automatisant ces processus critiques par l'IA, NVIDIA s'attaque directement au goulot d'étranglement qui sépare les démonstrateurs de laboratoire des machines véritablement opérationnelles. Une réduction des temps de calibration de plusieurs jours à quelques heures représente un gain de productivité transformateur pour les équipes de recherche. Ising s'inscrit dans la stratégie plus large de NVIDIA pour positionner ses GPU au coeur de l'informatique hybride quantique-classique. Les modèles Ising complètent CUDA-Q, la plateforme logicielle de NVIDIA pour les workflows hybrides, et s'intègrent avec NVQLink, l'interconnexion matérielle GPU-QPU développée par l'entreprise pour permettre une communication à faible latence entre processeurs graphiques et unités quantiques. Cette approche suit la même philosophie que CUDA pour l'accélération GPU : coupler étroitement calcul classique et calcul accéléré. Alors que des acteurs comme IBM, Google et des startups spécialisées investissent massivement dans la course au quantique, NVIDIA parie sur une stratégie de plateforme transversale, agnostique aux technologies de qubits, qui lui permet de s'imposer comme couche d'infrastructure indispensable quelle que soit la technologie gagnante.

💬 La calibration des qubits qui passe de plusieurs jours à quelques heures, c'est le vrai goulot d'étranglement du quantique, et c'est la première fois qu'on voit une solution à la hauteur du problème. NVIDIA fait exactement ce qu'ils ont fait avec CUDA : s'imposer comme couche d'infra incontournable avant même de savoir quelle technologie va gagner. Harvard, Fermi Lab, IQM dès le premier jour, ça ne s'invente pas.

OpenAI crée un protocole réseau avec AMD, Broadcom, Intel, Microsoft et NVIDIA pour résoudre les goulets d'étranglement des supercalculateurs IA

OpenAI a annoncé la mise au point du protocole réseau MRC en collaboration avec AMD, Broadcom, Intel, Microsoft et NVIDIA. Ce protocole open source permet de transmettre des données simultanément sur des centaines de chemins entre les GPU, là où les architectures traditionnelles n'en empruntent qu'un à la fois. Là où les infrastructures classiques nécessitent trois ou quatre couches de commutateurs réseau pour relier des dizaines de milliers de puces, MRC n'en requiert que deux pour interconnecter plus de 100 000 GPU. Le protocole est déjà opérationnel sur le supercalculateur Stargate d'OpenAI. Cette simplification de l'architecture réseau a des conséquences directes sur les coûts et la consommation d'énergie des centres de données d'IA. Supprimer une à deux couches de commutateurs représente une économie substantielle en matériel, en câblage et en électricité, à une époque où les dépenses en infrastructure IA atteignent des dizaines de milliards de dollars par an. Pour les opérateurs de supercalculateurs, cette approche permet d'atteindre des échelles inédites tout en maîtrisant la facture énergétique, un enjeu majeur alors que la consommation des data centers est de plus en plus scrutée. Le projet Stargate, dont les investissements annoncés dépassent 500 milliards de dollars sur plusieurs années, illustre l'ambition d'OpenAI de bâtir sa propre infrastructure de calcul à très grande échelle. La création d'un protocole open source, développé en consortium avec les principaux fabricants de semi-conducteurs et Microsoft, signale une volonté de standardiser les communications entre GPU à l'échelle des supercalculateurs modernes. En ouvrant MRC, OpenAI mise sur une adoption large qui pourrait en faire un standard de fait pour l'industrie.

💬 Enlever une à deux couches de commutateurs sur 100 000 GPU, ça veut dire des centaines de millions en matériel et en électricité économisés, pas un détail à cette échelle. Ce qui me frappe, c'est qu'OpenAI ouvre le protocole en consortium avec AMD, Broadcom, Intel et NVIDIA, plutôt que de le garder propriétaire. La stratégie est lisible : faire de MRC un standard de fait avant que quelqu'un d'autre s'y colle.