Aller au contenu principal

Dossier Blackwell — page 2

97 articles · page 2 sur 2

Suivi de l'architecture GPU Blackwell de Nvidia : puces, performances, disponibilité et adoption pour l'entraînement et l'inférence des modèles d'IA.

51MarkTechPost LLMsActu

NVIDIA lance Nemotron 3 Embed, une collection d'embeddings ouverts dont le modèle 8B se classe premier sur RTEB

NVIDIA a publié Nemotron 3 Embed, une collection de modèles d'embedding conçue pour la recherche documentaire à grande échelle, le RAG agentique, la recherche de code et la mémoire des agents IA. La collection comprend trois modèles ouverts sous licence OpenMDW 1.1 : Nemotron-3-Embed-8B-BF16, la version privilégiant la précision maximale, Nemotron-3-Embed-1B-BF16, une version compacte au design identique, et Nemotron-3-Embed-1B-NVFP4, une variante quantifiée en 4 bits optimisée pour l'architecture Blackwell. Les trois sont des encodeurs transformer à attention bidirectionnelle, avec une longueur de séquence maximale de 32 768 tokens et une évaluation menée sur 34 langues. Les modèles s'appuient sur les bases Mistral : Ministral-3-8B-Instruct-2512 pour la version 8B, et Ministral-3-3B-Instruct-2512 pour les deux versions 1B. Sur le benchmark RTEB (Retrieval Embedding Benchmark), qui couvre 16 tâches publiques, la version 8B affiche un score NDCG@10 de 78,46, la plaçant en tête de classement au 17 juillet 2026. La version 1B atteint 72,38, tandis que sa déclinaison NVFP4 obtient 72,00, ne perdant que 0,38 point tout en conservant 99,5% de la précision du modèle de référence. Ces performances comptent parce que la qualité des embeddings détermine directement ce qu'un agent IA peut retrouver et exploiter comme information avant même de raisonner dessus. Un gain comme celui du modèle 1B, qui devance de 10,4 points l'ancienne génération llama-nemotron-embed-vl-1b-v2, permet de déployer des systèmes de recherche plus performants sur du matériel plus modeste, un enjeu direct pour les entreprises qui veulent industrialiser le RAG sans multiplier les coûts de calcul. La quasi-absence de perte de précision avec la quantification NVFP4, couplée à un débit jusqu'à deux fois supérieur au format BF16 sur les puces Blackwell selon NVIDIA, ouvre la voie à des déploiements massifs à moindre coût, un argument de poids pour les fournisseurs de cloud et les équipes qui opèrent des infrastructures d'IA agentique à grande échelle. Les gains obtenus sur les petits modèles ne viennent pas d'un entraînement réduit mais d'un pipeline de compression en plusieurs étapes. Le modèle 3B nemotron-3-embed-3b a d'abord été élagué à 2 milliards de paramètres via une recherche d'architecture neuronale (NAS) de NVIDIA ModelOpt, évaluant largeur cachée, taille des couches, nombre de têtes d'attention et profondeur sur un corpus de calibration de 50 000 exemples. Le modèle a ensuite été distillé à partir du modèle 8B, combinant perte de distance cosinus et erreur quadratique moyenne, avant de répéter l'opération pour obtenir la version 1,14 milliard de paramètres finale. Pour la variante NVFP4, la quantification a ciblé les poids et activations des couches linéaires via nvidia-modelopt v0.45.0, suivie d'une distillation adaptée à la quantification (QAD) sur 20 000 exemples pour préserver la précision sur les textes longs, calibrée avec 512 échantillons issus du jeu de données CNN/DailyMail. Les vecteurs de la version 2048 dimensions peuvent aussi être tronqués à 1024 ou 512 dimensions, un choix qui s'inscrit dans la tendance plus large des laboratoires d'IA à optimiser le coût d'inférence sans sacrifier la qualité de récupération.

52NVIDIA AI Blog 

Performance par watt : la métrique clé pour l'efficacité des infrastructures d'IA

Le journal d'électricité disponible détermine désormais combien de tokens une "AI factory" peut générer, et donc son chiffre d'affaires et sa rentabilité. NVIDIA défend l'idée que la performance par watt, une métrique qui ne peut être trafiquée mais seulement gagnée par des résultats réels, devient la mesure de référence pour l'infrastructure IA. Pratiquement tous les modèles de pointe reposent aujourd'hui sur une architecture "mixture-of-experts" (MoE), ce qui exige une conception conjointe de toutes les couches matérielles et logicielles pour servir ces modèles à l'échelle d'un rack. La plateforme Blackwell NVL72 de NVIDIA constitue cette base, avant que la future plateforme Vera Rubin ne la prolonge. Sur les modèles ouverts les plus récents, les systèmes GB300 NVL72 affichent jusqu'à 25 fois plus de performance par watt que la génération Hopper sur DeepSeek V4 Pro, 20 fois sur GLM5.1, et 10 fois sur Kimi K2.6, un modèle conçu pour les tâches agentiques de longue durée, selon les données de SemiAnalysis InferenceX. NVIDIA précise que ces chiffres évoluent encore et publie des courbes de Pareto par modèle plutôt qu'un score unique, avec un outil nommé DynoSim permettant aux équipes de trouver leur point d'équilibre optimal entre latence, débit et coût avant de mobiliser la moindre heure de calcul GPU pour validation. Cette efficacité résulte d'une conception intégrée entre silicium et logiciel. Le commutateur NVLink, désormais dans sa sixième génération avec Vera Rubin, est pensé spécifiquement pour les charges de travail IA, avec des fonctions comme SHARP qui déportent des calculs directement dans le réseau plutôt que sur les GPU. La pile logicielle d'inférence, incluant Dynamo, TensorRT LLM, SGLang et vLLM, combine quantification NVFP4, service désagrégé, parallélisme d'experts à grande échelle et gestion du cache KV. Ces optimisations logicielles continuent de progresser dans le temps : sur DeepSeek V4, la performance par watt s'est améliorée jusqu'à 5 fois en un seul mois, sans changement matériel. L'enjeu dépasse la seule puce : dans les data centers IA actuels, les pertes liées au refroidissement et à l'inefficacité des racks font qu'environ 60% seulement de l'électricité tirée du réseau se transforme en calcul utile. Pour combler cet écart, NVIDIA propose DSX MaxLPS, le logiciel de gestion énergétique de sa plateforme DSX, qui répartit la puissance entre GPU et racks en temps réel et s'appuie sur le refroidissement liquide à eau tiède. L'enjeu, dans un monde où la disponibilité électrique devient la contrainte principale de l'IA, est de déterminer quelles entreprises pourront continuer à faire croître leurs capacités de calcul face à la demande croissante générée par l'IA agentique, et lesquelles se heurteront à un plafond énergétique. Cette course à l'efficacité oppose directement NVIDIA à ses concurrents sur le terrain du coût par token généré, un indicateur qui devient central dans les décisions d'investissement des opérateurs de centres de données à travers le monde.

UELes data centers européens, confrontés aux mêmes contraintes de disponibilité électrique, pourraient bénéficier de ces gains d'efficacité énergétique pour réduire coûts et empreinte carbone, mais aucune entreprise ni réglementation française ou européenne n'est directement concernée.

💬 Cette histoire de watts qui déterminent le chiffre d'affaires, c'est le vrai sujet caché derrière tout le bruit sur les GPU. NVIDIA a raison sur un point : quand 40% de l'électricité part en pertes de refroidissement avant même d'atteindre le calcul utile, la course n'est plus au nombre de puces mais à ce qu'on en tire. Retenez cette phrase : la contrainte électrique va bientôt trier les opérateurs de data centers en deux camps, ceux qui scalent et ceux qui plafonnent, et ce sera un critère d'investissement avant d'être un critère technique.

InfrastructureActu
1 source
Import AI 464 : Fables écrit des noyaux GPU, l'automatisation de l'IA et le calcul analogique
53Import AI 

Import AI 464 : Fables écrit des noyaux GPU, l'automatisation de l'IA et le calcul analogique

Fable, un modèle d'IA développé par Anthropic, vient d'écrire ce qu'un des mainteneurs du benchmark KernelBench-Mega qualifie de premier « véritable mégakernel » jamais soumis à ce test, et le plus rapide à ce jour. Sur un GPU RTX PRO 6000 Blackwell, le code CUDA généré par Fable atteint une accélération de 18,71 fois par rapport à une référence PyTorch optimisée, loin devant les autres tentatives : Claude Opus 4.8 avec du code Triton obtient 14,4 fois, GLM-5.2 atteint 11,14 fois et GPT-5.5 seulement 4,34 fois. Le point technique remarquable, souligné par l'analyste Elliot Arledge sur X, est que le profileur torch.profiler ne montre qu'un seul lancement de kernel coopératif par token décodé, alors que toutes les autres solutions bien classées décomposent le problème en 4 à 14 lancements séparés par token. Par ailleurs, des chercheurs du Center for AI Safety et de Scale Labs ont publié en juillet 2026 une mise à jour du Remote Labor Index, un test mesurant la capacité des IA à mener de bout en bout des projets freelance en ligne à valeur économique, dans des domaines comme la conception 3D, l'architecture, le graphisme, la vidéo, l'audio ou le développement web. Le taux de réussite des systèmes d'IA sur cet index est passé de 2,5% lors de son lancement en octobre 2025 à 16,1% en juillet 2026, avec Fable 5 en tête à 16,1%, suivi d'Opus 4.8 à 8,3% et GPT-5.5 à 6,3%. Ces deux résultats pointent vers un même phénomène : les IA progressent rapidement sur des tâches jugées jusqu'ici difficiles à automatiser de bout en bout. La capacité à concevoir des kernels performants est une brique fondamentale de la recherche en IA elle-même, ce qui signifie que des progrès sur ce front peuvent alimenter une boucle d'auto-amélioration des systèmes d'IA sur leur propre développement. Sur le plan économique, la progression du Remote Labor Index interroge directement l'avenir du travail freelance en ligne, avec des exemples concrets comme la modélisation 3D de bijoux, la création d'animations publicitaires ou la production de plans architecturaux photoréalistes. Les auteurs du Remote Labor Index notent que la frontière des capacités a plus que quadruplé en moins de huit mois, un signal de la vitesse d'avancée des agents IA économiquement viables. La question posée est celle du seuil critique : que se passera-t-il pour l'emploi en ligne lorsque ce taux de réussite atteindra 80%. De nouvelles tâches émergeront sans doute, créées par l'innovation humaine face à des IA de plus en plus compétentes, mais leur nombre suffira-t-il à compenser les emplois remplacés reste une question ouverte que ces benchmarks, comme KernelBench-Mega et le Remote Labor Index, permettront de suivre dans les mois à venir.

💬 Un seul lancement de kernel là où tout le monde en empile quatorze, ça montre que Fable ne "traduit" pas du code, il repense le problème. Le vrai signal n'est pas la perf GPU en soi, c'est que l'IA commence à optimiser les briques qui servent à construire l'IA suivante, une boucle qui s'auto-nourrit. Et pendant qu'on regarde ça, le Remote Labor Index a quadruplé en huit mois : le seuil qui va faire mal, c'est quand ce taux de réussite sur des missions freelance passera de 16% à 80%, pas avant.

LLMsPaper
1 source
NVIDIA ouvre son informatique IA à grande échelle et invite ses partenaires à soutenir le développement de l'infrastructure IA
54NVIDIA AI Blog 

NVIDIA ouvre son informatique IA à grande échelle et invite ses partenaires à soutenir le développement de l'infrastructure IA

NVIDIA a dévoilé un nouveau modèle économique destiné à ouvrir l'accès à ses infrastructures de calcul aux startups d'IA, créateurs de modèles, entreprises et organismes de recherche qui manquaient jusqu'ici de capital pour financer des équipements aussi coûteux. Ce dispositif repose sur un partage de revenus avec des "AI clouds" partenaires : ces fournisseurs de cloud vendront des services alimentés par la technologie NVIDIA, l'entreprise percevant à la fois le revenu classique lié à la vente de matériel et une part des revenus générés par la capacité mise à disposition. Deux entreprises figurent parmi les premières à s'engager dans ce cadre. Sharon AI va déployer jusqu'à 40 000 GPU NVIDIA Grace Blackwell GB300, dans ce que son cofondateur et PDG James Manning décrit comme une étape clé de la mission de l'entreprise pour offrir une infrastructure de calcul IA souveraine et à grande échelle. Firmus, de son côté, construit un site "DSX AI factory" à Batam, en Indonésie, dont la puissance devrait atteindre 360 mégawatts pour jusqu'à 170 000 GPU NVIDIA. Selon Tim Rosenfield, co-PDG de Firmus Technologies, les entreprises spécialisées en IA ont besoin d'un accès à une infrastructure de calcul évolutive, économe en énergie et en coûts, pour rester compétitives à l'échelle mondiale. Cette initiative répond à un changement structurel de la demande en calcul : l'IA passe désormais du stade de l'entraînement de modèles à celui de la production à grande échelle, avec des "usines à IA" qui doivent tourner en continu pour générer des tokens en volume. Or les jeunes pousses du secteur peinaient à obtenir des financements pour ce type d'infrastructure, même lorsqu'elles disposaient d'engagements clients à long terme, faute de garanties suffisantes pour les prêteurs. En alignant ses intérêts économiques sur ceux des clouds partenaires, NVIDIA espère accélérer l'adoption de ses plateformes par le segment le plus dynamique du marché, tout en s'assurant un flux de revenus récurrent indexé sur l'usage réel. Pour les créateurs de modèles, fournisseurs d'inférence et plateformes d'agents, cela signifie un accès plus rapide à du calcul accéléré de bout en bout, sans avoir à attendre les longues étapes de sélection de site, d'approvisionnement énergétique, de construction et de mise en service du matériel. Des acteurs déjà bien installés dans l'écosystème, comme Baseten, Fireworks AI et Together AI, illustrent où se dirige la demande : ils ont besoin d'un accès immédiat à de la capacité cloud pour l'entraînement, le post-entraînement, l'ajustement fin et l'inférence agentique à fort volume, au service de développeurs et d'entreprises qui déploient l'IA en production. Leurs clients recherchent un accès fiable à du calcul NVIDIA à mesure que leur usage grandit, tout en gardant une flexibilité commerciale pour passer du stade pilote à la production. Ce nouveau modèle s'inscrit dans la stratégie plus large de NVIDIA de structurer un réseau mondial de partenaires cloud et d'usines à IA, conçu pour soutenir la montée en puissance rapide de l'intelligence artificielle générative et agentique dans les prochaines années.

💬 NVIDIA ne vend plus juste des puces, il devient actionnaire de la demande : en prenant une part des revenus de ses clouds partenaires, il aligne son intérêt sur le taux d'usage réel des GPU, pas sur le seul volume de vente. Bon, sur le papier ça débloque enfin les startups qui avaient les clients mais pas les garanties bancaires pour financer une usine à IA. Reste que ça renforce encore la dépendance de tout l'écosystème inférence à un seul fournisseur, et ça, ça devrait inquiéter plus de monde que ça n'en a l'air.

InfrastructureActu
1 source
NVIDIA et la Corée du Sud s'associent pour construire l'avenir de l'IA
55NVIDIA AI Blog 

NVIDIA et la Corée du Sud s'associent pour construire l'avenir de l'IA

Jensen Huang, fondateur et PDG de Nvidia, a atterri à Séoul vendredi 4 juin, accueilli par des fans et des journalistes dès sa descente d'avion. Ce déplacement fait suite à la conférence GTC Taipei organisée lors du COMPUTEX, et s'inscrit dans une tournée asiatique chargée. Huang a tenu à préciser l'enjeu central de sa visite : aligner la chaîne d'approvisionnement en IA avant une deuxième partie d'année qui s'annonce intense. Il a confirmé que Grace Blackwell, la plateforme phare de Nvidia, affiche de solides performances commerciales, et que Vera Rubin, la génération suivante, est désormais en pleine production industrielle. "Le premier semestre a déjà été très réussi, et nous allons être très occupés au second semestre", a-t-il déclaré à la presse. La Corée du Sud n'est pas un simple arrêt diplomatique dans l'agenda de Huang : c'est l'un des maillons stratégiques de l'écosystème mondial de l'IA. Le pays abrite des acteurs critiques de la fabrication de mémoires, une communauté gaming parmi les plus actives au monde, et un tissu industriel en robotique en pleine montée en puissance. Huang a explicitement identifié la robotique et l'IA physique comme "le prochain grand secteur" pour la Corée, appelant à des investissements ciblés dans ce domaine. Ce positionnement n'est pas anodin : la robotique incarnée, qui nécessite des puces, des capteurs et des modèles d'inférence rapide, est précisément le terrain où Nvidia cherche à imposer ses architectures comme standard de fait. La visite de Huang à Séoul s'inscrit dans une dynamique plus large de consolidation des alliances industrielles face à la pression géopolitique sur les semi-conducteurs. Alors que les restrictions américaines sur les exportations de puces vers certains marchés asiatiques compliquent le paysage, la Corée du Sud reste un partenaire de premier plan, à la fois client et fournisseur clé via Samsung et SK Hynix. Le programme de la visite inclut des rencontres avec des partenaires locaux dans la mémoire, la robotique et le gaming, avant que Huang ne passe à la table pour du poulet frit et du barbecue coréen, qu'il a jugés, sobrement, "délicieux".

UELes entreprises européennes dépendantes des puces NVIDIA et de la mémoire coréenne (Samsung, SK Hynix) pourraient bénéficier indirectement d'une chaîne d'approvisionnement renforcée, mais l'impact direct sur la France ou l'UE reste limité.

InfrastructureOpinion
1 source
Comment xAI Colossus redéfinit les règles de la course à l’IA
56Le Big Data 

Comment xAI Colossus redéfinit les règles de la course à l’IA

En mars 2023, Elon Musk fonde xAI pour affronter directement OpenAI, Google et Meta dans la course aux grands modèles de langage. Le premier modèle, Grok, sort fin 2023 avec des résultats prometteurs, mais l'entreprise se heurte rapidement à un obstacle structurel majeur : elle ne possède aucune infrastructure propre et loue sa puissance de calcul auprès de fournisseurs cloud comme Oracle. Pour briser cette dépendance, Musk lance dès le printemps 2024 un chantier d'une rapidité inédite. xAI rachète une ancienne usine Electrolux de 73 000 mètres carrés à Memphis, Tennessee, et y déploie le supercalculateur Colossus. Début 2026, le site concentre environ 555 000 processeurs NVIDIA interconnectés, principalement des H100 et H200 dans le premier bloc (Colossus 1), et la nouvelle architecture Blackwell GB200/GB300 dans le second (Colossus 2), auxquels s'ajoute une extension satellitaire en cours à Southaven. À près de 35 000 dollars l'unité, le seul achat des composants dépasse les 18 milliards de dollars. Cette infrastructure redéfinit les rapports de force dans l'industrie de l'IA. En contrôlant son propre parc de calcul, xAI s'affranchit des délais et des contraintes imposés par les fournisseurs tiers, ce qui lui permet d'accélérer l'entraînement de ses modèles au rythme qu'elle impose. La densité thermique extrême générée par 555 000 puces a nécessité l'abandon du refroidissement par air au profit d'un système à eau intégral en circuit fermé, fourni par Dell et Supermicro, qui capte la chaleur directement sur le silicium et réduit significativement les coûts d'électricité liés à la climatisation. Sur le plan réseau, xAI a fait le choix de rejeter l'InfiniBand, standard dominant mais coûteux et en rupture mondiale, pour déployer la plateforme NVIDIA Spectrum-X Ethernet, avec routage adaptatif et protocole RoCE, afin d'éliminer la latence de queue qui paralyse les clusters lors des échanges massifs de paramètres entre processeurs. Ce projet s'inscrit dans une rivalité technologique et géopolitique qui dépasse largement xAI. La puissance de calcul est devenue la ressource stratégique centrale de l'IA : qui contrôle les clusters contrôle le rythme d'innovation. Microsoft, Google et Amazon ont chacun engagé des dizaines de milliards dans leurs propres datacenters, tandis que la pénurie mondiale de puces NVIDIA maintient une pression constante sur les acteurs moins capitalisés. En construisant Colossus en moins d'un an, là où l'industrie estimait le délai à deux ans minimum, xAI a envoyé un signal clair sur sa capacité d'exécution. La prochaine étape sera de transformer cette puissance brute en avance technologique durable face à des concurrents qui ne restent pas immobiles.

UELa concentration de capacité de calcul chez les acteurs américains creuse l'écart avec les laboratoires et startups européens, renforçant leur dépendance aux infrastructures cloud extérieures à l'UE.

InfrastructureOpinion
1 source
72 GPU dans un seul rack : Dell livre le premier Vera Rubin NVL72 à CoreWeave
57Le Big Data 

72 GPU dans un seul rack : Dell livre le premier Vera Rubin NVL72 à CoreWeave

Dell a livré à CoreWeave le premier système NVIDIA Vera Rubin NVL72 opérationnel, un rack unique intégrant 72 GPU Rubin et 36 processeurs Vera personnalisés. Cette machine atteint une puissance de calcul de 3,6 exaFLOPS, soit une capacité suffisante pour entraîner et faire tourner des modèles d'intelligence artificielle comptant des milliers de milliards de paramètres. Le système adopte un refroidissement liquide intégral, désormais indispensable pour absorber la chaleur et la consommation énergétique générées par une telle densité de composants. CoreWeave, spécialiste américain du cloud GPU qui alimente déjà de nombreux acteurs de l'IA générative, devient ainsi l'un des premiers opérateurs au monde à déployer cette génération d'infrastructure dans un environnement de production réel. Ce déploiement illustre une tendance de fond qui redessine l'économie du calcul pour l'IA : la densification. Regrouper 72 GPU dans un seul rack ne relève pas de l'exploit pour la galerie, mais répond à une contrainte très concrète. Plus les modèles grossissent, plus les échanges de données entre composants deviennent un goulot d'étranglement. En rapprochant physiquement les GPU, on réduit les latences de communication et on améliore le débit global du système, ce qui se traduit directement par des temps d'inférence plus courts et une capacité d'entraînement plus élevée. Pour les opérateurs cloud qui facturent leurs clients à l'heure de GPU, cette efficacité accrue est un avantage compétitif direct. Pour les laboratoires qui entraînent les prochaines générations de modèles, c'est la condition nécessaire pour rester dans la course. Cette livraison s'inscrit dans un cycle d'escalade technologique qui s'accélère depuis le lancement de ChatGPT fin 2022. NVIDIA enchaîne les générations de puces à un rythme inédit : après les H100, les H200 et les Blackwell, la famille Vera Rubin représente la prochaine marche. Dell, longtemps perçu comme un constructeur de serveurs classiques, a clairement choisi de se repositionner comme intégrateur de référence pour les infrastructures d'IA à très grande échelle. CoreWeave, de son côté, a levé plusieurs milliards de dollars ces dernières années pour construire une alternative aux clouds hyperscalers comme AWS ou Google Cloud, spécifiquement taillée pour les charges de travail GPU intensives. La combinaison des deux acteurs sur ce premier déploiement Vera Rubin n'est pas anodine : elle signale que l'infrastructure d'IA de prochaine génération est prête à sortir des laboratoires pour entrer dans les centres de données commerciaux. À ce rythme, les 72 GPU d'aujourd'hui pourraient paraître modestes dès 2027.

UELa disponibilité commerciale de cette infrastructure GPU de prochaine génération conditionnera indirectement la compétitivité des acteurs européens de l'IA dans la course à l'entraînement de très grands modèles.

InfrastructureOpinion
1 source
mKernel : une bibliothèque de noyaux fusionnés multi-GPU et multi-nœuds pour les communications pilotées par GPU
58MarkTechPost 

mKernel : une bibliothèque de noyaux fusionnés multi-GPU et multi-nœuds pour les communications pilotées par GPU

Des chercheurs de l'Université de Californie à Berkeley, dans le cadre du projet UCCL, ont publié mKernel, une bibliothèque de noyaux CUDA persistants conçue pour fusionner les communications inter-GPU et le calcul en un seul et même noyau. Le problème qu'ils adressent est chiffré avec précision : dans les charges de travail d'IA en production, les communications peuvent absorber jusqu'à 43,6 % du temps de passe avant (forward pass) et 32 % du temps d'entraînement de bout en bout. Sur les modèles Mixture-of-Experts (MoE), cette proportion grimpe à 47 % du temps d'exécution total. mKernel propose cinq noyaux fusionnés couvrant les opérations les plus courantes : AllGather + GEMM, GEMM + AllReduce, dispatch MoE + GEMM, Ring Attention et GEMM + ReduceScatter. Chaque noyau fusionne simultanément les communications NVLink intra-nœud, le RDMA inter-nœud et le calcul dense, le tout orchestré directement par le GPU sans passer par le processeur central. Le gain fondamental de cette approche réside dans l'élimination du goulet d'étranglement lié au pilotage par le CPU. Dans le modèle classique, le processeur central contrôle les flux d'exécution et appelle des bibliothèques comme NCCL ou NVSHMEM pour déclencher les opérations collectives. Or, à l'échelle des infrastructures modernes, un rack GB300 NVL72 intègre 72 GPU Blackwell Ultra, livrant 720 PFLOPS en FP8 et 130 To/s de bande passante NVLink, les latences microsecondes introduites par chaque appel CPU créent des bulles visibles dans le pipeline. mKernel supprime ce niveau d'indirection : le GPU lui-même initie les transferts RDMA via libibverbs, sans dépendance à NCCL ou NVSHMEM. À l'intérieur du noyau, les blocs de threads (CTAs) se spécialisent automatiquement en rôles distincts, calcul, communication intra-nœud, envoi et réduction inter-nœud, avec un nombre de SMs alloués à chaque rôle ajustable selon la forme des tenseurs. Ce travail s'inscrit dans une tendance de fond qui voit la communauté de recherche en systèmes distribués chercher à repousser les limites du parallélisme à très grande échelle. Les architectures MoE, popularisées notamment par les modèles de DeepSeek et Mixtral, amplifient les besoins de communication car chaque token doit être routé dynamiquement vers des experts potentiellement situés sur des nœuds différents. Les bibliothèques existantes comme Flux ou DeepEP avaient déjà exploré la fusion de noyaux, mais restaient généralement confinées à un seul nœud ou un seul GPU. mKernel, évalué sur deux clusters de 2 nœuds à 8 GPU H200 chacun, étend ce paradigme au cas multi-nœud, ouvrant la voie à des entraînements et inférences distribués où la communication cesse d'être un frein structurel à la scalabilité.

UELes laboratoires et entreprises européens entraînant des modèles distribués à grande échelle (notamment MoE) pourraient bénéficier indirectement de cette bibliothèque open-source pour réduire leur overhead de communication inter-GPU.

RecherchePaper
1 source
Anthropic pourrait continuer à fournir Claude à la NSA malgré son signalement comme risque dans la chaîne d'approvisionnement par le Pentagone
59The Decoder 

Anthropic pourrait continuer à fournir Claude à la NSA malgré son signalement comme risque dans la chaîne d'approvisionnement par le Pentagone

Anthropic s'apprête à maintenir sa collaboration avec la NSA (National Security Agency) pour la fourniture de ses modèles d'intelligence artificielle, et ce malgré une désignation officielle de "risque dans la chaîne d'approvisionnement" émise par le Pentagone. Le contrat en cours de finalisation porte sur le déploiement du modèle "Mythos", une version de Claude conçue pour fonctionner sur du matériel plus ancien, ce qui correspond précisément aux infrastructures actuelles des agences de renseignement américaines, qui ne disposent pas encore des dernières puces Nvidia Grace Blackwell. Ce maintien du partenariat représente un signal fort pour l'adoption de l'IA dans les milieux militaires et du renseignement. La NSA, comme d'autres agences fédérales, cherche à intégrer des outils d'IA avancés sans attendre une modernisation complète de son parc matériel. Le fait qu'Anthropic accepte ces contraintes techniques montre que les acteurs de l'IA commerciale sont prêts à adapter leurs offres pour conquérir le lucratif marché gouvernemental américain, estimé à plusieurs milliards de dollars. Des négociations précédentes entre Anthropic et des entités gouvernementales avaient achoppé sur une clause controversée autorisant "tout usage légal" des modèles, jugée trop permissive. Cette clause a été retirée du nouvel accord, ce qui a permis de débloquer les discussions. La désignation de "risque d'approvisionnement" par le Pentagone, inhabituelle pour une entreprise américaine, illustre les tensions croissantes autour de la gouvernance de l'IA dans les secteurs sensibles, à l'heure où Washington cherche à encadrer plus strictement ses fournisseurs technologiques.

UECe débat sur la gouvernance de l'IA dans les secteurs de défense et du renseignement américains pourrait influencer indirectement les discussions européennes sur l'encadrement des fournisseurs d'IA critiques dans les secteurs sensibles.

💬 Être désigné "risque d'approvisionnement" par le Pentagone et signer quand même avec la NSA, le paradoxe est beau. Le vrai sujet, c'est ce modèle "Mythos" optimisé pour du matériel vieillissant: Anthropic a pigé que les agences de renseignement n'attendront pas dix ans pour renouveler leur parc de serveurs. La clause "tout usage légal" retirée du contrat, c'est quand même la seule vraie bonne nouvelle ici.

RégulationReglementation
1 source
Jensen Huang (NVIDIA) chez Dell Technologies World : la demande explose de façon exponentielle
60NVIDIA AI Blog 

Jensen Huang (NVIDIA) chez Dell Technologies World : la demande explose de façon exponentielle

Lors du Dell Technologies World, Jensen Huang, PDG de NVIDIA, a rejoint sur scène Michael Dell pour présenter une nouvelle génération d'infrastructures dédiées à l'IA agentique. Les deux dirigeants ont annoncé plusieurs serveurs inédits, dont le Dell PowerEdge XE9812, construit autour de la puce NVIDIA Vera Rubin NVL72, qui affiche un coût par token jusqu'à dix fois inférieur à celui de l'architecture Blackwell pour les déploiements d'inférence à grande échelle. À ses côtés, les serveurs PowerEdge XE9880L, XE9885L et XE9882L s'appuient sur les modules NVIDIA HGX Rubin NVL8, premiers systèmes Dell à adopter cette architecture, supportant jusqu'à 144 GPU par rack, avec des noeuds de calcul entièrement refroidis par liquide et des performances jusqu'à 5,5 fois supérieures au HGX B200. Du côté des processeurs, les PowerEdge M9822 et R9822 intègrent le CPU NVIDIA Vera, doté d'une bande passante mémoire de 1,2 To/s, capable d'exécuter des charges agentiques 50 % plus rapidement que les processeurs x86. Dell a également dévoilé le PowerRack, un système entièrement intégré, ainsi qu'une mise à jour de son AI Data Platform incluant le moteur Starburst, qui offre un débit SQL jusqu'à trois fois supérieur sur CPU Vera. Cinq mille entreprises, dont Lilly, Samsung et Honeywell, exploitent déjà des charges de travail IA sur des Dell AI Factories avec NVIDIA. Ces annonces s'inscrivent dans un contexte de demande explosive. Michael Dell a rappelé que les dépenses mondiales en infrastructure IA pourraient atteindre entre 3 000 et 4 000 milliards de dollars d'ici 2030, avec une consommation de tokens projetée en hausse de 3 400 % sur la même période. Jensen Huang a résumé la situation sans détour : "Nous sommes entrés dans l'ère de l'IA utile, c'est pourquoi la demande est parabolique, absolument parabolique." Pour les entreprises, l'enjeu est direct : réduire le coût de l'inférence pour rendre les agents autonomes économiquement viables en production, et non plus seulement dans des environnements pilotes. La vitesse sur les bases de données est particulièrement stratégique, car les agents IA interrogent en continu ces systèmes pour accomplir leurs tâches, rendant la performance CPU aussi critique que celle des GPU. Cette conférence marque une accélération nette dans la course aux infrastructures IA d'entreprise. NVIDIA et Dell s'inscrivent dans une compétition directe avec les géants du cloud -- Amazon, Google, Microsoft -- qui proposent leurs propres puces et services managés. L'argument central de Dell est de permettre aux entreprises de faire tourner leurs modèles frontières et leurs agents autonomes dans leur propre périmètre sécurisé, sans dépendre d'un fournisseur cloud. La génération Rubin succède à Blackwell, lancée en 2024, et la cadence s'accélère : NVIDIA a maintenu un rythme d'une nouvelle architecture tous les un à deux ans. Pour des groupes comme Honeywell ou Lilly, dont les données sont sensibles et les contraintes réglementaires fortes, la promesse d'une IA souveraine et haute performance constitue un argument de poids face aux offres cloud publiques.

UELes entreprises européennes soumises aux contraintes RGPD pourraient tirer parti de l'offre d'IA souveraine on-premise Dell/NVIDIA pour réduire leur dépendance aux clouds publics américains.

InfrastructureActu
1 source
NVIDIA et Ineffable Intelligence s'associent pour bâtir l'infrastructure de l'apprentissage par renforcement
61NVIDIA AI Blog 

NVIDIA et Ineffable Intelligence s'associent pour bâtir l'infrastructure de l'apprentissage par renforcement

NVIDIA et Ineffable Intelligence, le laboratoire d'IA londonien fondé par David Silver, l'architecte d'AlphaGo, ont annoncé un partenariat technique approfondi pour concevoir l'infrastructure nécessaire à l'apprentissage par renforcement à grande échelle. Des ingénieurs des deux sociétés travaillent conjointement sur la construction d'un pipeline d'entraînement optimisé, en démarrant sur la plateforme NVIDIA Grace Blackwell et en préparant l'intégration de la prochaine architecture Vera Rubin, encore inédite. Jensen Huang, fondateur et PDG de NVIDIA, a qualifié les systèmes d'apprentissage continu par expérience de "prochaine frontière de l'IA", tandis que Silver, sorti du mode furtif la semaine dernière seulement avec Ineffable Intelligence, entend pousser ce paradigme bien au-delà de ses applications actuelles. L'enjeu technique est significatif. Contrairement au pré-entraînement classique, qui consomme un jeu de données fixe de textes et d'images humaines, l'apprentissage par renforcement génère ses propres données en temps réel : l'agent agit, observe les résultats, évalue et se met à jour en boucle serrée. Ce mode de fonctionnement impose des contraintes très différentes sur les interconnexions, la bande passante mémoire et l'inférence. S'y ajoutent des formes d'expérience potentiellement étrangères au langage humain, ce qui pourrait nécessiter des architectures de modèles et des algorithmes d'entraînement entièrement nouveaux. Résoudre ces contraintes à l'échelle est ce que visent conjointement les deux équipes. David Silver est l'une des figures centrales de l'apprentissage par renforcement depuis des décennies : il a co-développé DQN chez DeepMind avant de concevoir AlphaGo, le premier programme à battre un champion du monde de go en 2016. Son raisonnement est direct : les chercheurs ont "largement résolu le problème facile de l'IA", soit apprendre à partir de ce que les humains savent déjà, mais le vrai défi reste de construire des systèmes capables de découvrir de nouvelles connaissances par eux-mêmes. Ce virage, de la donnée humaine vers la simulation et l'expérience autonome, est au coeur de la mission d'Ineffable Intelligence. Si le partenariat tient ses promesses, il pourrait débloquer une nouvelle génération d'agents capables de progresser dans des environnements complexes sans plafond de données humaines, ouvrant potentiellement des découvertes dans des domaines allant de la recherche scientifique à la robotique.

RecherchePaper
1 source
La nouvelle idée portée par l'essor de l'IA : héberger un mini data center chez soi
62Ars Technica AI 

La nouvelle idée portée par l'essor de l'IA : héberger un mini data center chez soi

La startup californienne SPAN, basée à San Francisco, a annoncé un projet inédit : installer de mini-centres de données directement chez des particuliers, sous forme de boîtiers compacts baptisés XFRA nodes. Ces appareils embarquent des GPU Nvidia RTX Pro 6000 Blackwell Server Edition refroidis par liquide, conçus pour fonctionner en silence. En échange de l'espace et de l'électricité, les propriétaires recevraient en contrepartie un accès Internet subventionné, une réduction sur leur facture d'électricité et des batteries de secours. SPAN a déjà commencé des tests pilotes et prévoit un déploiement auprès de 100 foyers d'ici la fin de l'année 2026. L'enjeu est de taille pour l'industrie de l'IA : la demande en puissance de calcul explose, mais construire de nouveaux datacenters classiques prend des années et se heurte à des obstacles réglementaires, fonciers et énergétiques considérables. En distribuant cette infrastructure dans les foyers américains, SPAN espère mobiliser rapidement des capacités de calcul dormantes sans les coûts et délais habituels. Pour les ménages, le modèle ressemble à celui des contrats d'effacement électrique ou des panneaux solaires avec revente de surplus : on cède une ressource inutilisée contre un avantage financier tangible. Chris Lander, vice-président de la division XFRA chez SPAN, résume la promesse ainsi : là où les datacenters traditionnels sont bruyants, disgracieux et font monter les prix de l'électricité dans les quartiers, l'XFRA node serait discret et rendrait l'énergie moins chère pour le foyer et la communauté. Ce type d'approche décentralisée n'est pas sans précédent, des projets comme Filecoin ou Helium ont tenté de monétiser la bande passante ou le stockage résidentiel avec des résultats mitigés. La différence ici réside dans la puissance matérielle déployée et dans l'appétit sans précédent des acteurs de l'IA pour du calcul supplémentaire. Reste à voir si les contraintes pratiques, consommation électrique résiduelle, gestion thermique, responsabilité légale des hôtes, seront surmontées à grande échelle, et si les régulateurs américains valideront ce modèle hybride entre infrastructure industrielle et usage résidentiel.

InfrastructureOpinion
1 source
LightSeek Foundation publie TokenSpeed, moteur d'inférence LLM open source visant TensorRT-LLM pour agents autonomes
63MarkTechPost 

LightSeek Foundation publie TokenSpeed, moteur d'inférence LLM open source visant TensorRT-LLM pour agents autonomes

La LightSeek Foundation a publié TokenSpeed, un moteur d'inférence pour grands modèles de langage distribué en open source sous licence MIT. Encore en phase de préversion, TokenSpeed est conçu spécifiquement pour les charges de travail dites "agentiques", c'est-à-dire les systèmes d'IA qui enchaînent de multiples appels au modèle pour accomplir des tâches complexes, comme l'écriture ou la révision de code. L'objectif déclaré est d'atteindre des performances comparables à TensorRT-LLM de NVIDIA, tout en restant accessible à l'ensemble de l'écosystème. Le moteur vise à maintenir un débit minimum de 70 tokens par seconde par utilisateur, un seuil qui monte parfois à 200 TPS ou plus, tout en maximisant le nombre de tokens traités par GPU et par minute. L'enjeu dépasse la performance brute. Des outils comme Claude Code d'Anthropic, Codex d'OpenAI ou Cursor fonctionnent sur des contextes qui dépassent régulièrement 50 000 tokens et s'étalent sur des dizaines de tours de conversation, un profil très différent d'un simple chatbot. Or la plupart des benchmarks publics ne rendent pas compte de cette réalité. Lorsqu'un agent de développement logiciel analyse un dépôt entier, génère du code, exécute des tests et itère, chaque milliseconde de latence ajoutée se multiplie à chaque étape. Un moteur d'inférence mal adapté devient rapidement un goulot d'étranglement qui ralentit l'ensemble de la chaîne de production logicielle, et donc, à terme, les équipes d'ingénierie qui en dépendent. L'architecture de TokenSpeed repose sur cinq sous-systèmes complémentaires. Le premier est un mécanisme de parallélisme assisté par compilateur, basé sur le modèle SPMD (Single Program, Multiple Data), qui génère automatiquement les communications entre processus sans que le développeur n'ait à les écrire manuellement. Le planificateur de requêtes sépare strictement le plan de contrôle, implémenté en C++ sous forme de machine à états finis, du plan d'exécution écrit en Python, ce qui permet de détecter les erreurs de gestion du cache KV à la compilation plutôt qu'à l'exécution. Le troisième pilier est une couche de noyaux GPU modulaire et extensible, compatible avec des accélérateurs autres que ceux de NVIDIA, s'appuyant notamment sur l'un des noyaux MLA (Multi-head Latent Attention) les plus rapides disponibles pour les GPU Blackwell. Ce noyau MLA a d'ailleurs déjà été intégré dans vLLM, l'un des moteurs d'inférence open source les plus utilisés dans l'industrie. La fondation LightSeek positionne ainsi TokenSpeed comme une infrastructure commune pour l'ère où les agents IA deviennent le principal vecteur de production de code.

UELa disponibilité d'un moteur d'inférence open source compatible avec des accélérateurs non-NVIDIA pourrait réduire la dépendance des équipes européennes aux solutions propriétaires de NVIDIA.

InfrastructureActu
1 source
Propulser le siècle américain : Chris Wright et Ian Buck de NVIDIA sur la mission Genesis
64NVIDIA AI Blog 

Propulser le siècle américain : Chris Wright et Ian Buck de NVIDIA sur la mission Genesis

Le secrétaire américain à l'Énergie Chris Wright et Ian Buck, vice-président d'NVIDIA chargé du HPC et de l'hyperscale, se sont exprimés jeudi lors de l'AI+ Expo organisée par le SCSP à Washington. Leur message central : la compétitivité américaine dans l'intelligence artificielle passe par la maîtrise de l'énergie. Au coeur du dispositif figure la Genesis Mission, programme du Département de l'Énergie (DOE) visant à appliquer l'IA à la découverte scientifique. NVIDIA en est l'un des partenaires industriels clés, fort selon Buck de vingt ans de collaboration avec les laboratoires nationaux américains. Concrètement, NVIDIA et le DOE construisent ensemble deux supercalculateurs à l'Argonne National Laboratory : le premier, baptisé Equinox, est actuellement en cours d'installation avec 10 000 GPU Grace Blackwell ; le second, Solstice, mobilisera 100 000 GPU de la prochaine génération Vera Rubin, pour une puissance de 5 000 exaflops, soit cinq fois la capacité cumulée de l'ensemble du classement TOP500 des supercalculateurs mondiaux. NVIDIA a également entraîné un modèle open source sur 1,5 million d'articles de physique, puis affiné sur 100 000 publications dédiées à la fusion nucléaire, pour produire un agent IA interrogeable par les chercheurs du DOE. L'enjeu est double : accélérer la recherche scientifique fondamentale et résoudre, par la même occasion, le problème énergétique que l'IA elle-même crée. Wright a souligné que si les États-Unis ont triplé leur production pétrolière et doublé leur production de gaz naturel au cours des vingt dernières années, la production d'électricité, elle, a à peine progressé. Or l'électricité est précisément le vecteur énergétique dont dépend l'IA. Sans une infrastructure électrique capable de croître rapidement, ce sont les progrès de l'IA eux-mêmes qui pourraient être freinés, a prévenu le secrétaire. Pour répondre à cette contrainte, le DOE s'appuie sur les trois piliers du réseau électrique américain : gaz naturel, nucléaire et charbon. Wright a annoncé que trois petits réacteurs modulaires (SMR) entreront en service avant le 4 juillet prochain, avec de nouveaux grands réacteurs et des SMR supplémentaires attendus dans la foulée. Un bureau stratégique dédié à la fusion nucléaire a également été créé au sein du département, avec des programmes de recherche que Wright décrit comme "hyperchargés" grâce aux capacités de calcul que l'IA apporte désormais. Jensen Huang, PDG de NVIDIA, a lui résumé la chaîne de valeur de l'IA comme un gâteau à cinq couches, dont l'énergie constitue la base. La Genesis Mission incarne cette logique de boucle vertueuse : l'IA finance et accélère les sciences de l'énergie, qui à leur tour alimentent l'infrastructure dont l'IA a besoin pour continuer à progresser.

InfrastructureActu
1 source
HP et l'art de l'IA et des données pour les entreprises
65AI News 

HP et l'art de l'IA et des données pour les entreprises

À quelques jours du salon AI & Big Data Expo, prévu les 18 et 19 mai au McEnery Convention Center de San Jose, Jérôme Gabryszewski, responsable du développement commercial IA et Data Science chez HP, a accordé une interview à Artificial Intelligence News pour évoquer les défis concrets que rencontrent les grandes entreprises dans leur adoption de l'intelligence artificielle. Le constat est sans appel : malgré un accès abondant à leurs propres données, la plupart des organisations peinent à en tirer parti. La première embûche n'est pas technique : c'est la dette organisationnelle et architecturale. Avant d'automatiser quoi que ce soit, les entreprises doivent réconcilier des données éparpillées entre départements, des schémas incohérents et des systèmes legacy jamais conçus pour l'interopérabilité. Le travail de gouvernance précède toujours le déploiement technique. Sur la question des modèles en apprentissage continu, Gabryszewski recommande d'appliquer les mêmes exigences qu'un déploiement logiciel classique : aucune mise à jour en production sans validation formelle. La dérive conceptuelle est surveillée via des pipelines MLOps avec détection automatique, et la contamination des données d'entraînement est traitée comme un problème de traçabilité autant que de sécurité. Les entreprises qui maîtrisent ces risques ne sont pas forcément les plus avancées techniquement, mais celles qui ont intégré la gouvernance IA dans leur cadre de gestion des risques avant de passer à l'échelle. Ce positionnement a des implications concrètes pour des milliers d'équipes data qui cherchent à réduire leur dépendance au cloud sans sacrifier la puissance de calcul. La question du local versus cloud est au cœur des arbitrages actuels : chaque inférence envoyée dans le cloud représente un coût, une latence et une exposition potentielle de données sensibles. Disposer d'une infrastructure locale capable de faire tourner des modèles de grande taille change fondamentalement l'équation économique et réglementaire, notamment pour les secteurs soumis à des contraintes strictes comme la finance, la santé ou la défense. HP s'appuie sur quinze ans de développement de sa gamme professionnelle Z pour positionner son matériel comme épine dorsale de ce cycle IA autonome. Le ZBook Ultra et le Z2 Mini couvrent les usages mobiles et compacts, mais c'est le ZGX Nano qui attire l'attention : un supercalculateur IA de 15x15 cm, équipé du superpuce NVIDIA GB10 Grace Blackwell, 128 Go de mémoire unifiée et 1 000 TOPS de performance FP4, capable de faire tourner localement des modèles jusqu'à 200 milliards de paramètres. En interconnectant deux unités, on atteint 405 milliards de paramètres, sans cloud, sans datacenter, sans file d'attente. L'appareil est livré préconfiguré avec la pile logicielle NVIDIA DGX et le HP ZGX Toolkit, permettant aux équipes d'être opérationnelles en quelques minutes. HP vise ainsi le segment des équipes IA qui ont besoin de puissance souveraine et immédiate, à l'heure où la course aux modèles toujours plus grands redistribue les cartes du marché des workstations professionnelles.

InfrastructureActu
1 source
Anthropic en négociation pour acheter des puces IA à une startup britannique
66The Information AI 

Anthropic en négociation pour acheter des puces IA à une startup britannique

Anthropic est en discussions avec la startup londonienne Fractile pour acquérir des puces d'inférence destinées à faire tourner ses modèles d'IA. Selon deux sources proches des dirigeants de Fractile, les pourparlers portent sur un approvisionnement qui deviendrait effectif l'année prochaine, une fois les puces disponibles. Anthropic, qui commercialise les modèles Claude, s'appuie aujourd'hui sur trois fournisseurs principaux : Google, Amazon et Nvidia. Ce potentiel contrat avec Fractile constituerait donc une quatrième source d'approvisionnement en matériel. L'enjeu est stratégique : les ventes d'Anthropic connaissent une croissance explosive qui met sous pression les serveurs existants, et les dépenses de la société en infrastructure sont projetées à plusieurs dizaines de milliards de dollars par an. En diversifiant ses fournisseurs, Anthropic se dote d'un levier de négociation face à des géants comme Nvidia, dont les puces restent en forte demande. Les puces d'inférence de Fractile sont conçues pour faire tourner des modèles d'IA de manière plus efficiente, ce qui peut réduire les coûts opérationnels à grande échelle. Cette démarche s'inscrit dans une tendance de fond : les grands laboratoires d'IA cherchent à réduire leur dépendance à Nvidia, dont les GPU H100 et Blackwell sont devenus un goulot d'étranglement mondial. Des acteurs comme Google avec ses TPU, ou Amazon avec ses puces Trainium, développent déjà leurs alternatives en interne. Fractile, startup britannique encore confidentielle, tente de s'imposer sur ce marché émergent des puces d'inférence spécialisées, où la compétition s'intensifie rapidement.

UEL'émergence de Fractile, startup londonienne, comme fournisseur potentiel d'Anthropic illustre la capacité des entreprises européennes à s'imposer dans le marché stratégique des puces d'inférence IA, même si l'impact direct sur la France et l'UE reste indirect à ce stade.

💬 Anthropic n'achète pas des puces, il achète du pouvoir de négociation face à Nvidia. Avoir un quatrième fournisseur dans la poche, c'est surtout une façon de ne plus être otage des GPU H100 qui manquent à tout le monde. Reste à voir si Fractile peut vraiment tenir la cadence quand Anthropic va en avoir besoin.

InfrastructureActu
1 source
67AWS ML Blog 

Amazon SageMaker AI accélère l'inférence d'IA générative avec les instances G7e

Amazon Web Services a annoncé la disponibilité des instances G7e sur Amazon SageMaker AI, une nouvelle génération de serveurs d'inférence propulsés par les GPU NVIDIA RTX PRO 6000 Blackwell Server Edition. Ces instances sont disponibles en configurations de 1, 2, 4 et 8 GPU, chaque carte offrant 96 Go de mémoire GDDR7. Concrètement, une instance G7e.2xlarge à GPU unique peut désormais héberger des modèles open source de 35 milliards de paramètres comme Qwen3.5-35B ou GPT-OSS-120B, tandis qu'une configuration à 8 GPU (G7e.48xlarge) atteint 768 Go de mémoire GPU totale et peut faire tourner des modèles de 300 milliards de paramètres sur un nœud unique. La bande passante réseau grimpe à 1 600 Gbps via EFA, soit quatre fois plus que la génération G6e et seize fois plus que les G5. Ces chiffres ont une implication directe pour les équipes d'ingénierie : des modèles qui nécessitaient auparavant plusieurs machines interconnectées peuvent désormais s'exécuter sur un seul nœud, supprimant la latence inter-nœuds et la complexité opérationnelle associée. Les performances d'inférence sont jusqu'à 2,3 fois supérieures à celles des G6e. Pour les applications temps réel comme les chatbots, les pipelines RAG ou les workflows agentiques, cette densité mémoire combinée à une bande passante CPU-GPU quatre fois plus élevée se traduit par des temps de réponse plus courts sous charge élevée. Les modèles multimodaux et de génération d'images, souvent limités par des erreurs de mémoire insuffisante sur les générations précédentes, bénéficient également directement de ce doublement de la capacité par GPU. Cette annonce s'inscrit dans une course aux accélérateurs cloud que se livrent AWS, Google et Microsoft, chacun cherchant à proposer les GPU les plus récents de NVIDIA au plus vite après leur lancement. Les puces Blackwell de NVIDIA, dont la RTX PRO 6000 Server Edition fait partie, représentent la cinquième génération de Tensor Cores avec support natif de la précision FP4, permettant de réduire encore la consommation mémoire pour les grands modèles. Le support de NVIDIA GPUDirect RDMA via EFAv4 ouvre également la voie à des scénarios d'inférence multi-nœuds à faible latence, jusqu'ici peu pratiques sur les instances G-series. À mesure que les modèles de langage et les systèmes agentiques continuent de grossir en taille et en complexité, la capacité à les déployer efficacement sur infrastructure managée comme SageMaker devient un avantage concurrentiel décisif pour les entreprises qui cherchent à maîtriser leurs coûts d'exploitation tout en montant en puissance.

UELes équipes techniques européennes utilisant Amazon SageMaker dans les régions AWS EU peuvent désormais déployer des modèles jusqu'à 300 milliards de paramètres sur un seul nœud, réduisant la complexité opérationnelle et les coûts d'inférence pour les applications temps réel.

InfrastructureActu
1 source
Cognichip lève 60 M$ pour confier la conception des puces à l’IA
68Le Big Data 

Cognichip lève 60 M$ pour confier la conception des puces à l’IA

La startup américaine Cognichip a annoncé avoir levé 60 millions de dollars pour développer une intelligence artificielle capable de concevoir des puces électroniques. Ce tour de table, mené par Seligman Ventures, porte le total des fonds levés par l'entreprise à 93 millions de dollars depuis sa fondation en 2024. Parmi les nouveaux investisseurs figure Lip-Bu Tan, PDG d'Intel, qui rejoint le conseil d'administration aux côtés d'Umesh Padval, associé-gérant chez Seligman. Fondée par Faraj Aalaei, Cognichip développe un modèle d'apprentissage profond spécialisé dans la conception de semi-conducteurs, avec l'ambition affichée de réduire les coûts de développement de plus de 75 % et de diviser par deux les délais de mise sur le marché. L'enjeu est considérable : concevoir une puce moderne prend entre trois et cinq ans, dont deux ans rien que pour la phase de conception, avant même que la fabrication ne démarre. Avec des composants comme le GPU Blackwell de Nvidia intégrant 104 milliards de transistors, la complexité atteint des niveaux qui rendent ce calendrier difficilement tenable. Faraj Aalaei pointe un risque structurel : le marché évolue parfois plus vite que les puces elles-mêmes, rendant un produit potentiellement obsolète avant sa sortie. L'approche de Cognichip consiste à transposer dans le monde du silicium ce que l'IA fait déjà pour les développeurs logiciels, en automatisant les tâches répétitives et en accélérant les itérations de conception. Si les promesses se concrétisent, c'est tout le calendrier de l'industrie des semi-conducteurs qui pourrait être revu. Cognichip opère dans un secteur où les données sont rares et jalousement gardées : contrairement aux développeurs logiciels qui partagent leur code en open source, les concepteurs de puces protègent leurs travaux avec soin. Pour contourner cet obstacle, la startup a constitué ses propres jeux de données en combinant données synthétiques et contenus sous licence, tout en proposant aux fabricants des mécanismes permettant d'entraîner les modèles sur leurs données internes sans les exposer. Elle s'appuie aussi sur des standards ouverts comme l'architecture RISC-V, qu'elle a utilisée lors d'un hackathon avec des étudiants de l'Université d'État de San José. La startup reste cependant discrète sur ses avancées concrètes : aucune puce conçue avec son système n'a encore été présentée publiquement, et ses clients demeurent confidentiels. Elle devra surtout convaincre face aux géants établis du secteur, Synopsys et Cadence Design Systems, qui couvrent déjà l'intégralité du cycle de vie d'un composant avec leurs propres outils d'automatisation.

InfrastructureActu
1 source
Les usines d'IA flexibles en énergie peuvent stabiliser le réseau électrique mondial
69NVIDIA AI Blog 

Les usines d'IA flexibles en énergie peuvent stabiliser le réseau électrique mondial

Lors du match de l'Euro 2020 entre l'Angleterre et l'Allemagne, des millions de téléspectateurs britanniques ont allumé leur bouilloire à la mi-temps simultanément, provoquant un pic de demande d'environ 1 gigawatt sur le réseau électrique national — l'équivalent d'un réacteur nucléaire standard. C'est ce phénomène, surnommé le "TV pickup", qui a inspiré une démonstration inédite menée en décembre 2025 à Londres par Emerald AI, en collaboration avec NVIDIA, EPRI, National Grid et Nebius. L'expérience s'est déroulée dans une "usine IA" construite sur l'infrastructure NVIDIA de Nebius, équipée de 96 GPU NVIDIA Blackwell Ultra connectés via la plateforme InfiniBand NVIDIA Quantum-X800. En simulant ce même pic d'énergie lié au match de football, le cluster IA a automatiquement réduit sa consommation pour absorber le choc — sans interrompre les charges de travail prioritaires. Cette technologie, baptisée Emerald AI Conductor Platform, ouvre une perspective concrète pour la gestion des réseaux électriques sous tension. Les usines IA, habituellement perçues comme de nouveaux fardeau énergétiques, deviennent ici des actifs flexibles capables d'ajuster leur consommation en quelques secondes selon des signaux envoyés par les gestionnaires de réseau. Lors des tests, le système a respecté 100 % des plus de 200 cibles de puissance définies par EPRI et National Grid, couvrant non seulement les GPU mais aussi les CPU et l'ensemble des équipements informatiques. En pratique, cela signifie que le réseau peut gérer les pics de demande avec les capacités existantes, sans avoir à construire d'infrastructures permanentes surdimensionnées pour les scénarios les plus extrêmes — ce qui contribue directement à limiter la hausse des tarifs pour les consommateurs. Pour les opérateurs de centres de données, l'avantage est également majeur : cette flexibilité leur permet d'obtenir des raccordements au réseau bien plus rapidement, sans attendre des années de travaux d'infrastructure. Après des essais probants dans trois États américains — Arizona, Virginie et Illinois —, Emerald AI a transposé son approche au Royaume-Uni, dans un contexte où la croissance explosive des besoins énergétiques liés à l'IA met sous pression les gestionnaires de réseaux du monde entier.

UELes gestionnaires de réseaux européens confrontés à la même explosion des besoins énergétiques liés à l'IA pourraient adopter cette approche pour stabiliser leur réseau sans surinvestissement en infrastructures permanentes.

OutilsActu
1 source
NVIDIA fait don d'un pilote d'allocation dynamique de ressources GPU à la communauté Kubernetes pour faire avancer l'IA open source
70NVIDIA AI Blog 

NVIDIA fait don d'un pilote d'allocation dynamique de ressources GPU à la communauté Kubernetes pour faire avancer l'IA open source

NVIDIA a annoncé lors du KubeCon Europe à Amsterdam le don de son pilote Dynamic Resource Allocation (DRA) pour GPU à la Cloud Native Computing Foundation (CNCF), transférant ainsi la gouvernance du logiciel à la communauté Kubernetes. Ce pilote permet un partage intelligent des ressources GPU, supporte les technologies Multi-Instance GPU et Multi-Node NVLink, et facilite l'entraînement de modèles massifs sur les systèmes Grace Blackwell. NVIDIA introduit également le support GPU pour Kata Containers en collaboration avec la communauté CNCF Confidential Containers, renforçant l'isolation et la sécurité des charges de travail IA.

UEAnnoncé à KubeCon Europe à Amsterdam, ce don à la CNCF bénéficie directement aux équipes cloud européennes qui déploient des charges de travail IA sur Kubernetes avec des GPU.

OutilsActu
1 source
Le PDG de Nvidia table sur 1 000 milliards de dollars de revenus en puces d'ici 2027
71The Information AI 

Le PDG de Nvidia table sur 1 000 milliards de dollars de revenus en puces d'ici 2027

Le PDG de Nvidia, Jensen Huang, prévoit 1 000 milliards de dollars de revenus cumulés grâce aux puces IA Blackwell et Rubin entre 2025 et 2027, soit une projection massive comparée aux 216 milliards de dollars enregistrés sur l'exercice clos en janvier. Cette mise à jour révise à la hausse une estimation précédente, confirmant les ambitions colossales de Nvidia dans le secteur de l'intelligence artificielle.

BusinessActu
1 source
AWS et NVIDIA renforcent leur collaboration stratégique pour accélérer le passage de l'IA du pilote à la production
72AWS ML Blog 

AWS et NVIDIA renforcent leur collaboration stratégique pour accélérer le passage de l'IA du pilote à la production

AWS et NVIDIA ont annoncé lors du GTC 2026 un partenariat élargi incluant le déploiement de plus d'un million de GPU NVIDIA (architectures Blackwell et Rubin) dans les régions cloud AWS dès 2026. AWS devient le premier grand fournisseur cloud à supporter les GPU RTX PRO 4500 Blackwell Server Edition sur Amazon EC2, couvrant des usages variés comme l'IA conversationnelle, l'analytique et le rendu vidéo. La collaboration inclut également une accélération de l'inférence LLM via NVIDIA NIXL sur AWS EFA, des performances Apache Spark 3x plus rapides avec Amazon EMR, et un support étendu des modèles NVIDIA Nemotron sur Amazon Bedrock.

UELes entreprises et développeurs européens utilisant AWS pourront accéder aux nouvelles instances GPU Blackwell pour leurs déploiements IA en production.

BusinessActu
1 source