Les puces IA d'Amazon commencent à séduire les développeurs face à Nvidia

Les puces IA moins coûteuses d'Amazon séduisent les entreprises

Les puces d'IA maison d'Amazon séduisent un nombre croissant d'entreprises grâce à un argument massue : le prix. Selon Karol Piatek, consultant en infrastructure IA au cabinet irlandais Co Driver Labs, l'utilisation des puces Inferentia2 et Trainium2 d'Amazon pour exécuter des modèles d'IA existants, ce qu'on appelle l'inférence, peut coûter jusqu'à 80 % moins cher que les H100 de Nvidia, à charge de travail comparable. Amazon multiplie depuis plusieurs mois les discussions avec des entreprises gérant leurs propres centres de données pour leur proposer ces alternatives : Trainium pour l'entraînement de nouveaux modèles, Inferentia pour le déploiement. L'écart de prix est suffisamment significatif pour peser dans les décisions d'infrastructure, surtout dans un contexte où les budgets IA explosent. Pour les entreprises qui n'ont pas besoin des performances brutes maximales de Nvidia mais cherchent à industrialiser leurs usages IA à moindre coût, les puces Amazon représentent un compromis crédible. L'argument de la disponibilité joue aussi : les H100 restent difficiles à obtenir en grande quantité. Cette dynamique s'inscrit dans une tendance de fond : les grands hyperscalers, Amazon, Google, Microsoft, investissent massivement dans leurs propres puces pour réduire leur dépendance à Nvidia, dont la domination sur le marché des accélérateurs IA est quasi totale. Amazon, qui vend déjà ces puces via AWS, tente désormais de convaincre les entreprises disposant de leurs propres infrastructures physiques, un segment jusqu'ici largement acquis à Nvidia. Si ces conversions se multiplient, la pression concurrentielle sur Jensen Huang et ses équipes pourrait s'intensifier.

Les développeurs du data center Stargate d'OpenAI font face à des coûts plus élevés

À Abilene, au Texas, des ingénieurs de Crusoe, développeur de centres de données pour OpenAI et Oracle, travaillent d'arrache-pied pour faire fonctionner des turbines à gaz naturel en synergie avec l'un des supercalculateurs d'intelligence artificielle les plus coûteux jamais construits. Selon deux sources ayant connaissance directe du dossier, ainsi que des ingénieurs et experts du réseau électrique, l'opération s'avère bien plus complexe et onéreuse que prévu. Ce site fait partie du projet Stargate d'OpenAI, annoncé en janvier 2025 avec SoftBank et Oracle pour un investissement total de 500 milliards de dollars. Ces surcoûts imprévus font peser un risque budgétaire concret sur un programme dont les premières installations se concentrent au Texas. Si l'alimentation énergétique reste un défi non résolu, la montée en puissance des capacités de calcul qu'OpenAI juge indispensables pour entraîner ses prochains modèles pourrait être retardée, avec des conséquences directes pour les partenaires et investisseurs engagés dans ce pari industriel d'envergure inédite. La tension entre la demande électrique massive des centres de données IA et la capacité des infrastructures locales est un problème structurel qui dépasse largement ce seul projet. Le choix du gaz naturel visait à contourner les délais de raccordement au réseau électrique, mais cette stratégie se heurte à des contraintes d'ingénierie sous-estimées. Microsoft, Google, Amazon et Meta affrontent les mêmes obstacles et explorent des alternatives allant des petits réacteurs nucléaires aux accords directs avec des producteurs d'énergie, illustrant l'urgence de la course aux infrastructures IA.

💬 C'était le plan B pour éviter les délais de raccordement réseau, et maintenant le plan B a ses propres problèmes. Pas une surprise pour qui suit l'infra de près : l'énergie n'est pas un détail à régler en cours de route, c'est la contrainte structurelle que tout le monde a sous-estimée depuis le début. Ça va coûter cher, en argent et en mois.

NVIDIA et Google réduisent les coûts d'inférence en IA

Lors de la conférence Google Cloud Next, Google et NVIDIA ont dévoilé une nouvelle génération d'infrastructure destinée à réduire drastiquement le coût de l'inférence IA à grande échelle. Les deux entreprises ont présenté les instances A5X bare-metal, reposant sur les systèmes rack NVIDIA Vera Rubin NVL72. Cette architecture promet une réduction jusqu'à dix fois du coût d'inférence par token par rapport aux générations précédentes, tout en multipliant par dix le débit de tokens par mégawatt. Pour atteindre ces performances, les instances A5X combinent les SuperNICs NVIDIA ConnectX-9 avec la technologie réseau Google Virgo, permettant de connecter jusqu'à 80 000 GPU NVIDIA Rubin au sein d'un même site, et jusqu'à 960 000 GPU dans un déploiement multi-sites. Mark Lohmeyer, VP et directeur général de l'infrastructure IA chez Google Cloud, a résumé l'enjeu : "La prochaine décennie de l'IA sera façonnée par la capacité des entreprises à faire tourner leurs charges de travail les plus exigeantes sur une infrastructure vraiment intégrée et optimisée pour l'IA." Ces annonces ont un impact direct sur les secteurs fortement réglementés, comme la finance et la santé, qui butent régulièrement sur des contraintes de souveraineté des données. Google et NVIDIA y répondent avec plusieurs initiatives concrètes : les modèles Gemini fonctionnant sur GPU NVIDIA Blackwell et Blackwell Ultra sont désormais disponibles en préversion sur Google Distributed Cloud, ce qui permet aux organisations de garder les modèles frontier entièrement dans leur environnement contrôlé, au plus près de leurs données sensibles. La sécurité est assurée par NVIDIA Confidential Computing, un protocole de chiffrement matériel qui protège les données d'entraînement et les prompts y compris vis-à-vis des opérateurs cloud eux-mêmes. Pour les environnements cloud public multi-tenant, des VM Confidential G4 équipées de GPU NVIDIA RTX PRO 6000 Blackwell sont également introduites en préversion, marquant la première offre de confidential computing cloud pour des GPU Blackwell. Cette collaboration s'inscrit dans une course plus large à l'optimisation de l'inférence, alors que les coûts opérationnels de l'IA générative restent un frein majeur à son adoption industrielle. Au-delà du matériel, le partenariat couvre aussi la couche logicielle : NVIDIA Nemotron 3 Super est désormais disponible sur la Gemini Enterprise Agent Platform, permettant aux développeurs de construire des systèmes agentiques complexes capables de raisonner, planifier et agir en chaîne. L'ensemble de la plateforme NVIDIA sur Google Cloud est optimisé pour les familles de modèles Gemini et Gemma. Avec des clusters dépassant le million de GPU et une ambition affichée de simplifier le déploiement d'IA souveraine, Google et NVIDIA repositionnent l'infrastructure cloud non plus comme un simple fournisseur de puissance de calcul, mais comme un levier stratégique pour les entreprises qui veulent industrialiser l'IA sans sacrifier performance, coût ou conformité réglementaire.

Les parts de marché de Nvidia dans les puces d'inférence IA semblent progresser

Nvidia a vu sa part de marché dans les puces d'inférence IA grimper à 74%, contre 66% il y a un an, selon des estimations de The Information fondées sur les déclarations financières de Nvidia et de ses concurrents, ainsi que sur des entretiens avec des analystes spécialisés. Ce bond de huit points s'est produit alors même que plusieurs développeurs d'IA et grands fournisseurs cloud avaient lancé leurs propres puces serveur dans le but explicite de réduire leur dépendance vis-à-vis du géant des semi-conducteurs. Ce résultat contredit les prévisions de nombreux analystes et dirigeants qui anticipaient une érosion progressive de la domination de Nvidia. Les puces alternatives, qu'elles soient conçues par Google, Amazon, Microsoft ou des startups spécialisées, n'ont pas réussi à mordre significativement sur le segment de l'inférence, c'est-à-dire l'exécution des modèles déjà entraînés pour répondre aux requêtes des utilisateurs. C'est pourtant ce segment qui représente l'essentiel de la consommation de calcul en production. La montée en puissance de l'inférence comme principal cas d'usage de l'IA en entreprise place Nvidia dans une position encore plus stratégique qu'elle ne l'était lors du boom de l'entraînement des modèles. Malgré des investissements massifs dans des solutions alternatives, les écosystèmes logiciels de Nvidia, notamment CUDA, continuent de constituer une barrière à l'entrée difficile à franchir. La question n'est plus de savoir si Nvidia peut être délogé, mais à quelle vitesse ses concurrents pourront combler l'écart technologique et logiciel.

💬 74% de part de marché sur l'inférence, en hausse malgré les puces de Google, Amazon, Microsoft, c'est le genre de stat qui coupe court à pas mal de discours. CUDA ce n'est pas juste un outil, c'est dix ans de bibliothèques, de forums, de code en prod que personne n'a envie de migrer. La vraie dépendance en Europe c'est là, pas dans le matériel.