InfrastructureAI News1h

NVIDIA et Google réduisent les coûts d'inférence en IA

1 source couvre ce sujet·Source originale ↗·

Lors de la conférence Google Cloud Next, Google et NVIDIA ont dévoilé une nouvelle génération d'infrastructure destinée à réduire drastiquement le coût de l'inférence IA à grande échelle. Les deux entreprises ont présenté les instances A5X bare-metal, reposant sur les systèmes rack NVIDIA Vera Rubin NVL72. Cette architecture promet une réduction jusqu'à dix fois du coût d'inférence par token par rapport aux générations précédentes, tout en multipliant par dix le débit de tokens par mégawatt. Pour atteindre ces performances, les instances A5X combinent les SuperNICs NVIDIA ConnectX-9 avec la technologie réseau Google Virgo, permettant de connecter jusqu'à 80 000 GPU NVIDIA Rubin au sein d'un même site, et jusqu'à 960 000 GPU dans un déploiement multi-sites. Mark Lohmeyer, VP et directeur général de l'infrastructure IA chez Google Cloud, a résumé l'enjeu : "La prochaine décennie de l'IA sera façonnée par la capacité des entreprises à faire tourner leurs charges de travail les plus exigeantes sur une infrastructure vraiment intégrée et optimisée pour l'IA."

Ces annonces ont un impact direct sur les secteurs fortement réglementés, comme la finance et la santé, qui butent régulièrement sur des contraintes de souveraineté des données. Google et NVIDIA y répondent avec plusieurs initiatives concrètes : les modèles Gemini fonctionnant sur GPU NVIDIA Blackwell et Blackwell Ultra sont désormais disponibles en préversion sur Google Distributed Cloud, ce qui permet aux organisations de garder les modèles frontier entièrement dans leur environnement contrôlé, au plus près de leurs données sensibles. La sécurité est assurée par NVIDIA Confidential Computing, un protocole de chiffrement matériel qui protège les données d'entraînement et les prompts y compris vis-à-vis des opérateurs cloud eux-mêmes. Pour les environnements cloud public multi-tenant, des VM Confidential G4 équipées de GPU NVIDIA RTX PRO 6000 Blackwell sont également introduites en préversion, marquant la première offre de confidential computing cloud pour des GPU Blackwell.

Cette collaboration s'inscrit dans une course plus large à l'optimisation de l'inférence, alors que les coûts opérationnels de l'IA générative restent un frein majeur à son adoption industrielle. Au-delà du matériel, le partenariat couvre aussi la couche logicielle : NVIDIA Nemotron 3 Super est désormais disponible sur la Gemini Enterprise Agent Platform, permettant aux développeurs de construire des systèmes agentiques complexes capables de raisonner, planifier et agir en chaîne. L'ensemble de la plateforme NVIDIA sur Google Cloud est optimisé pour les familles de modèles Gemini et Gemma. Avec des clusters dépassant le million de GPU et une ambition affichée de simplifier le déploiement d'IA souveraine, Google et NVIDIA repositionnent l'infrastructure cloud non plus comme un simple fournisseur de puissance de calcul, mais comme un levier stratégique pour les entreprises qui veulent industrialiser l'IA sans sacrifier performance, coût ou conformité réglementaire.

Impact France/UE

Les entreprises européennes des secteurs réglementés (finance, santé) disposent désormais d'options d'infrastructure IA souveraine compatibles avec les exigences RGPD, réduisant un frein concret à l'industrialisation de l'IA en Europe.

À lire aussi

1Next INpact

Google lance ses TPU v8 et spécialise ses puces pour l’IA : enjeux et comparatif maison

Google a annoncé sa huitième génération de Tensor Processing Units (TPU), ses puces spécialisées dans les calculs d'intelligence artificielle. Pour la première fois dans l'histoire de la gamme, la firme de Mountain View propose deux variantes distinctes basées non plus sur le niveau de performance, mais sur le type d'usage : le TPU v8t, orienté vers l'entraînement des modèles, et le TPU v8i, dédié à l'inférence. C'est une rupture notable avec les générations précédentes, comme les v5e et v5p, qui se différenciaient uniquement par l'efficacité énergétique contre la puissance brute. Cette spécialisation par usage représente un changement de stratégie significatif pour Google. Selon la firme elle-même, "les deux puces peuvent gérer différentes charges de travail, mais la spécialisation permet d'obtenir des gains significatifs". En séparant l'entraînement de l'inférence au niveau matériel, Google cherche à optimiser le rapport performances/coût pour chaque étape du cycle de vie d'un modèle d'IA. Pour les entreprises clientes de Google Cloud, cela se traduit potentiellement par des coûts d'exploitation réduits et une meilleure efficacité dans le déploiement de modèles génératifs à grande échelle. Cette annonce s'inscrit dans une course aux puces IA qui s'est considérablement intensifiée depuis 2018, date des TPU v3. En huit générations, Google a construit une alternative crédible aux GPU de Nvidia, qui dominent encore largement le marché de l'accélération IA. La firme utilise ses TPU en interne pour entraîner ses propres modèles Gemini, ce qui lui confère un avantage compétitif double : maîtrise du hardware et du software. Face à la montée en puissance de concurrents comme les puces Trainium d'Amazon ou les Gaudi d'Intel, la spécialisation des TPU v8 pourrait devenir un argument commercial décisif pour attirer les grandes entreprises vers Google Cloud plutôt que vers AWS ou Azure.

UELes entreprises européennes qui s'appuient sur Google Cloud pour entraîner ou déployer des modèles d'IA pourraient bénéficier d'une réduction des coûts d'exploitation grâce à la spécialisation matérielle des TPU v8.

InfrastructureOpinion

1 source

2Pandaily

Anker présente son propre chip "Thus" pour déployer l'IA embarquée sur toute sa gamme

Anker a officiellement présenté son propre processeur baptisé "Thus", conçu en interne pour intégrer des capacités d'intelligence artificielle directement dans ses produits, sans recours au cloud. La société le décrit comme le premier chip audio IA du monde basé sur l'informatique en mémoire pour les réseaux de neurones. Le coup d'envoi aura lieu lors de l'événement "Anker Day" le 21 mai prochain, où seront dévoilés les premiers écouteurs équipés de cette puce, vraisemblablement les Soundcore Liberty 5 Pro Max à 229,99 dollars et les Liberty 5 Pro à 169,99 dollars, selon des informations relayées par The Verge le 22 avril. Ces deux modèles embarqueront huit microphones MEMS et deux capteurs de conduction osseuse pour isoler précisément la voix de l'utilisateur. L'enjeu technique est considérable. Les architectures classiques séparent stockage et calcul, ce qui impose des transferts de données constants lors de l'inférence, consommant énergie et espace. Thus effectue les calculs directement là où réside le modèle, supprimant ces allers-retours et réduisant drastiquement la consommation. Résultat : là où les écouteurs traditionnels ne peuvent faire tourner que des réseaux de quelques centaines de milliers de paramètres, faute de batterie et d'espace, Thus permet d'en exécuter comptant plusieurs millions. En pratique, cela se traduit par une réduction de bruit en appel nettement plus robuste dans les environnements très bruités, sans écraser la voix de l'interlocuteur, un compromis que les solutions actuelles peinent à tenir. Anker, surtout connu pour ses chargeurs et batteries, opère ici un virage stratégique majeur. En développant son propre silicium, la marque suit la trajectoire d'Apple avec ses puces M et A, ou de Google avec ses Tensor : maîtriser la chaîne complète du matériel au logiciel pour différencier ses produits. Le choix des écouteurs comme terrain d'expérimentation n'est pas anodin : c'est précisément là que les contraintes matérielles sont les plus sévères, ce qui en fait un banc d'essai idéal avant un déploiement plus large dans les accessoires mobiles et les objets connectés de la gamme Soundcore et au-delà. Si le chip tient ses promesses à la commercialisation, Anker pourrait bousculer un segment audio premium dominé par Sony et Bose, tout en ouvrant la voie à une IA embarquée dans l'ensemble de son écosystème de produits.

UELes écouteurs Soundcore équipés du chip Thus seront disponibles à la vente en Europe dès leur commercialisation, sans impact réglementaire ou industriel direct pour la France ou l'UE.

InfrastructureOpinion

1 source

3VentureBeat AI

Google et AWS répartissent la pile des agents IA entre contrôle et exécution

Google et Amazon Web Services viennent de redéfinir leurs approches respectives pour orchestrer les agents IA d'entreprise, révélant une fracture profonde dans la façon de concevoir l'infrastructure agentique. Google a lancé une nouvelle version de Gemini Enterprise, regroupant sous une même bannière sa plateforme Gemini Enterprise et son application éponyme, tout en rebaptisant Vertex AI en Gemini Enterprise Platform. De son côté, AWS a enrichi Bedrock AgentCore d'un système de harness, un dispositif de configuration automatique alimenté par Strands Agents, son framework open source. Ce harness permet aux équipes de définir ce que l'agent doit faire, quel modèle utiliser et quels outils appeler, le reste étant pris en charge automatiquement. Dans le même temps, Anthropic a dévoilé ses Claude Managed Agents et OpenAI a renforcé son Agents SDK, confirmant que l'ensemble de l'industrie cherche simultanément à résoudre le même problème : comment gérer des agents IA qui tournent durablement en production. L'enjeu dépasse la simple question de l'outillage développeur. À mesure que les agents passent de courtes tâches ponctuelles à des workflows autonomes de longue durée, un nouveau type de défaillance émerge : la dérive d'état (state drift). Un agent qui fonctionne en continu accumule de la mémoire, des réponses et un contexte évolutif. Avec le temps, ce contexte devient obsolète : les sources de données changent, les outils renvoient des réponses contradictoires, et l'agent perd en fiabilité sans que personne ne s'en rende forcément compte. C'est ce problème systémique que Google et AWS cherchent à prévenir, par deux chemins opposés. Google mise sur un plan de contrôle à la manière de Kubernetes, centré sur la gouvernance et la visibilité. AWS privilégie la vitesse de déploiement et la simplification de la configuration, en déléguant la coordination à la couche d'exécution. Cette divergence illustre une transformation plus profonde de la pile IA, qui se stratifie désormais en couches spécialisées. Google positionne Gemini Enterprise comme une porte d'entrée unifiée vers l'ensemble de ses systèmes IA, avec des outils de sécurité et de gouvernance inclus dans l'abonnement, selon Maryam Gholami, directrice senior produit chez Google. AWS, Anthropic et OpenAI s'orientent davantage vers la vélocité et la flexibilité d'exécution. La question de savoir quelle approche s'imposera reste ouverte : Gholami elle-même reconnaît que ce sont les clients qui dicteront les usages des agents longue durée, un domaine où les bonnes pratiques restent encore à définir. Le vrai test viendra lorsque les entreprises feront tourner ces systèmes en conditions réelles, avec des agents qui devront remonter de l'information, demander des validations humaines, et résister à la dégradation progressive de leur contexte.

UELes entreprises européennes qui déploient des agents IA en production sur Google Cloud ou AWS devront arbitrer entre les deux approches d'orchestration pour leurs workflows agentiques durables.

InfrastructureOpinion

1 source

4AWS ML Blog

Amazon SageMaker AI propose désormais des recommandations optimisées pour l'inférence d'IA générative

Amazon a annoncé que SageMaker AI prend désormais en charge les recommandations optimisées pour le déploiement de modèles d'IA générative en production. Cette nouvelle fonctionnalité s'appuie sur NVIDIA AIPerf, un composant modulaire du framework open source NVIDIA Dynamo, pour fournir automatiquement des configurations de déploiement validées accompagnées de métriques de performance précises. Concrètement, SageMaker AI évalue les combinaisons d'instances GPU, de conteneurs de service, de stratégies de parallélisme et de techniques d'optimisation, puis restitue aux équipes les configurations les plus adaptées à leurs exigences de latence, de débit ou de coût. Eliuth Triana, Developer Relations Manager chez NVIDIA, a salué l'intégration, soulignant qu'elle permet aux entreprises de déployer des modèles d'IA générative avec confiance, en remplaçant des semaines de tests manuels par des configurations prêtes à l'emploi. L'enjeu est considérable pour les équipes d'ingénierie. Aujourd'hui, passer d'un modèle entraîné à un endpoint de production opérationnel prend entre deux et trois semaines par modèle, une durée imposée par la nécessité de tester manuellement des dizaines de configurations possibles : plus d'une douzaine de types d'instances GPU, plusieurs conteneurs de service, différents degrés de parallélisme, et des techniques comme le décodage spéculatif. Sans guidance validée, les équipes provisionnent des instances, déploient le modèle, exécutent des tests de charge, analysent les résultats, puis recommencent. Ce cycle mobilise une expertise en infrastructure GPU et en frameworks de service que la plupart des équipes ne possèdent pas en interne, conduisant systématiquement à du sur-provisionnement coûteux. AWS élimine ce goulot d'étranglement en automatisant l'ensemble du processus d'exploration et de validation des configurations. Cette évolution s'inscrit dans une course à la mise en production de l'IA générative que se livrent les entreprises pour alimenter leurs assistants intelligents, outils de génération de code et moteurs de contenu. Le coût du sur-provisionnement GPU, qui s'accumule à chaque modèle déployé et à chaque mois d'exploitation, représente un problème structurel pour l'industrie. AWS s'appuie sur sa collaboration technique approfondie avec NVIDIA, formalisée ici par l'intégration directe des composants de Dynamo dans SageMaker, pour s'imposer comme la plateforme cloud de référence pour les déploiements d'IA en production. En standardisant le benchmarking via AIPerf, dont les contrôles de concurrence et les options de jeux de données permettent d'itérer rapidement sur des scénarios variés, Amazon réduit la barrière technique pour les organisations qui cherchent à industrialiser leurs modèles sans constituer une équipe d'experts en infrastructure dédiée.

UELes entreprises européennes utilisant AWS SageMaker peuvent réduire leurs délais de mise en production de modèles IA de plusieurs semaines, sans impact réglementaire ou institutionnel direct sur la France ou l'UE.

InfrastructureActu

1 source