Comment Uber optimise ses millions de trajets et son IA avec Amazon

Optimiser l'entraînement des modèles sur Amazon SageMaker AI avec NVIDIA Blackwell

Amazon Web Services a rendu disponibles sur Amazon SageMaker AI les instances P6-B200, équipées de huit GPU NVIDIA Blackwell B200, pour l'entraînement de modèles de machine learning à grande échelle. Ces GPU de nouvelle génération embarquent 180 Go de mémoire HBM par puce (268 Go sur le B300), contre des capacités bien inférieures sur les générations précédentes, et s'interconnectent via NVLink 5 qui atteint 1,8 To/s de bande passante bidirectionnelle entre GPU. La configuration cible des modèles Transformer allant de 1 à 64 milliards de paramètres, entraînés en parallélisme de données fragmentées (FSDP de PyTorch) sur un nœud unique à huit GPU. L'accès à ces instances peut être réservé via le programme Flexible Training Plan d'AWS pour bénéficier d'une capacité prévisible et d'une gestion automatisée des ressources. Cette architecture modifie concrètement ce qui est réalisable dans l'entraînement de grands modèles. Jusqu'ici, les ingénieurs se heurtaient à trois contraintes classiques : des tailles de batch limitées par la mémoire GPU, des séquences tronquées pour éviter les erreurs out-of-memory, et un fractionnement du modèle sur plusieurs nœuds qui génère une surcharge réseau importante. Avec 180 Go par GPU, certains modèles qui nécessitaient auparavant plusieurs nœuds peuvent désormais tenir sur un seul nœud à huit GPU, ce qui réduit la latence de communication, accélère les cycles d'itération et diminue les coûts d'infrastructure. Des séquences plus longues deviennent viables pour les tâches de dépendances à longue portée, et le nombre d'étapes de synchronisation des gradients diminue avec des batchs plus grands, améliorant le débit global. NVIDIA Blackwell représente la cinquième génération de Tensor Cores de la marque, et son architecture dual-chip marque une rupture par rapport aux générations Ampere et Hopper. L'explosion de la taille des modèles ces trois dernières années, de GPT-3 à 175 milliards de paramètres jusqu'aux modèles actuels dépassant le trillion, a poussé les fournisseurs cloud et les fabricants de puces à repenser conjointement leurs offres. AWS et NVIDIA ont renforcé leur partenariat autour de SageMaker pour proposer une intégration clé en main qui abstrait la gestion de l'infrastructure. Les prochaines étapes pratiques pour les équipes ML consistent à calibrer le format de précision (FP8, BF16 ou FP16 selon la taille du modèle), ajuster le checkpointing d'activations pour équilibrer mémoire et calcul, et décider si la priorité est le débit, la réduction des communications inter-GPU ou la longueur de contexte. L'enjeu pour AWS est de capter une part croissante des budgets d'entraînement de modèles fondationnels, un marché où Google Cloud et Microsoft Azure jouent également des capacités GPU Blackwell.

Comment déployer des opérations IA autonomes à grande échelle sur Amazon Bedrock

Amazon Web Services a dévoilé Amazon Bedrock Ops Alert, une solution de supervision automatisée en trois couches conçue pour les organisations qui déploient des applications d'IA générative à grande échelle. Utilisé par plus de 100 000 organisations dans le monde, d'entreprises naissantes aux multinationales, Amazon Bedrock fournit l'infrastructure sur laquelle reposent des centaines de workloads de production. La nouvelle solution surveille en continu les quotas de requêtes par minute (RPM) et de tokens par minute (TPM) alloués à chaque client, détecte les anomalies opérationnelles avant qu'elles n'impactent la production, ajuste dynamiquement les seuils d'alarme, et ouvre automatiquement des tickets de support AWS enrichis en contexte. Elle intègre également un mécanisme anti-doublons qui bloque la création d'un nouveau ticket si un cas non résolu de même nature est déjà ouvert, évitant ainsi de diluer l'attention des équipes d'ingénierie. Pour les équipes SRE spécialisées en IA, l'enjeu est considérable : gérer manuellement les quotas et escalades de support à mesure que l'adoption interne s'accélère est un travail chronophage qui détourne les ingénieurs de l'innovation. Bedrock Ops Alert réduit ce surcoût opérationnel en automatisant le triage, en fournissant des notifications contextualisées directement exploitables, et en raccourcissant le temps moyen de résolution des incidents. La solution permet aussi d'anticiper les besoins d'augmentation de quotas avant que les limitations ne se matérialisent en erreurs pour les utilisateurs finaux, un gain critique dans des environnements où plusieurs modèles de fondation tournent simultanément en production. Cette annonce s'inscrit dans une tendance plus large chez AWS : réduire la friction liée à l'échelle des workloads d'IA générative sans exiger systématiquement une augmentation de quotas. Amazon Bedrock propose déjà l'inférence inter-régions géographique et, plus récemment, l'inférence inter-régions mondiale (global cross-region inference), qui route automatiquement les requêtes vers les régions AWS commerciales les mieux disponibles dans le monde entier, offrant un accès à un pool de ressources nettement plus large et une réduction de coût d'environ 10 % par rapport à l'inférence géographique classique. Le prompt caching, autre fonctionnalité optionnelle, permet quant à lui de réduire la latence et les coûts en token en évitant de recalculer des portions de contexte identiques. Ensemble, ces mécanismes forment une réponse structurée d'AWS à la pression croissante que font peser des milliers d'organisations sur une infrastructure d'IA devenue critique pour leurs opérations quotidiennes.

NVIDIA et ses partenaires transforment la publicité et le marketing avec l'IA à Cannes Lions

Au festival Cannes Lions, qui se tient du 22 au 26 juin en France, plusieurs entreprises partenaires de NVIDIA présentent leurs solutions d'intelligence artificielle pour transformer la publicité et le marketing à grande échelle. Parmi elles : Alembic, Amazon Web Services (AWS), Criteo, Higgsfield, KERV.ai et Taboola. Alembic, spécialisée dans l'IA causale, sera la première entreprise du secteur à utiliser les systèmes NVIDIA DGX Vera Rubin SuperPODs pour modéliser les véritables moteurs de croissance marketing, non plus de simples corrélations, mais des relations de causalité réelles entre canaux, marchés et audiences. Criteo, qui gère l'un des plus grands réseaux de recommandation publicitaire au monde, a quant à elle atteint une accélération d'environ deux fois plus rapide dans l'entraînement de ses modèles grâce aux GPU NVIDIA Blackwell et à la bibliothèque open source cuEmbed, libérant ainsi près de 17 000 heures de GPU par an. AWS propose de son côté une pile d'infrastructure clé en main pour les acteurs de l'adtech, permettant de faire tourner des modèles d'IA directement dans les fenêtres d'enchères en temps réel via NVIDIA Triton Inference Server. Taboola utilise ces mêmes GPU pour alimenter DeeperDive, son moteur de réponses conversationnelles. Ces annonces illustrent un basculement profond dans l'industrie publicitaire : là où le numérique avait apporté la vitesse, l'IA apporte désormais l'autonomie opérationnelle. Pour les régies et plateformes publicitaires, l'enjeu n'est plus de savoir si elles adopteront l'IA, mais si leur infrastructure pourra suivre le rythme. La capacité à enchérir, recommander et optimiser en quelques millisecondes sur des milliards de transactions quotidiennes nécessite une puissance de calcul que seuls les GPU spécialisés peuvent fournir aujourd'hui. Pour Criteo, gagner 17 000 heures GPU par an, c'est concrètement réduire les coûts de calcul tout en améliorant la pertinence des recommandations produit pour des centaines de millions d'acheteurs. Pour les annonceurs utilisant AWS, passer de règles manuelles à des modèles d'IA pour l'optimisation des prix d'enchère représente un avantage concurrentiel direct sur les marchés programmatiques. Cette convergence entre NVIDIA et l'écosystème publicitaire s'inscrit dans une dynamique plus large d'industrialisation de l'IA à l'échelle des entreprises. NVIDIA, dont les GPU dominent le marché de l'entraînement des modèles d'IA, cherche désormais à s'imposer aussi dans l'inférence à la milliseconde, le moment où l'IA doit prendre une décision en production. Cannes Lions, rendez-vous annuel de l'industrie créative et publicitaire mondiale, devient ainsi une vitrine technologique où les fournisseurs d'infrastructure rivalisent pour convaincre les grandes marques et agences que l'IA agentique, des systèmes capables de planifier, exécuter et optimiser des campagnes de manière autonome, est désormais prête pour le déploiement en entreprise.

💬 Le festival le plus glamour de la pub qui se transforme en vitrine GPU, ça dit quelque chose sur où en est vraiment l'IA. Ce qui change ici, c'est le pivot de NVIDIA vers l'inférence temps réel : dominer l'entraînement c'était bien, mais dominer la décision à la milliseconde dans les enchères programmatiques, c'est là où se jouent les vraies marges. Criteo qui gagne 17 000 heures GPU par an sur ses modèles, c'est pas du marketing.

Amazon SageMaker AI propose désormais des recommandations optimisées pour l'inférence d'IA générative

Amazon a annoncé que SageMaker AI prend désormais en charge les recommandations optimisées pour le déploiement de modèles d'IA générative en production. Cette nouvelle fonctionnalité s'appuie sur NVIDIA AIPerf, un composant modulaire du framework open source NVIDIA Dynamo, pour fournir automatiquement des configurations de déploiement validées accompagnées de métriques de performance précises. Concrètement, SageMaker AI évalue les combinaisons d'instances GPU, de conteneurs de service, de stratégies de parallélisme et de techniques d'optimisation, puis restitue aux équipes les configurations les plus adaptées à leurs exigences de latence, de débit ou de coût. Eliuth Triana, Developer Relations Manager chez NVIDIA, a salué l'intégration, soulignant qu'elle permet aux entreprises de déployer des modèles d'IA générative avec confiance, en remplaçant des semaines de tests manuels par des configurations prêtes à l'emploi. L'enjeu est considérable pour les équipes d'ingénierie. Aujourd'hui, passer d'un modèle entraîné à un endpoint de production opérationnel prend entre deux et trois semaines par modèle, une durée imposée par la nécessité de tester manuellement des dizaines de configurations possibles : plus d'une douzaine de types d'instances GPU, plusieurs conteneurs de service, différents degrés de parallélisme, et des techniques comme le décodage spéculatif. Sans guidance validée, les équipes provisionnent des instances, déploient le modèle, exécutent des tests de charge, analysent les résultats, puis recommencent. Ce cycle mobilise une expertise en infrastructure GPU et en frameworks de service que la plupart des équipes ne possèdent pas en interne, conduisant systématiquement à du sur-provisionnement coûteux. AWS élimine ce goulot d'étranglement en automatisant l'ensemble du processus d'exploration et de validation des configurations. Cette évolution s'inscrit dans une course à la mise en production de l'IA générative que se livrent les entreprises pour alimenter leurs assistants intelligents, outils de génération de code et moteurs de contenu. Le coût du sur-provisionnement GPU, qui s'accumule à chaque modèle déployé et à chaque mois d'exploitation, représente un problème structurel pour l'industrie. AWS s'appuie sur sa collaboration technique approfondie avec NVIDIA, formalisée ici par l'intégration directe des composants de Dynamo dans SageMaker, pour s'imposer comme la plateforme cloud de référence pour les déploiements d'IA en production. En standardisant le benchmarking via AIPerf, dont les contrôles de concurrence et les options de jeux de données permettent d'itérer rapidement sur des scénarios variés, Amazon réduit la barrière technique pour les organisations qui cherchent à industrialiser leurs modèles sans constituer une équipe d'experts en infrastructure dédiée.