Aller au contenu principal
Bonnes pratiques pour l'inférence sur Amazon SageMaker HyperPod
InfrastructureAWS ML Blog2h

Bonnes pratiques pour l'inférence sur Amazon SageMaker HyperPod

1 source couvre ce sujet·Source originale ↗·

Amazon a enrichi sa plateforme SageMaker HyperPod d'un ensemble de fonctionnalités dédiées à l'inférence de modèles d'IA générative, avec pour promesse affichée une réduction du coût total de possession allant jusqu'à 40%. La solution s'appuie sur Amazon Elastic Kubernetes Service (EKS) comme orchestrateur et permet de créer un cluster en quelques clics depuis la console SageMaker AI. Deux modes de configuration sont proposés : une installation rapide avec des ressources par défaut, et une installation personnalisée permettant d'intégrer des infrastructures existantes. Une fois le cluster actif, l'opérateur d'inférence intégré permet de déployer des modèles directement depuis des buckets S3, des systèmes de fichiers FSx for Lustre, ou depuis le catalogue SageMaker JumpStart, sans écrire une seule ligne de code. Des notebooks d'exemple couvrent les cas d'usage courants : modèles préconstruits, modèles fine-tunés, configurations personnalisées.

L'enjeu central de cette mise à jour est la gestion dynamique des ressources GPU, historiquement coûteuse et complexe à piloter. HyperPod introduit une architecture de scalabilité à deux niveaux : KEDA (Kubernetes Event-Driven Autoscaling), un projet open source de la Cloud Native Computing Foundation, gère l'autoscaling des pods en fonction de métriques temps réel comme la longueur de la file de requêtes, la latence, ou des métriques CloudWatch et Prometheus personnalisées. KEDA peut réduire le nombre de pods à zéro en l'absence de trafic, supprimant ainsi les coûts à l'arrêt. En parallèle, Karpenter opère au niveau des nœuds de calcul : il provisionne ou retire des instances selon les besoins des pods en attente, et tourne dans le plan de contrôle EKS, ce qui évite tout surcoût lié à l'autoscaler lui-même. Cette combinaison permet de passer de zéro à une charge de production en réponse à la demande réelle.

Ce lancement intervient dans un contexte où le déploiement de modèles de fondation à grande échelle est devenu un point de friction majeur pour les équipes IA en entreprise : infrastructure difficile à calibrer, pics de trafic imprévisibles, surinvestissement GPU, et délais de mise en production allongés. AWS positionne HyperPod comme une réponse complète à ce trilemme coût-performance-simplicité, en absorbant la complexité opérationnelle dans une couche managée. La plateforme concurrence directement les offres de Google (Vertex AI) et Microsoft Azure (ML endpoints managés), qui proposent des approches similaires. Les suites probables incluent une intégration plus poussée avec les outils d'observabilité AWS et une extension du support à d'autres architectures de modèles, alors que la course aux infrastructures d'inférence efficaces s'intensifie dans tout le secteur cloud.

À lire aussi

Microsoft freine ses investissements dans l'IA et cherche maintenant à rattraper son retard
1The Information AI 

Microsoft freine ses investissements dans l'IA et cherche maintenant à rattraper son retard

Microsoft se retrouve aujourd'hui en retard dans la course aux infrastructures d'intelligence artificielle, après une série de décisions qui lui ont coûté une avance considérable sur ses concurrents. Au début du boom de l'IA, l'équipe infrastructure de l'entreprise avait constitué un portefeuille de sites de data centers représentant 9 gigawatts de capacité électrique, l'équivalent de neuf réacteurs nucléaires, ce qui faisait l'envie du secteur. Mais fin 2024 et début 2025, face à des dépenses d'investissement en infrastructure qui menaçaient de dépasser les 80 milliards de dollars budgétés pour l'exercice fiscal, la directrice financière Amy Hood a mis le frein. L'équipe énergie de Microsoft a dû abandonner ou suspendre plusieurs projets de data centers en cours, aussi bien aux États-Unis qu'en Europe. En octobre dernier, Hood reconnaissait publiquement que le service cloud Azure manquait de capacité. "Je pensais que nous allions rattraper notre retard. Ce n'est pas le cas", déclarait-elle lors d'un appel aux investisseurs. Microsoft restera "limité en capacité" au moins jusqu'à la fin de son exercice fiscal en juin 2026. Les conséquences de ce retrait ont été immédiates et concrètes pour la position compétitive de Microsoft. Google, Oracle et d'autres acteurs ont profité du vide laissé pour avancer leurs propres projets et sécuriser des raccordements au réseau électrique que Microsoft avait abandonnés. Oracle a récupéré une part importante de la capacité disponible pour son data center en construction à Port Washington, dans le Wisconsin, destiné à accueillir les besoins d'OpenAI. Google a accéléré le développement de deux campus en Indiana pendant que Microsoft était en mode attente. Plusieurs membres de l'équipe énergie ont depuis quitté l'entreprise, dont le directeur énergie Bobby Hollis, dont le départ a été annoncé le 31 mars 2026. Pour combler l'écart, Microsoft a signé des accords avec des partenaires tiers, dont les acteurs spécialisés Nscale et Crusoe, ainsi qu'avec le géant énergétique Chevron et le fonds Engine No. 1, en misant sur une production électrique privée hors réseau alimentée au gaz naturel, notamment au Texas et en Virginie-Occidentale. Cette situation s'inscrit dans un contexte de tension structurelle sur le réseau électrique américain, où obtenir un raccordement peut prendre plusieurs années. Microsoft n'est pas en mesure de retrouver sa place dans les files d'attente des opérateurs réseau qu'elle a libérées. Certains observateurs, dont des responsables d'infrastructure familiers des projets, estiment que la discipline budgétaire imposée par Hood pourrait néanmoins s'avérer judicieuse à long terme : en transférant une partie du risque de construction à ses partenaires, Microsoft préserve sa flexibilité pour acquérir des sites à des conditions plus favorables dans un marché qui commence à se rationaliser. Alistair Speirs, directeur général de l'infrastructure Azure, a défendu une "approche fondée sur la flexibilité et les options", en fonction des signaux de demande à court et long terme.

UEMicrosoft a suspendu plusieurs projets de data centers en Europe, réduisant la capacité cloud Azure disponible pour les entreprises européennes et retardant l'accès à l'infrastructure IA dans la région.

💬 9 gigawatts en portefeuille, et ils ont lâché les raccordements réseau au pire moment. Dans un marché où se connecter au réseau électrique prend parfois des années, tu ne reviens pas dans la file une fois que t'en es sorti, peu importe le budget que tu remets sur la table ensuite. Google et Oracle n'ont pas eu besoin de se battre, ils ont juste ramassé ce que Microsoft avait laissé.

InfrastructureActu
1 source
DustPhotonics : La nouvelle cible prioritaire d’Intel et Nvidia dans l’IA
2Le Big Data 

DustPhotonics : La nouvelle cible prioritaire d’Intel et Nvidia dans l’IA

La start-up israélienne DustPhotonics, fondée en 2017 et spécialisée dans les puces photoniques, serait en négociations avancées pour un rachat estimé à plusieurs centaines de millions de dollars. Intel, Nvidia et Amazon figurent parmi les acheteurs potentiels les plus sérieux, selon des informations publiées le 12 avril 2026 par le média israélien Calcalist. L'entreprise, qui a levé plus de 100 millions de dollars depuis sa création, développe des composants capables de transmettre des données à des vitesses comprises entre 400 Gbit/s et 1,6 Tbit/s en utilisant la lumière plutôt que l'électricité. En 2021, sous l'impulsion de son PDG Ronnen Lovinger, DustPhotonics a opéré un pivot stratégique en abandonnant les émetteurs-récepteurs et câbles pour se concentrer exclusivement sur le développement de puces intégrées, ce qui lui a permis de monter significativement en valeur dans la chaîne technologique. L'enjeu dépasse largement cette seule transaction. Les câbles en cuivre qui relient les processeurs dans les grands centres de données atteignent leurs limites physiques face aux exigences croissantes des clusters d'IA : latence trop élevée, consommation énergétique excessive, bande passante insuffisante. Les goulets d'étranglement ne se situent plus uniquement dans les GPU ou la mémoire, mais dans la circulation de l'information entre les composants. La photonique sur silicium, qui intègre directement des composants optiques dans les puces, s'impose comme une réponse structurelle à ce problème. Pour Nvidia, acquérir DustPhotonics permettrait d'internaliser une technologie critique et de réduire sa dépendance à des fournisseurs externes comme Coherent, avec qui le groupe a déjà contracté des engagements de plusieurs milliards de dollars. Amazon viserait une intégration directe dans ses infrastructures cloud, tandis qu'Intel chercherait à combler son retard dans la course à l'IA. La crédibilité de DustPhotonics repose aussi sur son actionnariat. Son président, Avigdor Willenz, a déjà orchestré deux sorties majeures : la vente de Habana Labs à Intel et celle d'Annapurna Labs à AWS, deux transactions qui ont rapporté plusieurs milliards de dollars. Ce palmarès renforce la probabilité d'un nouvel exit réussi. L'entreprise n'évolue pas seule sur ce marché en effervescence, Ayar Labs et Xscape Photonics développent des approches concurrentes, mais son positionnement sur les puces intégrées à haute vitesse la distingue. La consolidation autour des interconnexions optiques s'accélère à mesure que les géants technologiques cherchent à sécuriser chaque brique critique de leur infrastructure IA, un mouvement qui devrait s'intensifier dans les prochains mois.

InfrastructureOpinion
1 source
L’IA gratuite, c’est terminé : les prix du compute s’envolent
3FrenchWeb 

L’IA gratuite, c’est terminé : les prix du compute s’envolent

Pendant deux ans, l'intelligence artificielle a été proposée à des tarifs quasi symboliques : APIs accessibles, chatbots gratuits, génération de contenu à la demande. Cette période d'abondance artificielle touche désormais à sa fin. Les coûts du compute, longtemps subventionnés par les levées de fonds massives des grands acteurs, remontent à la surface, et les hausses de prix se multiplient chez les principaux fournisseurs de services IA. Ce retournement a des conséquences directes pour les entreprises et développeurs qui ont bâti leurs produits sur des hypothèses de coût très basses. Les marges se réduisent, les modèles économiques sont à revoir, et les startups les plus dépendantes des APIs tierces se retrouvent sous pression. Pour les utilisateurs finaux, la fin des offres gratuites ou très généreuses signifie une recomposition du marché : les acteurs capables de maîtriser leur infrastructure prendront l'avantage sur ceux qui sous-traitent entièrement leur compute. Ce tournant s'explique par la conjonction de plusieurs facteurs : la demande mondiale en puissance GPU explose tandis que l'offre reste contrainte, les datacenters saturent, et les investisseurs commencent à exiger de la rentabilité après des années de croissance à perte. OpenAI, Anthropic, Google et Microsoft ont tous signalé des tensions sur leurs infrastructures. La prochaine phase de l'IA sera celle de la sélection économique : seuls survivront les usages dont la valeur justifie réellement le coût de calcul.

UELes startups et développeurs européens qui ont bâti leurs produits sur des APIs IA bon marché doivent revoir en urgence leurs modèles économiques face à la remontée des coûts de compute.

💬 On y est. J'avais mis un an à convaincre des clients que les APIs IA à 0,002$ du token, c'était pas un modèle viable sur le long terme, et là ça se confirme brutalement. Les startups qui ont bâti leur MRR sur du compute subventionné par la VC money vont avoir quelques trimestres difficiles. Reste à voir qui a les reins assez solides pour absorber la hausse, ou qui va simplement disparaître.

InfrastructureOpinion
1 source
On a testé le MacBook Pro M5 Pro avec 48 Go de RAM : la config parfaite pour de l’IA locale ?
4Numerama 

On a testé le MacBook Pro M5 Pro avec 48 Go de RAM : la config parfaite pour de l’IA locale ?

Apple a lancé début 2025 son MacBook Pro équipé de la puce M5 Pro, disponible à partir de 3 199 euros dans sa configuration 48 Go de RAM unifée. La version haut de gamme, le M5 Max avec 128 Go de mémoire, monte jusqu'à 6 429 euros sans augmentation du stockage. Des journalistes tech ont soumis cette machine à des tests intensifs de LLM locaux, faisant tourner des modèles open source tels que Mistral, DeepSeek, les modèles Alibaba Qwen et plusieurs variantes Google Gemma directement sur le matériel, sans connexion cloud. Ce type de configuration intéresse de plus en plus les développeurs, chercheurs et professionnels qui veulent exécuter des modèles de langage en local pour des raisons de confidentialité, de latence ou de coût. La mémoire unifiée des puces Apple Silicon est une architecture particulièrement adaptée à ce cas d'usage : contrairement aux PC classiques où la RAM et la VRAM sont séparées, le CPU et le GPU partagent le même pool mémoire, ce qui permet de charger entièrement des modèles de 30 à 70 milliards de paramètres sans swap. Les résultats des tests montrent des vitesses d'inférence utilisables au quotidien, loin derrière un GPU NVIDIA haut de gamme mais suffisantes pour un workflow professionnel autonome. Cette tendance s'inscrit dans un mouvement plus large de démocratisation de l'IA locale, accéléré par la sortie de modèles open source performants et compacts. Des acteurs comme Mistral AI, DeepSeek ou Alibaba proposent désormais des versions quantisées de leurs modèles optimisées pour ce type de matériel. Face aux interrogations croissantes sur la souveraineté des données et la dépendance aux API cloud, le couple Apple Silicon + ollama ou LM Studio s'impose comme une alternative crédible pour les professionnels prêts à investir plusieurs milliers d'euros dans une machine autonome.

UELa tendance à l'IA locale répond aux préoccupations européennes de souveraineté des données, et Mistral AI figure parmi les modèles open source testés sur ce type de matériel.

💬 Le M5 Pro 48 Go, c'est le premier Mac où je me dis que l'IA locale est devenue praticable sans compromis majeur. Tu charges un modèle de 30 à 70 milliards de paramètres, ça tourne sur la même mémoire que le reste, pas de swap, pas de GPU externe à brancher. 3 200 euros de base, c'est cher, et la vitesse d'inférence reste loin d'un bon GPU NVIDIA, mais pour du travail autonome sur des données confidentielles, j'ai du mal à voir mieux dans ce format.

InfrastructureActu
1 source