Déployez des endpoints d'inférence SageMaker AI avec une capacité GPU définie via les plans d'entraînement
Amazon SageMaker AI étend désormais ses plans d'entraînement aux charges de travail d'inférence, permettant aux équipes de réserver de la capacité GPU pour des périodes définies. Une avancée concrète pour les équipes qui déploient des grands modèles de langage (LLM) en production ou en phase d'évaluation, et qui se heurtent régulièrement à l'indisponibilité des instances GPU sur demande. L'enjeu est significatif : les instances GPU haut de gamme comme les ml.p5.48xlarge sont soumises à une forte pression en période de pic, rendant les déploiements imprévisibles et les benchmarks impossibles à planifier sérieusement. Jusqu'ici, les plans d'entraînement SageMaker permettaient uniquement de réserver de la capacité pour les jobs d'entraînement. Leur extension aux endpoints d'inférence comble un vide critique dans le cycle de vie des modèles, notamment pour les phases d'évaluation comparative, les tests de production à durée limitée, ou les pics de charge prévisibles. Le fonctionnement repose sur quatre étapes : identifier les besoins en capacité (type d'instance, quantité, durée), interroger les offres disponibles via l'API search-training-plan-offerings, créer la réservation en spécifiant "endpoint" comme ressource cible, ce qui génère un ARN dédié, puis référencer cet ARN dans la configuration de l'endpoint SageMaker. La capacité réservée est ainsi garantie pour toute la fenêtre temporelle choisie. Le cas d'usage illustratif décrit une équipe data science nécessitant une instance ml.p5.48xlarge pendant deux semaines pour comparer plusieurs modèles fine-tunés avant sélection en production. Cette évolution positionne AWS sur un axe de prévisibilité opérationnelle que ses concurrents peinent encore à offrir avec la même granularité. Pour les organisations contraintes par des SLA stricts ou des cycles d'évaluation rigoureux, la possibilité de découpler la disponibilité GPU de l'aléa du marché spot représente un avantage concret, à condition d'anticiper les besoins et d'en absorber le coût de réservation.
