Utilisez votre propre modèle avec Amazon SageMaker AI : le mode script dans le SDK v3
Amazon Web Services a publié un article technique détaillant la version 3 du kit de développement logiciel (SDK) Python pour Amazon SageMaker AI, son service de machine learning managé, et la refonte du mode script qui permet d'utiliser son propre code d'entraînement et d'inférence sans avoir à construire d'image Docker complète. Ce mode avait été introduit pour la première fois en 2021. Dans ce nouveau SDK v3, les classes spécifiques à chaque framework qui existaient jusque là, comme SKLearn, PyTorch ou XGBoost, sont remplacées par deux classes uniques : ModelTrainer pour l'entraînement et ModelBuilder pour le déploiement. Un nouvel objet appelé SourceCode permet de synchroniser un répertoire de code local directement dans le conteneur au moment de l'exécution du job, à partir d'une image hébergée sur Amazon Elastic Container Registry (ECR), qu'elle soit construite par l'utilisateur, fournie par AWS via un Deep Learning Container, ou tierce. L'article illustre la démarche avec deux exemples concrets : l'entraînement puis le déploiement d'une forêt aléatoire scikit-learn sur le jeu de données diabètes, servie ensuite via Deep Java Library (DJL) Serving, et l'ajustement fin (fine-tuning) du modèle génératif Stable Diffusion 3.5 avec la technique LoRA, en s'appuyant sur Hugging Face Accelerate pour l'entraînement distribué multi-GPU.
Résumé et traduction réalisés par Le Fil IA à partir de AWS ML Blog. Lire l'article original →
Ce changement d'architecture cible directement les équipes de machine learning qui utilisent SageMaker au quotidien et cherchent à réduire les frictions techniques. En découplant le code applicatif de l'image conteneur, les développeurs peuvent modifier leur script d'entraînement et relancer un job sans reconstruire ni republier de conteneur, ce qui accélère nettement les cycles d'itération. Le fait de garder un contrôle total sur le contenu de l'image, notamment pour installer des paquets système ou des bibliothèques CUDA spécifiques, offre davantage de flexibilité qu'avec les conteneurs managés figés d'AWS. Surtout, une interface unique permettant de gérer aussi bien des workflows classiques de machine learning tabulaire que des workflows d'intelligence artificielle générative de grande taille simplifie la maintenance des pipelines pour les équipes qui jonglent avec plusieurs frameworks.
Cette évolution s'inscrit dans une tendance plus large de simplification des outils de MLOps chez les grands fournisseurs cloud, alors que la concurrence s'intensifie face à des offres comme Google Vertex AI ou Azure Machine Learning. Elle reflète aussi la montée en puissance des besoins de fine-tuning de modèles génératifs volumineux, comme Stable Diffusion, qui nécessitent une infrastructure distribuée sur plusieurs GPU facilement configurable. Pour suivre ce nouveau mode, AWS recommande un compte disposant des permissions IAM appropriées, le SDK installé via pip install sagemaker>=3.0, une image conteneur poussée sur ECR et un bucket Amazon S3 pour stocker données et artefacts de modèle, avec un suivi optionnel des expériences via MLflow.
Pas d'impact direct sur la France/UE