Annonce des images indexées SOCI pour accélérer les jobs SageMaker AI
Amazon Web Services a annoncé l'indexation Seekable OCI (SOCI) pour les jobs d'entraînement et de traitement d'Amazon SageMaker AI. Cette technologie retire le téléchargement complet de l'image de conteneur du chemin critique de chaque job. Au lieu de récupérer toute l'image avant de démarrer, SageMaker AI charge les images « à la demande ». Le service ne télécharge que les fichiers nécessaires au lancement du conteneur, puis diffuse le reste en arrière-plan pendant l'exécution du code. Un job démarre ainsi en quelques secondes plutôt qu'en quelques minutes. L'index SOCI est une métadonnée qui cartographie chaque fichier de l'image. Il est stocké dans Amazon ECR comme artefact conforme à OCI, lié à l'image d'origine, dont le condensat (digest) et les signatures restent donc valides. À la création d'un job, SageMaker AI vérifie automatiquement la présence d'un index. S'il existe, l'image est chargée progressivement. S'il n'existe pas, le téléchargement standard s'applique. Si l'index est illisible ou si le chargement échoue, le job bascule sur le téléchargement classique et continue. Les tests d'AWS portent sur huit images de 1,8 à 35,4 Go compressées, sur des instances GPU et CPU (ml.g4dn, g5, g6, g6e, g7, g7e, p4d, p5, m7i, de xlarge à 48xlarge), dans les régions us-west-2 et us-east-1. Selon AWS, le temps d'inactivité des GPU pendant le téléchargement des images baisse jusqu'à 90 %, sans impact sur les performances d'entraînement.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de AWS ML Blog. Lire l'article original →
L'enjeu est d'abord financier et opérationnel. Les images de deep learning dépassent couramment 10 Go, et leur téléchargement ajoute plusieurs minutes à chaque job, facturées comme du temps de calcul alors qu'elles ne font avancer aucun modèle. Ce coût pèse surtout là où la vitesse d'itération compte le plus : les campagnes d'optimisation d'hyperparamètres qui lancent des centaines de jobs, les expériences rapides et les traitements courts, où le téléchargement peut représenter l'essentiel de la durée totale. Réduire ce délai diminue le coût par job et libère du temps pour les équipes. L'adoption est volontairement simple : il suffit de pointer vers une image AWS Deep Learning Container (DLC) déjà indexée, ou d'ajouter un index à sa propre image. La définition du job, le point d'entrée et les canaux de données ne changent pas. Comme le repli vers le téléchargement standard est automatique, ajouter un index ne peut pas empêcher un job de s'exécuter, ce qui limite le risque pour les flux existants.
Cette annonce répond à un problème qui s'aggrave avec la taille des images et des frameworks d'IA, souvent alourdies par les bibliothèques CUDA, les outils d'entraînement distribué et les dépendances. SOCI est une technologie open source de chargement différé de conteneurs, déjà portée par AWS, qui s'appuie sur ECR pour stocker les index comme artefacts séparés. En l'intégrant à SageMaker AI, AWS étend cette approche à ses services de machine learning gérés, où le temps de démarrage se traduit directement en facturation. Pour les équipes qui multiplient les petits jobs, c'est un levier d'économie notable et un argument face aux plateformes concurrentes de calcul GPU. La suite dépendra de l'élargissement des images DLC pré-indexées et de l'adoption par les clients qui maintiennent leurs propres images.
Les équipes européennes utilisant SageMaker AI peuvent réduire leurs coûts et temps de démarrage, mais les tests AWS ne portent que sur des régions américaines.