Amazon SageMaker HyperPod : une observabilité renforcée de l'infrastructure
Amazon Web Services a annoncé une fonction d'observabilité renforcée pour Amazon SageMaker HyperPod, destinée à accélérer le diagnostic des problèmes d'entraînement sur GPU. Elle fonctionne avec les clusters orchestrés par Amazon EKS comme avec ceux gérés par Slurm. Elle repose sur deux niveaux de télémétrie. Les métriques par défaut, activées automatiquement et collectées toutes les 30 secondes, couvrent la santé du cluster, l'usage CPU, disque et système, l'utilisation et la température des GPU, ainsi que les ressources consommées par chaque job, pour un surcoût d'environ 1 à 2 % de CPU et 250 à 300 Mo de mémoire. Les métriques avancées, optionnelles, ajoutent la suite complète du node exporter, toutes les métriques NVIDIA DCGM et AWS Neuron (fréquences d'horloge, consommation, activité PCIe, indicateurs d'erreur) et celles de l'Elastic Fabric Adapter (débit, pertes de paquets, retransmissions, erreurs). Le système propose un résumé de diagnostic qui s'appuie sur l'API DetectGroupOutliers de CloudWatch pour comparer chaque GPU d'un même job sur l'utilisation, la mémoire, la température, la puissance et la fréquence SM, et signale ceux qui s'écartent de leurs pairs. Des règles statiques classent en outre les incidents connus en quatre catégories : matériel (erreurs ECC, erreurs XID, pannes d'accélérateur), réseau (baisse de débit EFA, pertes, retransmissions), bridage (throttling lié à la chaleur, à la carte ou à la fiabilité) et surchauffe. Chaque anomalie précise le job, le cluster, le nœud, l'accélérateur et le rang concernés.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de AWS ML Blog. Lire l'article original →
L'enjeu est financier autant que technique. L'entraînement distribué de grands modèles compte parmi les charges les plus coûteuses sur GPU, et un seul accélérateur défaillant peut ralentir un job entier. Jusqu'ici, les équipes devaient assembler des outils séparés, et les métriques indiquaient qu'une dégradation avait eu lieu sans en expliquer la cause. Il fallait donc des heures, voire des jours, pour déterminer si le ralentissement venait d'un GPU bridé, d'un lien réseau saturé ou d'un pipeline de données bloqué sur l'hôte. En isolant un accélérateur fautif parmi des centaines ou des milliers, la fonction doit réduire le temps de dépannage et limiter les heures GPU gaspillées. Les métriques avancées augmentent le volume de données envoyé au magasin de métriques, donc la facture. Elles restent superflues pour de petits jobs sur de petits clusters, mais deviennent précieuses pour les entraînements longs sur de grandes infrastructures, où les motifs n'apparaissent qu'avec le temps.
Cette annonce s'accompagne d'un changement de fond sur le stockage des métriques. Amazon CloudWatch devient le choix par défaut, avec une visualisation native via CloudWatch SageMaker Insights directement dans la console AWS, alors que seul Prometheus était pris en charge auparavant. AWS met en avant un tarif inférieur à celui d'Amazon Managed Service for Prometheus et une intégration plus étroite avec la console SageMaker, tout en conservant ce dernier pour les équipes standardisées sur Prometheus et Grafana. La fonction est livrée sous forme d'add-on pour EKS et d'extension pour Slurm, ce qui permet de contrôler via IAM qui peut l'installer ou la modifier. Le déploiement passe par un cluster HyperPod, existant ou nouvellement créé. Cette évolution s'inscrit dans la course des fournisseurs de cloud à fiabiliser l'entraînement à très grande échelle, où chaque heure d'accélérateur immobilisée se chiffre en milliers de dollars.