Aller au contenu principal
Infrastructure · Actu ·

Amazon SageMaker HyperPod Slurm : nouvelles extensions de cluster gérées pour l'observabilité et la gestion des utilisateurs

Amazon a lancé en novembre 2026 les « cluster extensions » pour Amazon SageMaker HyperPod avec Slurm, des paquets logiciels gérés par AWS que les administrateurs installent, configurent, mettent à jour et suppriment via des API ou la console Amazon SageMaker AI. Les deux premières extensions couvrent l'observabilité et la gestion des utilisateurs, y compris l'intégration à un annuaire. Elles complètent une série de fonctions introduites plus tôt dans l'année : configuration Slurm pilotée par API (rôles de nœuds, partitions, montages Amazon FSx for Lustre et FSx for OpenZFS, base de comptabilité externe), configuration par AMI préconfigurée avec Slurm, Docker, Enroot et Pyxis, provisionnement continu avec exigence de capacité minimale (MinInstanceCount), gestion automatique de la topologie réseau et contrôles de santé approfondis. Ces derniers testent les GPU et la connectivité NCCL de NVIDIA, et maintiennent les nœuds en réservation de maintenance Slurm jusqu'à la fin des vérifications. Sur Slurm 25.11 ou plus récent, la topologie peut être définie par partition, en arbre ou en blocs.

2 min de lecture

Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie

Source

Résumé et traduction réalisés par Le Fil IA à partir de AWS ML Blog. Lire l'article original →

L'enjeu est de réduire la dérive de configuration, un problème classique des clusters partagés utilisés pour développer des modèles de fondation. Jusqu'ici, la forme du cluster, ses logiciels, sa topologie et ses utilisateurs reposaient sur plusieurs fichiers et scripts maintenus séparément, sans signal d'alerte quand ils divergeaient de l'état réel des nœuds. Les scripts de cycle de vie ne s'exécutent qu'au moment du provisionnement d'un nœud : chaque changement impose donc de les modifier, puis de remplacer les nœuds ou de relancer le script sur toute la flotte. Une erreur n'apparaît qu'à l'exécution et rien ne signale ce qui est réellement installé. Avec les extensions, la configuration est déclarée en un seul endroit, validée à la soumission, appliquée de façon cohérente sur les nœuds et rendue visible ensuite. Les équipes de plateforme y gagnent moins de maintenance sans perdre la main : l'accès SSH à tous les nœuds, y compris le contrôleur, reste possible, tout comme l'usage de leurs propres scripts.

Cette évolution s'inscrit dans la volonté d'AWS de traiter la configuration des clusters comme le reste de son infrastructure : déclarer l'état voulu par API ou console, le faire valider avant application, le maintenir en continu et en rendre l'état observable. Le logiciel exécuté sur les nœuds restait la dernière couche à échapper à ce modèle, parce qu'il change sans cesse au fil de la vie du cluster : arrivée et départ de chercheurs, demande temporaire de métriques GPU plus fines, correctif publié pour un exporteur. AWS décrit un cluster comme un ensemble de six couches (définition, configuration des nœuds, capacité, topologie réseau, santé matérielle, logiciel) et présente les extensions comme la pièce qui complète l'ensemble. Le choix entre automatisation et contrôle direct reste à la charge des équipes, qui peuvent doser l'un et l'autre selon leurs besoins. D'autres extensions pourraient suivre au-delà de l'observabilité et de la gestion des utilisateurs, qui ne sont présentées que comme les premières.

À lire ensuite

01Amazon SageMaker HyperPod : une observabilité renforcée de l'infrastructureAWS ML BlogInfrastructure 02Partager des clusters GPU entre équipes avec isolation et équité grâce à Amazon SageMaker HyperPodAWS ML BlogInfrastructure 03Bonnes pratiques d'administration et de gouvernance d'Amazon SageMaker HyperPodAWS ML BlogInfrastructure 
Dossier · AWSSuivi en continu par Le Fil IASuivre ce sujet →

Le brief du matin

L'essentiel de l'IA chaque jour. Gratuit, désinscription immédiate à tout moment.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription à tout moment

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.