Entraînement distribué tolérant aux pannes sur Amazon EKS avec NVRx
Amazon Web Services a publié un guide technique détaillant comment intégrer NVIDIA Resiliency Extension (NVRx) dans les entraînements PyTorch Fully Sharded Data Parallel (FSDP) exécutés sur Amazon Elastic Kubernetes Service (EKS). L'équipe a testé la solution sur des instances p5.48xlarge, chacune équipée de huit GPU NVIDIA H100 de 80 Go et de 32 interfaces réseau Elastic Fabric Adapter (EFA), avec des benchmarks allant de deux à huit nœuds. NVRx, disponible via un simple « pip install nvidia-resiliency-ext », apporte trois mécanismes sans modifier le code du modèle ni recompiler PyTorch : la sauvegarde asynchrone des points de contrôle, qui a permis de réduire un temps d'attente en entrées-sorties atteignant jusqu'à 40 % du temps total d'exécution sur les configurations testées ; le redémarrage « in-process », qui relance l'entraînement en quelques secondes après une panne logicielle ou un blocage NCCL sans toucher au cycle de vie du conteneur ; et le lanceur « ft_launcher », qui redémarre automatiquement les workers après un crash plus grave, comme un SIGKILL, un manque de mémoire ou un blocage système.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de AWS ML Blog. Lire l'article original →
L'enjeu est avant tout financier et opérationnel. Un entraînement distribué à grande échelle mobilise des dizaines de nœuds pendant des heures, voire des jours, une durée pendant laquelle une panne réseau, une erreur mémoire ou un simple bug logiciel devient statistiquement inévitable. Une seule défaillance GPU peut déclencher un effet de cascade : les timeouts de la NVIDIA Collective Communication Library se propagent aux autres workers, les pods redémarrent de façon désynchronisée, et le cluster continue de consommer des heures de calcul GPU coûteuses sans produire le moindre progrès d'entraînement. En réduisant ce temps mort et en isolant les pannes selon leur gravité, logicielle, matérielle ou perte de nœud, la méthode proposée par AWS et NVIDIA permet aux équipes qui entraînent de grands modèles de limiter le gaspillage de ressources GPU, dont le coût reste l'un des principaux postes de dépense de l'IA générative.
Cette publication s'inscrit dans une course plus large entre fournisseurs cloud et concepteurs de matériel pour rendre l'entraînement de modèles massifs plus fiable et moins coûteux, alors que la taille des clusters GPU utilisés par les grandes entreprises d'IA continue d'augmenter. NVIDIA, dont les GPU H100 restent au cœur de la plupart des infrastructures d'entraînement actuelles, cherche à renforcer l'attractivité de son écosystème logiciel au-delà du seul matériel, via des extensions comme NVRx qui s'intègrent directement aux frameworks existants comme PyTorch. Amazon, de son côté, met en avant Amazon EKS comme plateforme de référence pour les charges de travail GPU multi-nœuds à haute performance, dans un contexte de concurrence intense avec Microsoft Azure et Google Cloud sur les infrastructures dédiées à l'entraînement de modèles de fondation. AWS précise que l'ensemble du code utilisé pour ces benchmarks est mis à disposition publiquement, permettant à d'autres équipes de reproduire les résultats et d'adapter cette approche de résilience à leurs propres pipelines d'entraînement.
Pas d'impact direct sur la France/UE