Aller au contenu principal
Infrastructure · Tuto ·

Utiliser le fractionnement de GPU NVIDIA Run:ai sur Amazon EKS

Dans un tutoriel publié par AWS, NVIDIA Run:ai GPU Fractioning est présenté comme un moyen de faire partager un même GPU à plusieurs Pods sur Amazon EKS. Sans partage, le plugin NVIDIA expose le GPU unique sous la forme d'une seule ressource nvidia.com/gpu : deux Pods demandant chacun nvidia.com/gpu: 1 ne peuvent pas s'exécuter en même temps sur le nœud, même si leurs besoins cumulés en mémoire tiennent sur la carte. L'exemple validé, déployé dans la région us-east-2 sous Kubernetes 1.36, utilise un nœud système m7i.large qui héberge les contrôleurs de l'opérateur et le KAI Scheduler, ainsi qu'une instance g5.xlarge dotée d'un GPU A10G de 23 028 MiB. Ce nœud GPU tourne sur une image Amazon Linux 2023 personnalisée, construite avec Packer, qui embarque la branche de pilotes NVIDIA R615, le NVIDIA Container Toolkit et containerd. Chaque Pod reçoit un contrat de 8 GiB de mémoire GPU et en alloue 6 GiB. Le parcours en dix étapes inclut une mesure de référence avec GPU entier, l'inspection des métriques par Pod, le rejet d'une allocation de 9 GiB, puis le nettoyage de l'environnement jetable.

2 min de lecture

Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie

Source

Résumé et traduction réalisés par Le Fil IA à partir de AWS ML Blog. Lire l'article original →

L'intérêt est concret pour les équipes qui laissent des notebooks interactifs, des évaluations de modèles ou de petits services d'inférence attendre un GPU alors que de la mémoire reste libre. Contrairement au MIG, cette approche s'applique à des GPU qui ne le prennent pas en charge, et elle ajoute ce que le simple partage logiciel n'offre pas : des limites de mémoire imposées par conteneur, une intégration à l'ordonnanceur Kubernetes et des métriques de consommation par Pod. Les auteurs restent toutefois prudents. Une limite mémoire ne réserve pas de puissance de calcul proportionnelle, le test ne mesure ni le débit ni l'isolation des pannes, et la hausse de densité démontrée n'établit ni gain de performance ni réduction de coûts universelle. Ils recommandent de dimensionner chaque demande d'après le pic mesuré plus une marge, puis de tester la latence sous charge concurrente.

Le partage de GPU n'est pas nouveau : le MIG propose des partitions matérielles, le time-slicing du plugin NVIDIA partage la carte sans isolation de mémoire ni de pannes, et le MPS autorise des processus CUDA concurrents. Run:ai s'appuie sur le MPS et prend en charge deux modes de calcul, time-slicing par défaut et sm-sharing, NVIDIA documentant des domaines d'erreur séparés pour le premier et partagé pour le second, sans que cela constitue une garantie de sécurité. NVIDIA a annoncé l'ouverture du code de Run:ai le 13 octobre 2026, et l'exemple n'en utilise que deux des quatre composants modulaires, KAI Scheduler et GPU Fractioning Operator. Amazon EKS documente par ailleurs d'autres pistes, dont le time-slicing via le pilote DRA et Karpenter. Ce tutoriel s'appuie sur des annotations NvFractions plutôt que sur DRA, et convient surtout aux groupes de nœuds GPU de taille fixe. Toute autre configuration que le couple G5/A10G exige des vérifications de compatibilité.

À lire ensuite

01Optimiser l'entraînement des modèles sur Amazon SageMaker AI avec NVIDIA BlackwellAWS ML BlogInfrastructure 02NVIDIA publie le code de Run:ai sous licence Apache 2.0 pour l'orchestration de GPU sur KubernetesMarkTechPostInfrastructure 03Comment des entreprises utilisent NVIDIA DSX pour surmonter les limites d'alimentation électriqueNVIDIA AI BlogInfrastructure 
Dossier · NVIDIASuivi en continu par Le Fil IASuivre ce sujet →

Le brief du matin

L'essentiel de l'IA chaque jour. Gratuit, désinscription immédiate à tout moment.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription à tout moment

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.