Utiliser le fractionnement de GPU NVIDIA Run:ai sur Amazon EKS
Dans un tutoriel publié par AWS, NVIDIA Run:ai GPU Fractioning est présenté comme un moyen de faire partager un même GPU à plusieurs Pods sur Amazon EKS. Sans partage, le plugin NVIDIA expose le GPU unique sous la forme d'une seule ressource nvidia.com/gpu : deux Pods demandant chacun nvidia.com/gpu: 1 ne peuvent pas s'exécuter en même temps sur le nœud, même si leurs besoins cumulés en mémoire tiennent sur la carte. L'exemple validé, déployé dans la région us-east-2 sous Kubernetes 1.36, utilise un nœud système m7i.large qui héberge les contrôleurs de l'opérateur et le KAI Scheduler, ainsi qu'une instance g5.xlarge dotée d'un GPU A10G de 23 028 MiB. Ce nœud GPU tourne sur une image Amazon Linux 2023 personnalisée, construite avec Packer, qui embarque la branche de pilotes NVIDIA R615, le NVIDIA Container Toolkit et containerd. Chaque Pod reçoit un contrat de 8 GiB de mémoire GPU et en alloue 6 GiB. Le parcours en dix étapes inclut une mesure de référence avec GPU entier, l'inspection des métriques par Pod, le rejet d'une allocation de 9 GiB, puis le nettoyage de l'environnement jetable.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de AWS ML Blog. Lire l'article original →
L'intérêt est concret pour les équipes qui laissent des notebooks interactifs, des évaluations de modèles ou de petits services d'inférence attendre un GPU alors que de la mémoire reste libre. Contrairement au MIG, cette approche s'applique à des GPU qui ne le prennent pas en charge, et elle ajoute ce que le simple partage logiciel n'offre pas : des limites de mémoire imposées par conteneur, une intégration à l'ordonnanceur Kubernetes et des métriques de consommation par Pod. Les auteurs restent toutefois prudents. Une limite mémoire ne réserve pas de puissance de calcul proportionnelle, le test ne mesure ni le débit ni l'isolation des pannes, et la hausse de densité démontrée n'établit ni gain de performance ni réduction de coûts universelle. Ils recommandent de dimensionner chaque demande d'après le pic mesuré plus une marge, puis de tester la latence sous charge concurrente.
Le partage de GPU n'est pas nouveau : le MIG propose des partitions matérielles, le time-slicing du plugin NVIDIA partage la carte sans isolation de mémoire ni de pannes, et le MPS autorise des processus CUDA concurrents. Run:ai s'appuie sur le MPS et prend en charge deux modes de calcul, time-slicing par défaut et sm-sharing, NVIDIA documentant des domaines d'erreur séparés pour le premier et partagé pour le second, sans que cela constitue une garantie de sécurité. NVIDIA a annoncé l'ouverture du code de Run:ai le 13 octobre 2026, et l'exemple n'en utilise que deux des quatre composants modulaires, KAI Scheduler et GPU Fractioning Operator. Amazon EKS documente par ailleurs d'autres pistes, dont le time-slicing via le pilote DRA et Karpenter. Ce tutoriel s'appuie sur des annotations NvFractions plutôt que sur DRA, et convient surtout aux groupes de nœuds GPU de taille fixe. Toute autre configuration que le couple G5/A10G exige des vérifications de compatibilité.