Réduire de 75% les coûts d'inférence ASR sur Amazon EC2 grâce à NVIDIA MPS
Heidi Health, une plateforme d'IA dédiée aux soins cliniques active dans 190 pays et traitant plus de 2,4 millions de consultations médicales par semaine, a collaboré avec AWS et NVIDIA pour résoudre un problème coûteux d'inférence en reconnaissance vocale automatique (ASR). L'entreprise utilise le modèle Parakeet TDT 0.6B V2 de NVIDIA, affiné pour la transcription clinique, mais chaque requête d'inférence n'exploitait que 15 à 20 % de la puissance de calcul d'un GPU NVIDIA L40S, doté de 142 processeurs de flux (SM). Le mécanisme par défaut de time-slicing de CUDA imposait un accès séquentiel aux GPU, laissant jusqu'à 80 % du matériel inactif et limitant chaque carte à environ 62 requêtes par seconde tout en respectant une latence stricte, inférieure à 650 millisecondes en moyenne et à 1 seconde au 99e percentile. Pour absorber les pics de trafic sans dépasser ce seuil, Heidi devait exploiter 16 instances GPU en production. En combinant le service NVIDIA CUDA Multi-Process Service (MPS) avec le serveur d'inférence NVIDIA Triton sur des instances GPU Amazon EC2, les équipes ont réduit ce besoin à seulement 4 GPU, une baisse de 75 %, tout en maintenant la latence sous la seconde à 92,1 requêtes par seconde par carte.
Résumé et traduction réalisés par Le Fil IA à partir de AWS ML Blog. Lire l'article original →
Cette optimisation illustre un enjeu central pour l'industrie de l'IA appliquée à la santé : la capacité à réduire drastiquement les coûts d'infrastructure sans dégrader la qualité de service en temps réel. Pour un acteur comme Heidi Health, qui doit garantir une transcription quasi instantanée des consultations médicales à l'échelle mondiale, diviser par quatre le nombre de GPU nécessaires représente une économie substantielle sur les dépenses cloud, tout en libérant des ressources matérielles pour absorber la croissance du volume de consultations. Plus largement, cette approche montre que de nombreuses charges de travail d'inférence légères, comme l'ASR, sous-exploitent structurellement le matériel GPU haut de gamme, un constat qui pourrait s'appliquer à d'autres entreprises confrontées à des coûts d'inférence élevés pour des modèles de taille modeste.
Techniquement, la solution s'appuie sur trois mécanismes de partage GPU disponibles chez NVIDIA : le time-slicing par défaut, le MIG (Multi-Instance GPU) qui crée des partitions physiques rigides, et le MPS, qui fait transiter tous les processus par un contexte GPU unique géré par un démon, permettant une exécution concurrente de noyaux CUDA sans modification de code. Heidi et NVIDIA avaient déjà documenté, dans un article précédent, l'affinage du modèle Parakeet pour la reconnaissance vocale clinique ; ce nouveau travail se concentre sur l'étape suivante, le service du modèle en production, combinée à des optimisations au niveau du modèle via ONNX et TensorRT ainsi qu'à un ordonnancement des requêtes géré par Triton.
Les entreprises européennes déployant de l'IA sur des instances GPU AWS pourraient appliquer la même technique NVIDIA MPS pour réduire leurs couts d'inférence, mais aucune entité française ou européenne n'est directement impliquée ici.