Comment Deepgram a optimisé son IA vocale à grande échelle avec AWS Trainium
Deepgram, dont les modèles couvrent la reconnaissance vocale, la synthèse vocale et les agents vocaux, traite désormais des quadrillions de jetons audio par an pour plus de 200 000 développeurs et 1 400 organisations. Avec l'équipe d'ingénierie de déploiement avancé (FDE) d'AWS, l'entreprise a porté son modèle de transcription Nova-3 sur les puces AWS Trainium2, pour les charges de travail par lots hors ligne comme l'analyse de centres de contact ou la transcription médicale. Le travail, étalé sur plusieurs mois, est parti du code PyTorch standard de Deepgram. La configuration finale fait tourner huit réplicas du modèle sur une seule instance Amazon EC2 trn2.3xlarge. Sur les charges orientées débit de Deepgram, elle traite entre 11 et 70 % d'audio en plus par dollar que les options de calcul utilisées jusque-là, d'après les tarifs d'instance en vigueur lors de l'évaluation.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de AWS ML Blog. Lire l'article original →
Techniquement, les équipes ont utilisé TorchNeuron, l'intégration native du compilateur Neuron à PyTorch, qui gère l'exécution immédiate comme torch.compile. Nova-3 a d'abord tourné en mode eager pour repérer les opérations retombant sur le processeur, puis a été compilé. Le chemin compilé exécute toutes les opérations sur Trainium2, sans repli CPU détecté. L'encodeur et le décodeur sont compilés en graphes distincts à formes statiques. La précision a été contrôlée à deux niveaux : cohérence des sorties couche par couche face au CPU, et taux d'erreur de mots (WER) de bout en bout, qui devait rester conforme aux valeurs de référence de Deepgram. L'optimisation a ensuite remplacé plusieurs couches par des noyaux fusionnés issus de la bibliothèque publique NKILib, écrits avec le Neuron Kernel Interface (projections QKV fusionnées, réseaux feed-forward fusionnés, convolution 1D en profondeur). Des tailles de lot de 1 à 128 ont été testées pour trouver celle qui maximise le débit.
L'enjeu est économique : pour Deepgram, l'efficacité d'inférence détermine la quantité d'audio traitable pour un budget d'infrastructure donné. Sur des volumes massifs en lots, chaque heure d'accélérateur mieux utilisée permet de servir plus d'audio avec la même flotte. Ces gains aident l'entreprise à passer à l'échelle, à continuer de publier de meilleurs modèles et à les proposer à des prix plus bas. Ils peuvent aussi profiter aux clients qui hébergent les modèles dans leur propre cloud privé virtuel (VPC) via Amazon SageMaker AI, où Deepgram et AWS poursuivent l'amélioration de la simplicité de mise en place, de la fiabilité et de l'observabilité.
Ce projet illustre la montée de la voix comme modalité à part entière de l'IA, et la recherche d'alternatives aux accélérateurs classiques pour en contenir le coût. La démarche suit un cycle d'optimisation répété : activer un noyau NKI, profiler la charge avec des outils comme Neuron Explorer, puis affiner ou remplacer le noyau selon les résultats, jusqu'à atteindre l'objectif de performance. Les auteurs précisent que le débit est exprimé en gain relatif par rapport à une configuration de référence, et non en secondes d'audio traitées. Ils décrivent aussi un environnement d'exécution Rust en parallélisme de données, qui permet au serveur de modèles de Deepgram d'appeler Trainium directement.
Pas d'impact direct sur la France/UE