Aller au contenu principal
Infrastructure · Actu ·

Optimiser les coûts de l'inférence speech-to-text d'AssemblyAI sur AWS avec les instances Amazon EC2 Spot

AssemblyAI, qui propose via AWS Marketplace une API de transcription vocale, de détection des locuteurs, d'analyse de sentiment, de détection de chapitres et de masquage des données personnelles, a conçu une architecture d'inférence qui réduit fortement ses coûts GPU sans sacrifier ses engagements de niveau de service. La plateforme repose sur Amazon ECS, des instances Amazon EC2 Spot, des instances à la demande et des files Amazon SQS, avec des milliers d'instances exécutant chacune un modèle par GPU NVIDIA. Quatre piliers la structurent : des fournisseurs de capacité ECS mêlant Spot et à la demande, une diversification sur plusieurs familles de GPU (g4dn.xlarge, g4dn.2xlarge, g5.xlarge, g5.4xlarge, g6.2xlarge), un mécanisme de reprise fondé sur SQS, et un déploiement dans deux régions, US West (Oregon) et Europe (Londres). Lorsqu'une instance Spot reçoit un avis d'interruption, Amazon EventBridge déclenche une fonction AWS Lambda qui remet la tâche en cours dans la file principale, où un autre conteneur sain la reprend. Les tâches qui épuisent leurs tentatives sont dirigées vers une file de lettres mortes pour analyse, et Amazon CloudWatch surveille la santé du parc et les interruptions.

2 min de lecture

Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie

Source

Résumé et traduction réalisés par Le Fil IA à partir de AWS ML Blog. Lire l'article original →

L'enjeu est considérable, car chaque fichier audio traverse une chaîne de modèles d'apprentissage profond (acoustiques, linguistiques, post-traitement) qui exige des GPU pour respecter les contraintes de latence. Exécuter l'ensemble en instances à la demande serait prohibitif, tandis que les instances Spot, bien moins chères, peuvent être reprises par AWS avec un préavis de seulement deux minutes. En absorbant ces interruptions sans perte de travail, AssemblyAI peut proposer des tarifs compétitifs à des clients qui traitent de gros volumes dans la technologie, les médias, la santé et la finance. Le modèle illustre aussi une approche réutilisable pour d'autres charges d'inférence GPU : des tâches courtes, rejouables et pilotées par file d'attente se prêtent bien à la capacité excédentaire du cloud.

Ce choix s'inscrit dans un contexte de forte pression sur les coûts de l'inférence, devenue le premier poste de dépense des services d'IA à grande échelle, et de contraintes réglementaires croissantes. Les clients des secteurs de la santé, de la finance et du droit doivent conserver leurs fichiers audio dans des limites géographiques précises, ce qui a conduit AssemblyAI à déployer une infrastructure dédiée dans la région européenne de Londres, avec des configurations strictes de résidence des données. Côté infrastructure, la règle d'or des instances Spot reste la flexibilité : plus le parc s'étend sur de types d'instances et de zones de disponibilité, plus la probabilité d'obtenir la capacité nécessaire augmente. Un fournisseur à la demande garantit une base toujours active, tandis que le fournisseur Spot absorbe les pics, et la mise à l'échelle gérée par ECS ajuste le nombre d'instances selon la longueur de la file et les poids configurés.

Impact France / UEChamp produit par Le Fil IA

Le déploiement d'une infrastructure dédiée dans la région de Londres avec résidence des données répond aux besoins de conformité des clients européens de la santé, de la finance et du droit.

À lire ensuite

01Réduire de 75% les coûts d'inférence ASR sur Amazon EC2 grâce à NVIDIA MPSAWS ML BlogInfrastructure 02Dimensionner les endpoints d'IA générative avec des tests de concurrence sur Amazon SageMaker AIAWS ML BlogInfrastructure 03Amazon SageMaker AI ajoute des listes de préférence d'instances pour les jobs d'entraînementAWS ML BlogInfrastructure 
Dossier · AWSSuivi en continu par Le Fil IASuivre ce sujet →

Le brief du matin

L'essentiel de l'IA chaque jour. Gratuit, désinscription immédiate à tout moment.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription à tout moment

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.