Deepgram renforce l'observabilité d'Amazon SageMaker AI avec des métriques améliorées
Deepgram a annoncé le déploiement de deux nouvelles fonctionnalités d'observabilité pour ses modèles vocaux hébergés sur Amazon SageMaker AI, disponibles immédiatement pour tous les clients utilisant cette intégration. La société propose ses modèles de reconnaissance vocale (speech-to-text) et de synthèse vocale (text-to-speech) sous forme de "model packages" sur AWS Marketplace, déployés comme endpoints SageMaker AI en temps réel directement dans le compte AWS du client, ce qui garde l'audio et les transcriptions dans son propre environnement. La première innovation, baptisée Deepgram Enhanced Metrics, publie automatiquement dans Amazon CloudWatch les métriques d'usage et de facturation, les mêmes valeurs de "consommation" qui servent au calcul de la facturation au compteur sur AWS Marketplace, sans nécessiter d'agent, de conteneur additionnel ni de permissions IAM supplémentaires. Cela fonctionne grâce au format CloudWatch Embedded Metric Format, que le conteneur Deepgram écrit directement dans sa sortie standard, récupérée par les logs CloudWatch existants de SageMaker AI. La seconde apporte un support Prometheus et OpenTelemetry, exposant des métriques au niveau du moteur d'inférence ainsi que des données par GPU et par hôte, interrogeables en PromQL depuis CloudWatch, Grafana ou tout autre outil compatible Prometheus.
Résumé et traduction réalisés par Le Fil IA à partir de AWS ML Blog. Lire l'article original →
Ces ajouts répondent à un problème concret pour les entreprises qui déploient de l'IA vocale en environnement isolé pour des raisons de sécurité: les endpoints AWS Marketplace fonctionnent avec une isolation réseau totale, empêchant tout conteneur d'émettre des connexions sortantes vers un collecteur de télémétrie externe. Jusqu'ici, les équipes techniques pouvaient constater qu'un endpoint fonctionnait et compter le nombre de requêtes traitées, mais restaient aveugles sur ce qui déterminait précisément leur facture, sur l'usage réel des fonctionnalités par leur trafic, et sur le comportement du moteur d'inférence sur chaque GPU. Avec ces nouvelles métriques, les entreprises peuvent désormais réconcilier leur facture AWS avec leur trafic réel jusqu'au niveau du modèle et du protocole de transport utilisé, ce qui facilite la planification de capacité, l'optimisation des coûts et le dimensionnement de l'infrastructure GPU, un enjeu de plus en plus critique à mesure que les volumes d'IA vocale en production augmentent.
Cette évolution s'inscrit dans un compromis structurel de l'auto-hébergement de l'IA vocale: la sécurité apportée par l'isolation réseau se paie généralement par une opacité totale sur le comportement interne du logiciel fournisseur. En s'appuyant sur des mécanismes déjà natifs à SageMaker AI, comme les logs CloudWatch et la fonctionnalité de "detailed observability", Deepgram contourne cette contrainte sans affaiblir l'isolation réseau qui justifie le choix de ce mode de déploiement par les clients soucieux de conformité. Amazon Web Services propose par ailleurs sa propre fonctionnalité native appelée "enhanced metrics" sur SageMaker AI, activable via le paramètre EnableEnhancedMetrics, mais celle-ci reste distincte et complémentaire de l'offre de Deepgram, axée spécifiquement sur la transparence de facturation et d'usage. Cette initiative illustre une tendance plus large chez les fournisseurs de modèles d'IA spécialisés à renforcer la transparence opérationnelle offerte aux entreprises, alors que l'adoption de l'IA vocale en environnement cloud régulé continue de s'accélérer.
Pas d'impact direct sur la France/UE