Créez des applications vocales en temps réel avec Amazon SageMaker AI et vLLM

Applications de streaming vocal en temps réel avec Amazon Nova Sonic et WebRTC

Amazon a mis en ligne une solution combinant son modèle vocal Nova Sonic et le service Kinesis Video Streams WebRTC pour construire des applications de streaming vocal en temps réel. Nova Sonic repose sur une architecture dite "speech-to-speech" : contrairement aux pipelines traditionnels qui enchaînent reconnaissance vocale, traitement du langage et synthèse vocale en modules séparés, le modèle unifie ces trois étapes en un seul bloc, ce qui réduit significativement la latence. Il propose plusieurs styles de voix, une forte conscience contextuelle et des interfaces d'outils permettant de le connecter à des agents externes. Côté protocole, WebRTC est retenu comme couche de transport : il établit des connexions pair-à-pair directes sans plugin supplémentaire, gère automatiquement le débit adaptatif (ABR), la correction d'erreur en avance (FEC) et les problèmes de jitter, et reste compatible avec Chrome, Firefox, Safari, Edge, Android et iOS. AWS fournit également des exemples open source pour accélérer le démarrage des projets. L'intérêt de cette combinaison est concret : dans des environnements à connectivité instable, WebRTC ajuste dynamiquement le bitrate pour éviter les coupures et maintenir la qualité audio, tandis que Nova Sonic prend en charge la conversation multilingue naturelle, permettant aux utilisateurs d'interagir dans leur propre langue sans friction. Les deux services étant entièrement gérés par AWS, ils se dimensionnent automatiquement, sans que les équipes techniques aient à gérer l'infrastructure sous-jacente. Cela abaisse la barrière d'entrée pour les startups qui ne peuvent pas se permettre des efforts de compatibilité cross-browser ou des architectures de scalabilité complexes. Les cas d'usage visés sont variés : véhicules connectés avec traduction en temps réel pour les conducteurs, usines intelligentes avec communication vocale interculturelle, robotique de service client multilingue, objets connectés domestiques contrôlables vocalement dans plusieurs langues. Cette publication s'inscrit dans une compétition intense autour des interfaces vocales IA temps réel, où OpenAI avec sa Voice API, Google avec Gemini Live et des acteurs comme ElevenLabs se disputent le marché des agents conversationnels. Amazon positionne Nova Sonic comme une réponse intégrée dans son écosystème AWS, en s'appuyant sur l'infrastructure Kinesis Video Streams déjà utilisée par de nombreuses entreprises pour la vidéosurveillance et l'IoT. L'architecture présentée supporte également des intégrations avec des sources de données via RAG (Retrieval Augmented Generation), le protocole MCP (Model Context Protocol) et Strands Agents, ce qui laisse entrevoir des déploiements hybrides mêlant voix, données métier en temps réel et orchestration d'agents autonomes. La mise à disposition d'exemples open source suggère qu'AWS cherche à constituer rapidement une communauté de développeurs autour de Nova Sonic avant que la concurrence ne consolide ses propres standards.

Vérification en temps réel des images dentaires avec Amazon SageMaker AI chez Henry Schein One

Henry Schein One a mis en production Image Verify, un système de vérification de la qualité des radiographies dentaires basé sur Amazon SageMaker AI, capable d'évaluer une image en temps réel dès sa capture. Jusqu'à 20 % des demandes de remboursement d'assurance dentaire sont initialement rejetées, les images manquantes ou de mauvaise qualité figurant parmi les causes principales. Auparavant, ce contrôle qualité se faisait manuellement, souvent des heures ou des jours après la prise du cliché, quand le patient avait déjà quitté le cabinet. Développé par l'équipe Platform Services de Henry Schein One, intégré nativement aux plateformes de gestion Dentrix et Dentrix Ascend, Image Verify attribue à chaque radiographie un score de qualité sur une échelle de 1 à 5 en moins de trois secondes, permettant au technicien de reprendre le cliché immédiatement si nécessaire. Le projet, conçu à l'automne 2025, était déployé dans 250 cabinets quelques semaines après son lancement, puis dans plus de 10 000 établissements fin avril 2026, soit une multiplication par 43. Plus de 11 millions de radiographies ont déjà été traitées, à un rythme de 1,5 million par semaine, et Henry Schein One vise désormais 40 000 sites répartis sur quatre régions du monde. Cette avancée change concrètement le quotidien des cabinets dentaires : moins de patients rappelés pour reprendre un cliché, des demandes de remboursement mieux documentées et donc moins de rejets, un outil de formation plus efficace pour les nouveaux technicien(ne)s, et un effet de gamification qui encourage l'engagement du personnel autour de la qualité des images. En comblant l'écart entre la capture de l'image et son évaluation, Image Verify évite les allers-retours coûteux en temps et en argent, aussi bien pour les praticiens que pour les patients. Henry Schein One insiste sur le fait qu'il s'agit d'un outil de qualité, et non de diagnostic : le système ne cherche pas à détecter une pathologie, il répond uniquement à la question de savoir si l'image est exploitable cliniquement. Cette distinction a permis à l'équipe d'itérer rapidement sans se heurter aux contraintes réglementaires propres à l'IA à visée diagnostique. Techniquement, la bascule vers AWS n'était pas une simple migration : elle imposait de répondre simultanément à cinq exigences difficiles à concilier en environnement clinique. Il fallait une latence inférieure à trois secondes pour ne pas perturber le flux de travail, une précision suffisante pour que plusieurs modèles de machine learning évaluent la netteté, l'alignement et l'exhaustivité des clichés sans multiplier les faux positifs qui érodent la confiance des cliniciens, une capacité à servir des dizaines de milliers de sites avec des volumes quotidiens de centaines de milliers d'images, une inférence GPU maîtrisée en coûts malgré cette échelle, et un déploiement cohérent sur plusieurs régions du globe. La solution précédente de Henry Schein One, hébergée sur un autre cloud, ne parvenait pas à tenir ces contraintes de latence et de coût. Le succès rapide d'Image Verify, passé du concept au déploiement à grande échelle en six mois, illustre la montée en puissance de l'IA appliquée aux flux cliniques du quotidien, au-delà des cas d'usage diagnostiques plus médiatisés.

💬 Bon, on va le dire simplement : trois secondes entre la prise du cliché et le verdict, ça change tout, parce que le patient est encore dans le fauteuil et pas déjà reparti. Le vrai signal ici, c'est le passage de 250 à 10 000 cabinets en quelques mois, ça prouve que le goulot d'étranglement n'était pas l'IA elle-même mais l'infra capable de la servir à cette échelle sans exploser en latence ou en coût. Et j'aime bien le choix de rester sur un outil de qualité d'image plutôt que de diagnostic, ça évite tout le merdier réglementaire et ça montre que l'IA utile n'a pas besoin d'être spectaculaire pour être adoptée massivement.

Créer un portail personnalisé avec les applications MLflow d'Amazon SageMaker AI intégrées

Amazon Web Services propose une approche architecturale permettant aux équipes de machine learning d'intégrer Amazon SageMaker AI MLflow Apps directement dans un portail interne sur mesure, sans distribuer d'URLs présignées ni accorder d'accès individuels à la console AWS. La solution repose sur quatre composants déployés via AWS Cloud Development Kit (CDK) : un Application Load Balancer (ALB) comme point d'entrée unique, une application React embarquant l'interface MLflow dans un iframe, un reverse proxy Flask tournant sur Amazon EC2, et le service managé SageMaker AI MLflow Apps en backend. L'authentification AWS Signature Version 4 (SigV4) est gérée de façon transparente par le proxy Flask, qui intercepte chaque requête, la signe avec des identifiants temporaires obtenus via un rôle IAM dédié, puis la transmet à l'endpoint MLflow. Le résultat est une URL unique et permanente donnant accès à l'intégralité de l'interface MLflow, y compris le suivi des expériences, les métriques, les paramètres et les artefacts. Pour les équipes data comptant plusieurs dizaines de data scientists, ce modèle résout un problème opérationnel concret : l'impossibilité de distribuer des URLs présignées à grande échelle, et la charge administrative que représente la gestion des accès individuels à la console AWS. En intégrant MLflow au même portail SSO que les autres outils internes, les data scientists n'ont plus besoin de s'authentifier séparément ni de gérer des identifiants AWS. Les pipelines CI/CD et les scripts d'automatisation peuvent également interagir avec l'API REST MLflow via ce même endpoint proxy, sans modification côté client. Pour les responsables infrastructure, cela signifie moins de tickets d'accès, un onboarding simplifié et une surface d'attaque réduite, l'accès direct au service AWS restant invisible pour l'utilisateur final. MLflow s'est imposé comme standard de facto pour le suivi des expériences de machine learning, mais son intégration dans des environnements d'entreprise avec SSO et portails internes reste un point de friction fréquent. AWS, qui a intégré MLflow nativement dans SageMaker il y a moins d'un an, cherche à faciliter son adoption en entreprise en éliminant les barrières opérationnelles. Cette architecture de proxy inverse n'est pas nouvelle, elle s'applique à de nombreux services AWS accessibles via navigateur, mais sa documentation officielle pour MLflow marque une étape vers un usage plus industrialisé. La solution reste cependant incomplète en production : l'implémentation présentée utilise HTTP sans chiffrement, et AWS recommande explicitement d'ajouter HTTPS via AWS Certificate Manager avant tout déploiement réel. L'intégration SSO effective, mentionnée comme cas d'usage principal, n'est pas non plus couverte dans le guide, laissant aux équipes le soin d'assembler cette couche supplémentaire.

Agents vocaux en temps réel avec Stream Vision Agents et Amazon Nova 2 Sonic

Amazon et Stream ont annoncé une intégration combinant le framework open-source Vision Agents de Stream avec Amazon Nova 2 Sonic, un modèle de fondation voix-à-voix disponible via Amazon Bedrock. Cette solution permet de construire des agents vocaux en temps réel capables d'être déployés en production en quelques minutes. Nova 2 Sonic prend en charge l'intégralité du pipeline vocal, entrée audio, détection de tour de parole, appel de fonctions et sortie audio, sans recourir à des services séparés de reconnaissance ou de synthèse vocale. Vision Agents, côté Stream, est un framework Python open-source proposant plus de 25 intégrations, des SDK clients pour React, iOS, Android, Flutter et React Native, et une architecture modulaire basée sur des décorateurs. Le réseau edge mondial de Stream complète le dispositif, avec des temps de connexion inférieurs à 500 ms et une latence audio typique de moins de 30 ms. L'enjeu est considérable pour les équipes qui développent des applications vocales : une conversation naturelle exige que la totalité du pipeline, capture du micro, traitement, génération de réponse, restitution audio, s'exécute en quelques centaines de millisecondes. Jusqu'ici, les développeurs devaient consacrer l'essentiel de leur temps non pas à l'IA elle-même, mais à la gestion des connexions WebRTC, aux logiques de reconnexion automatique, à la compatibilité navigateur et à la dégradation gracieuse en cas d'indisponibilité d'un service. Cette charge infrastructure forçait les équipes soit à investir plusieurs mois dans des solutions maison, soit à se contenter de produits clés en main trop rigides. L'intégration Vision Agents + Nova 2 Sonic absorbe cette complexité et libère les développeurs pour se concentrer sur les cas d'usage : support client, automatisation de workflows, actions pilotées par API. La course à l'agent vocal de qualité production s'est intensifiée ces derniers mois, avec OpenAI, Google et Mistral qui proposent chacun des modèles natifs voix-à-voix. Amazon positionne Nova 2 Sonic comme une réponse enterprise via Bedrock, en s'appuyant sur l'écosystème AWS et le réseau de partenaires comme Stream pour accélérer l'adoption. Le support multilingue natif et les capacités de function calling de Nova 2 Sonic ouvrent la voie à des agents vocaux connectés à des systèmes tiers, CRM, bases de données, outils métier, sans couche d'intégration supplémentaire. La prochaine étape pour cet écosystème sera probablement l'extension vers des agents multimodaux combinant voix et vision, une direction que Vision Agents anticipe déjà avec son nom et son architecture.