OutilsAWS ML Blog6sem· 2 min de lecture

Migrer un agent texte vers un assistant vocal avec Amazon Nova 2 Sonic

Amazon a publié un guide technique détaillé sur la migration d'agents textuels vers des assistants vocaux en utilisant Amazon Nova 2 Sonic, son modèle de traitement de la parole en temps réel. L'article, publié en avril 2026, s'adresse aux équipes d'ingénierie qui ont déjà déployé des agents conversationnels textuels et souhaitent les adapter à des interfaces vocales. Les secteurs visés sont larges : finance, santé, éducation, réseaux sociaux et commerce de détail, tous confrontés à une demande croissante d'interactions orales naturelles et instantanées. Amazon propose même un outil intégré dans des IDE comme Kiro et Claude Code, capable de convertir automatiquement un agent textuel en agent vocal à partir d'un référentiel de code existant.

La différence entre un agent texte et un agent vocal est bien plus profonde qu'il n'y paraît, et c'est là l'enjeu central du guide. Un agent textuel peut retourner des tableaux, des listes à puces et des liens cliquables, le tout en une seule réponse que l'utilisateur lit à son rythme. Un agent vocal doit fonctionner différemment : les réponses doivent être courtes, séquentielles, avec des confirmations intermédiaires. Exemple concret : là où l'agent textuel d'une banque affiche un récapitulatif complet de trois comptes en une fois, l'agent vocal annonce un compte, demande si l'utilisateur veut continuer, puis présente le suivant. La latence devient également un critère critique : quelques secondes d'attente sont tolérables à l'écrit, mais créent une impression de coupure à l'oral, où chaque appel d'outil ajoute un silence perceptible. Cela oblige à repenser l'architecture en profondeur : streaming audio bidirectionnel permanent, détection d'activité vocale, gestion des interruptions en cours de phrase, et traitement asynchrone des outils pour ne pas bloquer le flux.

Cette publication intervient alors que les grandes plateformes cloud cherchent à démocratiser la voix comme interface standard pour les applications d'entreprise. Amazon Nova 2 Sonic s'inscrit dans une compétition directe avec des modèles comme GPT-4o Audio d'OpenAI et Gemini Live de Google, tous capables de traitement vocal en temps réel avec de faibles temps de latence. La migration vers la voix soulève des enjeux techniques considérables, notamment la gestion des tours de parole fluides, la réduction des délais lors des appels à des API externes, et l'adaptation des prompts système pour un style oral plutôt qu'écrit. Le fait qu'Amazon intègre un outil de conversion automatique dans les IDE suggère que l'entreprise veut abaisser le seuil d'entrée pour accélérer l'adoption, tout en conservant une dépendance à son écosystème cloud pour l'inférence et le déploiement.

Dans nos dossiers

OpenAI Claude Code Gemini

Cet article vous a été utile ?

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

1AWS ML Blog

Agents vocaux en temps réel avec Stream Vision Agents et Amazon Nova 2 Sonic

Amazon et Stream ont annoncé une intégration combinant le framework open-source Vision Agents de Stream avec Amazon Nova 2 Sonic, un modèle de fondation voix-à-voix disponible via Amazon Bedrock. Cette solution permet de construire des agents vocaux en temps réel capables d'être déployés en production en quelques minutes. Nova 2 Sonic prend en charge l'intégralité du pipeline vocal, entrée audio, détection de tour de parole, appel de fonctions et sortie audio, sans recourir à des services séparés de reconnaissance ou de synthèse vocale. Vision Agents, côté Stream, est un framework Python open-source proposant plus de 25 intégrations, des SDK clients pour React, iOS, Android, Flutter et React Native, et une architecture modulaire basée sur des décorateurs. Le réseau edge mondial de Stream complète le dispositif, avec des temps de connexion inférieurs à 500 ms et une latence audio typique de moins de 30 ms. L'enjeu est considérable pour les équipes qui développent des applications vocales : une conversation naturelle exige que la totalité du pipeline, capture du micro, traitement, génération de réponse, restitution audio, s'exécute en quelques centaines de millisecondes. Jusqu'ici, les développeurs devaient consacrer l'essentiel de leur temps non pas à l'IA elle-même, mais à la gestion des connexions WebRTC, aux logiques de reconnexion automatique, à la compatibilité navigateur et à la dégradation gracieuse en cas d'indisponibilité d'un service. Cette charge infrastructure forçait les équipes soit à investir plusieurs mois dans des solutions maison, soit à se contenter de produits clés en main trop rigides. L'intégration Vision Agents + Nova 2 Sonic absorbe cette complexité et libère les développeurs pour se concentrer sur les cas d'usage : support client, automatisation de workflows, actions pilotées par API. La course à l'agent vocal de qualité production s'est intensifiée ces derniers mois, avec OpenAI, Google et Mistral qui proposent chacun des modèles natifs voix-à-voix. Amazon positionne Nova 2 Sonic comme une réponse enterprise via Bedrock, en s'appuyant sur l'écosystème AWS et le réseau de partenaires comme Stream pour accélérer l'adoption. Le support multilingue natif et les capacités de function calling de Nova 2 Sonic ouvrent la voie à des agents vocaux connectés à des systèmes tiers, CRM, bases de données, outils métier, sans couche d'intégration supplémentaire. La prochaine étape pour cet écosystème sera probablement l'extension vers des agents multimodaux combinant voix et vision, une direction que Vision Agents anticipe déjà avec son nom et son architecture.

UELes développeurs et entreprises européens utilisant AWS Bedrock peuvent désormais déployer des agents vocaux en production sans infrastructure supplémentaire grâce à cette intégration.

OutilsOutil

1 source

2AWS ML Blog

Amazon Nova Sonic : évaluer un agent vocal à grande échelle, sans microphone

Amazon a publié le Nova Sonic Test Harness, un framework open source conçu pour automatiser les tests des agents vocaux construits sur son modèle Amazon Nova Sonic. Jusqu'ici, la seule méthode disponible pour les équipes de développement consistait à faire parler physiquement une personne à l'agent et à écouter les réponses, scénario par scénario. Avec 50 scénarios de conversation testés sur 3 personas utilisateurs distincts, cela représente 150 tests manuels, chacun prenant plusieurs minutes en temps réel. Multiplié par chaque modification de prompt ou de configuration d'outil, le coût en temps devient prohibitif. Le harness résout ce problème en simulant des conversations complètes multi-tours sans microphone, en évaluant les résultats via des techniques de jugement par LLM, et en détectant les cas d'hallucination audio, c'est-à-dire les situations où le texte généré et l'audio produit divergent, par exemple "15h00" à l'écrit contre "15h30" à l'oral. L'enjeu est considérable pour les entreprises qui déploient des agents vocaux dans des flux critiques comme la prise de rendez-vous, la gestion de commandes ou le support client. Sans framework d'évaluation automatisé, l'optimisation des prompts devient un travail à l'aveugle : impossible de savoir si une modification améliore ou dégrade le comportement de l'agent sur l'ensemble des cas d'usage avant un déploiement en production. Le harness permet désormais de lancer une suite de régression complète avant chaque mise à jour, de mesurer si l'agent gère correctement les cas limites sur des centaines de scénarios, et de détecter des régressions subtiles, comme un agent qui cesserait de confirmer une réservation, avant qu'un vrai client ne les rencontre. Les agents vocaux posent des défis techniques fondamentalement différents des chatbots textuels, ce qui explique pourquoi les outils d'évaluation existants ne s'adaptent pas directement. Les modèles speech-to-speech maintiennent une connexion full-duplex persistante avec flux audio et texte bidirectionnels simultanés, incompatible avec les outils HTTP classiques. Leurs réponses sont non-déterministes, le comportement pertinent se manifeste sur plusieurs tours de conversation, et les sessions expirent après environ huit minutes, nécessitant une gestion de la reconnexion et du replay d'historique. Amazon positionne Nova Sonic comme sa réponse aux besoins croissants des entreprises en matière d'interfaces vocales intelligentes, un marché en forte expansion où Google, Microsoft et des acteurs spécialisés comme ElevenLabs se disputent les contrats. La publication en open source du harness vise à abaisser la barrière d'adoption en offrant aux développeurs un outil de test professionnel dès le départ.

OutilsOutil

1 source

3AWS ML Blog

Agent vocal scalable avec Amazon Nova Sonic : multi-agents, outils et segmentation de session

Amazon a présenté une série de patrons architecturaux pour concevoir des agents vocaux scalables, s'appuyant sur trois composants clés : Amazon Nova Sonic, Amazon Bedrock AgentCore Runtime et le framework open source Strands Agents. Nova Sonic est un modèle de fondation capable de conduire des conversations vocales naturelles en temps réel, avec compréhension du ton et du flux conversationnel. AgentCore Runtime constitue un environnement d'hébergement serverless pour agents IA : on y déploie un agent comme contenaire, et la plateforme gère automatiquement la mise à l'échelle, l'isolation de sessions via microVM, la facturation et le streaming WebSocket bidirectionnel authentifié. Strands Agents, via sa classe BidiAgent, sert de couche d'intégration qui simplifie la gestion du cycle de vie du flux audio et le routage des appels d'outils. Trois patrons d'intégration sont détaillés pour répondre aux défis concrets des équipes : latence élevée, coordination multi-agents et gestion de l'audio en temps réel. Le premier patron, AgentCore Gateway, expose la logique métier existante comme des outils discrets appelables directement par Nova Sonic, sans couche de raisonnement intermédiaire, ce qui minimise la latence. Un exemple concret : quand un utilisateur demande son solde bancaire, le modèle sélectionne l'outil approprié, passe les paramètres et restitue le résultat vocalement en quelques centaines de millisecondes. Le deuxième patron, l'agent-as-tool ou sous-agent, permet de composer plusieurs agents spécialisés, chacun encapsulant un domaine métier distinct, l'agent principal les invoquant comme de simples fonctions. Le troisième patron, la segmentation de sessions, isole les prompts, la mémoire et les permissions selon le contexte, renforçant les frontières de sécurité tout en permettant la réutilisation des composants. Ces annonces s'inscrivent dans une tendance de fond : le passage des assistants vocaux monolithiques vers des architectures composables, où des agents légers et spécialisés collaborent plutôt qu'un seul modèle omniscient tente de tout gérer. Amazon s'aligne ici sur le protocole MCP (Model Context Protocol), standard open source en cours d'adoption dans l'industrie pour l'interopérabilité des outils d'agents. AgentCore Gateway agit comme hôte managé de serveurs MCP, identifiés par des ARN AWS. L'enjeu commercial est direct : les entreprises déployant des centres de contacts ou des assistants vocaux à grande échelle cherchent à réduire le temps avant le premier audio (time-to-first-audio) tout en maintenant fiabilité et conformité. AWS positionne ainsi Bedrock comme socle d'infrastructure pour la prochaine génération d'expériences vocales IA en production.

UELes équipes européennes déployant des centres de contact vocaux peuvent adopter ces patrons via AWS Bedrock, mais aucun acteur ou régulateur européen n'est directement impliqué.

OutilsOutil

1 source

4AWS ML Blog

Personnaliser l'expérience spectateur avec un assistant cinéma IA à base d'agents — Amazon Bedrock AgentCore et Nova Sonic 2.0

Amazon a dévoilé une architecture d'assistant IA conversationnel pour les plateformes de streaming vidéo, combinant Amazon Bedrock AgentCore et le nouveau modèle vocal Amazon Nova Sonic 2.0. Le système permet deux cas d'usage principaux : des recommandations de films personnalisées en temps réel selon l'humeur et le contexte de l'utilisateur, et une assistance contextuelle en cours de visionnage — permettant par exemple de demander à voix haute « qui est cet acteur ? » ou « résume ce qui vient de se passer » sans quitter le film. L'infrastructure repose sur AWS Fargate pour le traitement serveur, Amazon CloudFront et S3 pour le frontend, Amazon Cognito pour l'authentification, et OpenSearch combiné à S3 Vector pour la recherche sémantique. La communication entre le client et le serveur s'effectue via WebSocket avec validation de token JWT, tandis que le modèle vocal Nova Sonic 2.0 gère le streaming bidirectionnel en temps réel via un protocole RPC Smithy. Ce type de système représente un changement de paradigme pour les services de streaming : là où les moteurs de recommandation classiques — basés sur le filtrage collaboratif ou par contenu — se contentent de prolonger les habitudes passées, l'approche agentique intègre le contexte immédiat. Un utilisateur qui vient de regarder « Les Évadés » et veut se détendre ne se verra pas proposer un autre drame carcéral, mais quelque chose d'adapté à son état d'esprit exprimé en langage naturel. Pour les plateformes, cela ouvre la voie à une réduction du taux de désabonnement lié à la friction de découverte, l'une des principales causes d'attrition dans le secteur. Pour les utilisateurs, c'est l'équivalent d'un programmateur culturel personnel disponible en permanence. Le projet s'inscrit dans la montée en puissance des architectures dites « agentiques », où les modèles de langage ne se contentent plus de répondre à des requêtes isolées mais orchestrent des chaînes d'outils complexes. Amazon positionne ici son écosystème — Bedrock AgentCore, le protocole MCP (Model Context Protocol) pour exposer des fonctions Lambda comme outils d'agent, et Nova Sonic pour la voix — comme une pile verticale intégrée pour ce type d'application. C'est une réponse directe aux initiatives similaires de Google (avec Gemini Live) et d'OpenAI (avec les capacités vocales temps réel de GPT-4o). Le code source de la démonstration est disponible sur GitHub, signalant une stratégie d'adoption par les développeurs avant un déploiement commercial plus large. La bataille pour devenir l'infrastructure standard des expériences média augmentées par l'IA ne fait que commencer.

UELes plateformes de streaming européennes disposant d'une infrastructure AWS peuvent expérimenter cette architecture, mais aucune adoption ou réglementation spécifique à la France ou à l'UE n'est mentionnée.

OutilsOutil

1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, rédigé par un humain · désinscription en un clic