Aller au contenu principal
Amazon Polly introduit le streaming bidirectionnel pour la synthèse vocale en temps réel
OutilsAWS ML Blog6sem

Amazon Polly introduit le streaming bidirectionnel pour la synthèse vocale en temps réel

Résumé IASource uniqueImpact UE
Source originale ↗·

Amazon vient de franchir une étape significative dans la synthèse vocale en temps réel avec le lancement d'une nouvelle API de streaming bidirectionnel pour son service Amazon Polly. Cette fonctionnalité, baptisée StartSpeechSynthesisStream, permet désormais d'envoyer du texte et de recevoir de l'audio simultanément, sans attendre que la totalité du texte soit disponible avant de démarrer la synthèse.

L'impact pour les développeurs d'applications conversationnelles est considérable. Les assistants vocaux et agents IA alimentés par des LLM souffraient jusqu'ici d'une latence structurelle : il fallait attendre la fin complète de la génération du texte avant de pouvoir lancer la synthèse, puis patienter encore pendant l'encodage audio. Ce goulot d'étranglement rendait les échanges artificiellement saccadés. La nouvelle API élimine ce délai en autorisant un flux continu dans les deux sens dès les premiers tokens générés.

Techniquement, la solution repose sur une communication duplex sur HTTP/2 avec quatre types d'événements distincts : TextEvent (envoi de texte vers Polly), CloseStreamEvent (signal de fin d'entrée), AudioEvent (réception des chunks audio) et StreamClosedEvent (confirmation de clôture). Les benchmarks internes d'Amazon ont été réalisés sur un texte de 7 045 caractères (970 mots) avec la voix Matthew et le moteur Generative en MP3 24kHz dans la région us-west-2, en simulant une génération de tokens à ~30 ms par mot — conditions représentatives d'un LLM réel.

Par rapport à l'approche traditionnelle, qui nécessitait une logique de découpage côté serveur, des appels parallèles multiples à l'API SynthesizeSpeech et un réassemblage complexe de l'audio, la nouvelle architecture réduit significativement la complexité d'infrastructure tout en abaissant la latence perçue. Une évolution qui positionne Amazon Polly comme un composant de choix pour les pipelines voix des agents conversationnels de nouvelle génération.

Dans nos dossiers

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

Amazon Nova 2 Sonic : créer des podcasts conversationnels en temps réel
1AWS ML Blog 

Amazon Nova 2 Sonic : créer des podcasts conversationnels en temps réel

Amazon a lancé Nova Sonic 2, un modèle de compréhension et de génération vocale intégré à sa plateforme Bedrock, capable de produire des conversations audio naturelles en temps réel avec une latence très faible. Le modèle prend en charge sept langues dont le français, l'allemand, l'espagnol et l'hindi, et dispose d'une fenêtre de contexte pouvant atteindre un million de tokens. Nova Sonic 2 offre une API de streaming pour les conversations multi-tours, avec des capacités d'instruction complexe, d'appel d'outils externes et de bascule fluide entre voix et texte. Amazon illustre ses usages avec un générateur de podcasts automatisé : deux hôtes IA conversent en temps réel sur n'importe quel sujet, sans intervention humaine, depuis la recherche jusqu'à la diffusion audio finale. L'enjeu est direct pour les créateurs de contenu et les organisations médias. Produire un podcast traditionnel mobilise studio, matériel, talents vocaux, montage et coordination de planning, des contraintes qui limitent la cadence de publication et le volume de sujets couverts. Nova Sonic 2 supprime la plupart de ces frictions : pas de conflits d'agenda, pas d'irrégularités liées à la disponibilité humaine, et une personnalisation potentielle en temps réel selon le profil de l'auditeur. Pour les entreprises qui cherchent à déployer du contenu audio à grande échelle, formation interne, support client vocal, newsletters audio, le rapport coût-performance revendiqué par Amazon représente un changement structurel dans l'économie de la production audio. Le marché du podcast a connu une croissance explosive ces dernières années, porté par son avantage d'accessibilité unique : il se consomme en faisant autre chose, là où le contenu visuel exige l'attention totale. Plusieurs acteurs technologiques cherchent à capter cette dynamique avec de l'IA générative vocale. OpenAI avec ses voix dans ChatGPT, Google avec NotebookLM Audio Overviews, qui génère déjà des podcasts synthétiques à partir de documents, et ElevenLabs avec ses outils de clonage vocal se positionnent sur ce segment. Amazon entre dans la compétition avec l'avantage de l'intégration native à Bedrock, ses Guardrails de sécurité, ses Agents et ses bases de connaissances, ce qui facilite l'adoption en entreprise. La prochaine étape logique sera la personnalisation dynamique du contenu par auditeur, un terrain encore peu défriché mais que Nova Sonic 2, avec sa fenêtre de contexte d'un million de tokens, semble techniquement en mesure d'adresser.

UELe support natif du français et l'intégration à AWS Bedrock facilitent l'adoption par les médias et entreprises européennes souhaitant automatiser leur production audio.

OutilsOpinion
1 source
2MarkTechPost 

xAI lance des API autonomes de reconnaissance et synthèse vocale Grok pour les développeurs entreprise

xAI, la société d'intelligence artificielle d'Elon Musk, a lancé deux nouvelles API audio autonomes : une API de transcription vocale (Speech-to-Text) et une API de synthèse vocale (Text-to-Speech), toutes deux basées sur la même infrastructure qui alimente Grok Voice sur les applications mobiles, les véhicules Tesla et le support client Starlink. L'API STT est disponible dès maintenant, avec transcription en 25 langues, modes batch et temps réel, à des tarifs de 0,10 dollar par heure en batch et 0,20 dollar en streaming. L'API TTS, elle, est facturée 4,20 dollars par million de caractères, prend en charge 20 langues et propose cinq voix distinctes. Les deux API entrent directement en concurrence avec les acteurs établis du marché : ElevenLabs, Deepgram et AssemblyAI. Ces nouveaux outils s'adressent en priorité aux développeurs qui construisent des agents vocaux, des systèmes de transcription de réunions, des centres d'appels automatisés ou des fonctionnalités d'accessibilité. Sur le plan technique, l'API STT intègre des horodatages au niveau du mot, la diarisation des locuteurs (identification de qui parle à quel moment), le support de 12 formats audio et une normalisation intelligente du texte qui convertit automatiquement les formes orales en formats lisibles. L'API TTS se distingue par sa capacité à injecter des balises expressives dans le texte, comme [laugh], [sigh] ou des balises enveloppantes comme whisper et emphasis, permettant une synthèse vocale naturelle et nuancée, loin de la monotonie des systèmes classiques. Sur les benchmarks internes, xAI revendique un taux d'erreur de 5,0 % pour la reconnaissance d'entités sur appels téléphoniques, contre 12,0 % pour ElevenLabs, 13,5 % pour Deepgram et 21,3 % pour AssemblyAI. Ce lancement s'inscrit dans une stratégie d'expansion agressive de xAI, qui cherche à monétiser ses capacités audio au-delà de l'écosystème Grok et à conquérir un marché entreprise où la qualité de transcription et la latence sont des critères décisifs. Le marché des API vocales connaît une forte croissance portée par l'essor des agents IA conversationnels, des outils de réunion automatisés et des interfaces vocales embarquées. Si les performances annoncées se confirment en production, xAI dispose d'un avantage compétitif tangible face à des concurrents bien établis, mais les développeurs attendront des validations indépendantes avant de migrer leurs infrastructures critiques vers une plateforme encore jeune.

💬 Les chiffres du benchmark STT sont impressionnants, 5% d'erreur contre 21% pour AssemblyAI, bon, sur le papier. Le pricing est agressif et les features (diarisation, balises expressives) montrent qu'ils ont bossé le sujet sérieusement, pas juste un wrapper OpenAI Whisper habillé. Reste à voir si ça tient en prod sur des accents français ou du bruit ambiant réel, parce que les benchmarks internes de xAI, j'attends la validation communautaire avant de migrer quoi que ce soit.

OutilsOutil
1 source
Mistral AI lance un modèle de synthèse vocale
3AI Business 

Mistral AI lance un modèle de synthèse vocale

Mistral AI, la startup française spécialisée dans les modèles de langage, a lancé son premier modèle de synthèse vocale (text-to-speech), baptisé Mistral TTS. Compatible avec neuf langues — dont le français, l'anglais, l'espagnol, l'allemand, l'italien, le portugais, le néerlandais, le polonais et le russe —, le modèle est disponible via l'API de la plateforme La Plateforme et vise en priorité les applications d'agents vocaux en production. Ce lancement représente une extension stratégique de l'offre Mistral au-delà du texte pur. Les agents vocaux — utilisés dans le service client, les assistants embarqués ou la téléphonie automatisée — nécessitent des modèles TTS rapides, naturels et multilingues. En intégrant cette brique directement dans son écosystème, Mistral permet aux développeurs de construire des workflows vocaux complets sans dépendre de fournisseurs tiers comme ElevenLabs ou la voix de Google. Fondée en 2023 par d'anciens chercheurs de Google DeepMind et Meta, Mistral s'est imposée comme le principal challenger européen face aux géants américains de l'IA. Après avoir consolidé ses modèles de texte et de code, l'entreprise comble progressivement les manques de sa plateforme pour proposer une suite complète. Le TTS multilingue arrive dans un marché en pleine effervescence, où la voix devient un vecteur central d'interaction entre humains et systèmes d'IA.

UEMistral TTS offre aux entreprises européennes une alternative souveraine aux solutions vocales américaines pour déployer des agents vocaux multilingues sans dépendre de fournisseurs tiers.

OutilsOpinion
1 source
4AWS ML Blog 

Le Spring AI SDK pour Amazon Bedrock AgentCore est désormais en disponibilité générale

Amazon a rendu disponible en accès général le Spring AI SDK pour Amazon Bedrock AgentCore, une bibliothèque open source qui permet aux développeurs Java de construire et déployer des agents IA autonomes en production sur l'infrastructure d'AWS. Ce SDK s'intègre nativement dans l'écosystème Spring Boot 3.5 et Java 17 minimum, en exploitant les patterns familiers du framework : annotations, auto-configuration et advisors composables. Concrètement, un développeur ajoute une dépendance au projet, annote une méthode, et le SDK prend en charge tout le reste, de la gestion des endpoints jusqu'au streaming des réponses en temps réel. Jusqu'à présent, intégrer Amazon Bedrock AgentCore dans une application Spring représentait plusieurs semaines de travail d'infrastructure avant même d'écrire la moindre logique métier : il fallait implémenter manuellement les endpoints /invocations et /ping, gérer le streaming Server-Sent Events avec son protocole précis, configurer les health checks, le rate limiting, et connecter les advisors et les outils. Le SDK automatise entièrement ce contrat technique imposé par l'AgentCore Runtime. En particulier, il détecte automatiquement les tâches asynchrones longues et signale un statut "HealthyBusy" au runtime pour éviter qu'il ne retire des ressources pendant un traitement actif, un détail critique dans un modèle de facturation à l'usage où les temps d'inactivité ne sont pas facturés. Les équipes peuvent ainsi se concentrer sur la logique des agents plutôt que sur la plomberie infrastructure, et déployer des fonctionnalités comme la mémoire conversationnelle, l'automatisation de navigateur et l'exécution de code en sandbox. L'émergence de ce SDK s'inscrit dans une tendance de fond : les entreprises cherchent à passer des preuves de concept en IA générative à des systèmes agentiques véritablement opérationnels à grande échelle, capables de planifier et d'exécuter des tâches complexes en plusieurs étapes de manière autonome. AWS positionne Bedrock AgentCore comme une plateforme universelle, compatible avec n'importe quel framework et n'importe quel modèle. En ciblant spécifiquement la communauté Java et Spring, l'une des plus larges dans l'entreprise, Amazon ouvre un couloir direct vers la production pour des millions de développeurs backend qui auraient autrement dû franchir une barrière technique considérable. La concurrence dans ce segment est vive : Microsoft avec Azure AI, Google avec Vertex AI et des acteurs comme LangChain ou CrewAI proposent leurs propres abstractions pour les agents IA. La disponibilité générale du Spring AI AgentCore SDK marque une étape dans la maturité de l'outillage autour des agents IA en entreprise, où la gouvernance, la sécurité et la scalabilité deviennent des critères aussi importants que les capacités du modèle lui-même.

UELes développeurs Java et Spring Boot en Europe peuvent intégrer directement Amazon Bedrock AgentCore dans leurs projets sans semaines de travail d'infrastructure, accélérant la mise en production d'agents IA sur AWS.

OutilsOutil
1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour