Mistral AI lance un modèle de synthèse vocale

Mistral AI lance un modèle de synthèse vocale qui surpasse ElevenLabs, disponible en open source

Mistral AI a lancé jeudi matin Voxtral TTS, son premier modèle de synthèse vocale de qualité frontier, avec une particularité radicale : les poids du modèle sont publiés en open source, téléchargeables et utilisables sans jamais envoyer le moindre audio vers un serveur tiers. La startup parisienne, valorisée 13,8 milliards de dollars après une levée de 2 milliards en série C menée par le fabricant de puces néerlandais ASML en septembre dernier, affirme que son modèle surpasse ElevenLabs sur les benchmarks de qualité vocale. Techniquement, Voxtral TTS repose sur trois composants : un transformeur décodeur de 3,4 milliards de paramètres, un transformeur acoustique de 390 millions de paramètres basé sur le flow-matching, et un codec audio neuronal de 300 millions de paramètres développé en interne. Le tout tient en 3 gigaoctets de RAM une fois quantifié, produit de l'audio en 90 millisecondes pour une entrée typique, et génère la parole à six fois la vitesse temps réel. Il tourne sur n'importe quel laptop ou smartphone, y compris sur du matériel vieillissant. Le modèle couvre neuf langues — anglais, français, allemand, espagnol, néerlandais, portugais, italien, hindi et arabe — et peut cloner une voix à partir de seulement cinq secondes d'audio de référence. L'enjeu est considérable : le marché mondial de la voix IA a dépassé 22 milliards de dollars en 2026, et le seul segment des agents vocaux est projeté à 47,5 milliards d'ici 2034. Jusqu'ici, ce marché est dominé par des acteurs propriétaires — ElevenLabs, Google Cloud avec Chirp 3, OpenAI — qui vendent l'accès à leurs modèles via API : les entreprises louent la voix, elles ne la possèdent pas. Mistral propose le modèle inverse : télécharger les poids, déployer en local, garder un contrôle total sur les données audio. Pour les secteurs soumis à des contraintes de confidentialité strictes — finance, santé, défense — c'est une proposition fondamentalement différente. Voxtral TTS s'inscrit dans une stratégie cohérente que Mistral construit pièce par pièce depuis plusieurs mois. La startup a lancé Voxtral Transcribe (speech-to-text) quelques semaines plus tôt, sa plateforme de personnalisation Forge lors de la conférence Nvidia GTC début mars, et son infrastructure de production AI Studio. L'objectif affiché est de permettre aux entreprises de faire tourner un pipeline audio complet — de la voix à la voix — sans dépendre d'aucun fournisseur externe. « Nous voyons l'audio comme un grand pari, et probablement la seule interface future avec tous les modèles d'IA », a déclaré Pierre Stock, vice-président science et premier employé de Mistral, dans une interview exclusive à VentureBeat. Dans un marché où ElevenLabs vient d'annoncer une collaboration avec IBM pour intégrer ses voix dans la plateforme watsonx Orchestrate, Mistral choisit de jouer la carte de la souveraineté plutôt que celle du service managé — un pari sur le fait que les grandes entreprises préféreront, à terme, la maîtrise à la commodité.

💬 La vraie info c'est pas les benchmarks face à ElevenLabs, c'est qu'on télécharge les poids et ça tourne en local, sans qu'une seule seconde d'audio quitte ta machine. C'était le verrou pour tout le secteur régulé, finance, santé, défense, qui ne peut pas se permettre d'envoyer ses données vocales à San Francisco. Je pensais que Mistral mettrait plus de temps, mais là ils posent les briques vite.

Supertone lance Supertonic v3 : modèle de synthèse vocale embarquée en 31 langues, avec moins d'erreurs de lecture et des balises d'expression

Supertone a publié Supertonic 3, la troisième génération de son moteur de synthèse vocale embarqué, basé sur le format ONNX. Cette nouvelle version prend en charge 31 langues, contre seulement 5 dans la version précédente (anglais, coréen, espagnol, portugais et français). Parmi les ajouts figurent l'allemand, l'arabe, le japonais, le russe, le turc, le néerlandais ou encore le vietnamien. Le modèle pèse environ 99 millions de paramètres et occupe 404 Mo sur disque, une empreinte nettement inférieure aux systèmes TTS open-source comparables qui atteignent généralement 700 millions à 2 milliards de paramètres. La v3 corrige aussi les erreurs de lecture que l'on observait dans la v2 (répétitions et omissions de mots), et introduit des balises expressives directement insérables dans le texte : `, , ` permettent de contrôler la prosodie sans modèle auxiliaire. Supertone a également lancé en parallèle un outil baptisé Voice Builder, qui permet aux développeurs de créer des modèles vocaux personnalisés à partir de leurs propres enregistrements. La force de Supertonic 3 réside dans sa capacité à fonctionner entièrement hors ligne, sans GPU, sur du matériel très contraint. Le modèle atteint un RTF (Real-Time Factor) de 0,3 sur un Onyx Boox Go 6, une liseuse e-ink sans connexion réseau, ce qui signifie qu'il génère de la parole trois fois plus vite que la durée réelle du son produit. Pour les développeurs d'interfaces vocales, d'outils d'accessibilité ou d'applications embarquées, cela représente un changement concret : plus besoin d'infrastructure cloud, de latence réseau ou de coût de requête à l'API. Le modèle tient dans un appareil mobile bas de gamme et produit une qualité de lecture compétitive face à des modèles bien plus lourds mesurés sur GPU A100, selon les métriques standard WER (Word Error Rate) et CER (Character Error Rate). Supertone, studio sud-coréen spécialisé dans l'audio IA, s'inscrit dans une tendance plus large vers la synthèse vocale locale et souveraine, à l'opposé des services cloud comme ceux d'ElevenLabs ou d'OpenAI. L'architecture repose sur un autoencoder audio, un module de génération par flow matching en seulement 2 étapes d'inférence (plus rapide que la diffusion classique), et une technique d'entraînement Self-Purifying Flow Matching qui rend le modèle résistant aux données bruitées. La v3 intègre aussi LARoPE (Length-Aware Rotary Position Embedding) pour améliorer l'alignement texte-parole. L'écosystème s'est étendu à Flutter (avec support macOS), .NET 9, Go, et au web via onnxruntime-web pour une exécution entièrement côté client. La compatibilité avec les assets ONNX publics de la v2 facilite la migration. La prochaine étape logique serait l'intégration dans des agents vocaux autonomes ou des lecteurs d'écran multilingues embarqués.

xAI lance des API autonomes de reconnaissance et synthèse vocale Grok pour les développeurs entreprise

xAI, la société d'intelligence artificielle d'Elon Musk, a lancé deux nouvelles API audio autonomes : une API de transcription vocale (Speech-to-Text) et une API de synthèse vocale (Text-to-Speech), toutes deux basées sur la même infrastructure qui alimente Grok Voice sur les applications mobiles, les véhicules Tesla et le support client Starlink. L'API STT est disponible dès maintenant, avec transcription en 25 langues, modes batch et temps réel, à des tarifs de 0,10 dollar par heure en batch et 0,20 dollar en streaming. L'API TTS, elle, est facturée 4,20 dollars par million de caractères, prend en charge 20 langues et propose cinq voix distinctes. Les deux API entrent directement en concurrence avec les acteurs établis du marché : ElevenLabs, Deepgram et AssemblyAI. Ces nouveaux outils s'adressent en priorité aux développeurs qui construisent des agents vocaux, des systèmes de transcription de réunions, des centres d'appels automatisés ou des fonctionnalités d'accessibilité. Sur le plan technique, l'API STT intègre des horodatages au niveau du mot, la diarisation des locuteurs (identification de qui parle à quel moment), le support de 12 formats audio et une normalisation intelligente du texte qui convertit automatiquement les formes orales en formats lisibles. L'API TTS se distingue par sa capacité à injecter des balises expressives dans le texte, comme [laugh], [sigh] ou des balises enveloppantes comme whisper et emphasis, permettant une synthèse vocale naturelle et nuancée, loin de la monotonie des systèmes classiques. Sur les benchmarks internes, xAI revendique un taux d'erreur de 5,0 % pour la reconnaissance d'entités sur appels téléphoniques, contre 12,0 % pour ElevenLabs, 13,5 % pour Deepgram et 21,3 % pour AssemblyAI. Ce lancement s'inscrit dans une stratégie d'expansion agressive de xAI, qui cherche à monétiser ses capacités audio au-delà de l'écosystème Grok et à conquérir un marché entreprise où la qualité de transcription et la latence sont des critères décisifs. Le marché des API vocales connaît une forte croissance portée par l'essor des agents IA conversationnels, des outils de réunion automatisés et des interfaces vocales embarquées. Si les performances annoncées se confirment en production, xAI dispose d'un avantage compétitif tangible face à des concurrents bien établis, mais les développeurs attendront des validations indépendantes avant de migrer leurs infrastructures critiques vers une plateforme encore jeune.

💬 Les chiffres du benchmark STT sont impressionnants, 5% d'erreur contre 21% pour AssemblyAI, bon, sur le papier. Le pricing est agressif et les features (diarisation, balises expressives) montrent qu'ils ont bossé le sujet sérieusement, pas juste un wrapper OpenAI Whisper habillé. Reste à voir si ça tient en prod sur des accents français ou du bruit ambiant réel, parce que les benchmarks internes de xAI, j'attends la validation communautaire avant de migrer quoi que ce soit.

Inworld AI lance Realtime TTS-2 : un modèle vocal en boucle fermée qui s'adapte à votre façon de parler

Inworld AI a lancé en mai 2026 Realtime TTS-2, un nouveau modèle de synthèse vocale disponible en préversion de recherche via son Inworld API et son Inworld Realtime API. Ce modèle représente une rupture architecturale significative par rapport aux systèmes de synthèse vocale conventionnels : là où la plupart des moteurs TTS (text-to-speech) reçoivent du texte et produisent de l'audio de manière stateless, TTS-2 fonctionne en boucle fermée. Il ingère l'audio réel des échanges précédents, pas seulement leur transcription, ce qui lui permet de percevoir le ton, le rythme et l'état émotionnel de l'interlocuteur. Le modèle propose quatre capacités principales : une direction vocale en langage naturel via des balises inline comme [speak sadly, as if something bad just happened], des marqueurs non-verbaux injectables ([laugh], [sigh], [cough]), une préservation de l'identité vocale sur plus de 100 langues y compris en cas de changement de langue en mid-phrase, et une conception de voix à partir d'une description textuelle sans audio de référence. Trois modes de stabilité sont disponibles : Expressif pour les agents conversationnels grand public, Équilibré pour la majorité des déploiements, et Stable pour les environnements professionnels ou les serveurs vocaux interactifs où la dérive de tonalité est inacceptable. L'enjeu concret est de rendre les agents vocaux IA crédibles dans des situations à forte charge émotionnelle, comme le support client en soirée ou les interfaces de santé mentale. En entendant le vrai signal audio plutôt qu'en lisant une retranscription, le modèle saisit si un "okay, fine" est soulagé, résigné ou sarcastique, et adapte sa réponse en conséquence. Le contexte audio se propage automatiquement d'un tour à l'autre dans une session Realtime sans que les développeurs aient à gérer manuellement des champs prior_audio. TTS-2 génère aussi des disfluences naturelles, "euh", "hm", auto-corrections, pauses en milieu de phrase, calibrées selon le profil du locuteur, ce qui renforce la perception d'un interlocuteur attentif plutôt que d'un système en dysfonctionnement. Cette annonce s'inscrit dans une compétition intense autour de la voix conversationnelle IA, un segment en pleine expansion porté par les agents d'assistance, les compagnons virtuels et l'automatisation du support client. Inworld AI, jusqu'ici principalement connue pour ses personnages IA dans les jeux vidéo, repositionne ici sa technologie vocale vers un marché enterprise plus large. La plupart des acteurs dominants du TTS, comme ElevenLabs ou les offres vocales d'OpenAI, traitent chaque génération comme un appel indépendant sans mémoire auditive des tours précédents. TTS-2 parie que la continuité émotionnelle entre les tours est le vrai différenciateur dans les cas d'usage à forte intensité humaine. La sortie en research preview suggère que des ajustements restent en cours, notamment pour les langues de longue traîne, mais l'API est déjà accessible aux développeurs pour intégration.