Mistral AI lance un modèle de synthèse vocale qui surpasse ElevenLabs, disponible en open source
Mistral AI a lancé jeudi matin Voxtral TTS, son premier modèle de synthèse vocale de qualité frontier, avec une particularité radicale : les poids du modèle sont publiés en open source, téléchargeables et utilisables sans jamais envoyer le moindre audio vers un serveur tiers. La startup parisienne, valorisée 13,8 milliards de dollars après une levée de 2 milliards en série C menée par le fabricant de puces néerlandais ASML en septembre dernier, affirme que son modèle surpasse ElevenLabs sur les benchmarks de qualité vocale. Techniquement, Voxtral TTS repose sur trois composants : un transformeur décodeur de 3,4 milliards de paramètres, un transformeur acoustique de 390 millions de paramètres basé sur le flow-matching, et un codec audio neuronal de 300 millions de paramètres développé en interne. Le tout tient en 3 gigaoctets de RAM une fois quantifié, produit de l'audio en 90 millisecondes pour une entrée typique, et génère la parole à six fois la vitesse temps réel. Il tourne sur n'importe quel laptop ou smartphone, y compris sur du matériel vieillissant. Le modèle couvre neuf langues, anglais, français, allemand, espagnol, néerlandais, portugais, italien, hindi et arabe, et peut cloner une voix à partir de seulement cinq secondes d'audio de référence.
Résumé et traduction réalisés par Le Fil IA à partir de VentureBeat AI. Lire l'article original →
L'enjeu est considérable : le marché mondial de la voix IA a dépassé 22 milliards de dollars en 2026, et le seul segment des agents vocaux est projeté à 47,5 milliards d'ici 2034. Jusqu'ici, ce marché est dominé par des acteurs propriétaires, ElevenLabs, Google Cloud avec Chirp 3, OpenAI, qui vendent l'accès à leurs modèles via API : les entreprises louent la voix, elles ne la possèdent pas. Mistral propose le modèle inverse : télécharger les poids, déployer en local, garder un contrôle total sur les données audio. Pour les secteurs soumis à des contraintes de confidentialité strictes, finance, santé, défense, c'est une proposition fondamentalement différente.
Voxtral TTS s'inscrit dans une stratégie cohérente que Mistral construit pièce par pièce depuis plusieurs mois. La startup a lancé Voxtral Transcribe (speech-to-text) quelques semaines plus tôt, sa plateforme de personnalisation Forge lors de la conférence Nvidia GTC début mars, et son infrastructure de production AI Studio. L'objectif affiché est de permettre aux entreprises de faire tourner un pipeline audio complet, de la voix à la voix, sans dépendre d'aucun fournisseur externe. « Nous voyons l'audio comme un grand pari, et probablement la seule interface future avec tous les modèles d'IA », a déclaré Pierre Stock, vice-président science et premier employé de Mistral, dans une interview exclusive à VentureBeat. Dans un marché où ElevenLabs vient d'annoncer une collaboration avec IBM pour intégrer ses voix dans la plateforme watsonx Orchestrate, Mistral choisit de jouer la carte de la souveraineté plutôt que celle du service managé, un pari sur le fait que les grandes entreprises préféreront, à terme, la maîtrise à la commodité.
Mistral AI, startup parisienne, offre aux entreprises françaises et européennes une solution TTS souveraine déployable en local, répondant directement aux contraintes de confidentialité des secteurs régulés (finance, santé, défense) sans dépendance aux fournisseurs API américains.
La vraie info c'est pas les benchmarks face à ElevenLabs, c'est qu'on télécharge les poids et ça tourne en local, sans qu'une seule seconde d'audio quitte ta machine. C'était le verrou pour tout le secteur régulé, finance, santé, défense, qui ne peut pas se permettre d'envoyer ses données vocales à San Francisco. Je pensais que Mistral mettrait plus de temps, mais là ils posent les briques vite.