Mistral AI lance Voxtral 3 : transcription vocale, synthèse vocale et SDK pour agents vocaux
Mistral AI a lancé Voxtral 3, une famille de modèles vocaux accompagnée d'un SDK pour agents vocaux. Elle comprend trois modèles de transcription et un modèle de synthèse vocale, tous en préversion publique sur l'API de Mistral (points d'accès UE, États-Unis et mondial). Voxtral Small Transcribe 3 est le modèle phare pour la transcription par lots et la diarisation. Sa taille n'est pas communiquée, et la documentation y ajoute traduction, questions-réponses sur l'audio, résumé et appel de fonctions. Voxtral Mini Transcribe 3, doté de 4 milliards de paramètres, vise des traitements moins chers et plus rapides. Voxtral Mini Transcribe Realtime 3 assure la transcription en continu par WebSocket, avec détection de fin de tour de parole. Voxtral Speech 3, aussi appelé Voxtral Mini TTS 3, génère la voix. Tous les modèles de transcription gèrent la diarisation et le « context biasing », qui injecte des termes clés ou du texte libre pour améliorer le rappel. La transcription par lots couvre 50 langues, dont les 24 langues officielles de l'UE. Les modèles par lots affichent un contexte de 32k. Les besoins en GPU et en VRAM ne sont pas précisés, et un déploiement sur infrastructure propre passe par les équipes commerciales de Mistral.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de MarkTechPost. Lire l'article original →
Les chiffres, déclarés par Mistral, placent la famille dans le haut des classements indépendants. Sur FLEURS 45, Small obtient 4,1 % de taux d'erreur de mots (WER) avec langue imposée et 4,0 % avec langue inférée, à égalité avec MAI-Transcribe-2 de Microsoft, contre 16,0 % et 14,9 % pour Whisper large-v3. En diarisation, Small atteint 18,4 % de cpWER, contre 19,0 % pour Pyannote et 20,3 % pour MAI-Transcribe-2. Sur Artificial Analysis, Small obtient 2,1 % d'AA-WER et se classe troisième, derrière Fun-Realtime-ASR-preview (1,7 %) et MAI-Transcribe-2 (2,0 %). Sa vitesse reste son point faible : un facteur de 65,8x, contre 307,5x pour MAI-Transcribe-2. En temps réel, le modèle fait un compromis entre latence et précision : 5,7 % de WER à 2 400 ms, 6,4 % à 480 ms et 7,4 % à 240 ms, loin des 4,2 % de Gemini 3.5 Realtime Transcribe, mais devant GPT Live Transcribe (8,4 %) et Scribe v2 Realtime (8,7 %). Voxtral Speech 3 coûte 13 dollars par million de caractères, un tarif que Mistral dit inférieur à celui d'OpenAI TTS-1, Deepgram, ElevenLabs Flash et Gemini Flash. Il offre des contrôles explicites d'émotion, de rythme et d'emphase, environ 90 ms avant le premier audio et 34 balises émotionnelles. La fonction Pro Voice adapte le style d'un locuteur à partir de 30 minutes d'audio.
Le SDK, construit sur LiveKit, assemble trois étapes dans un seul pipeline en continu. Realtime Transcribe 3 écoute et détecte la fin de parole, un LLM généraliste comme Mistral Small 4 raisonne et appelle des outils, puis Voxtral Speech 3 répond sur le ton de la conversation. Chaque tour se boucle en moins d'une seconde, l'agent se tait quand l'appelant l'interrompt, et il gère les appels téléphoniques via SIP comme les sessions navigateur ou application via WebRTC. Comme chaque étage est un modèle distinct, les équipes peuvent remplacer le LLM, la voix ou la langue. Cette modularité et le déploiement européen visent surtout les centres d'appels, les services clients et les entreprises soucieuses de souveraineté des données.
Ce lancement place Mistral face à Microsoft AI (MAI-Transcribe-2, 60 langues), ElevenLabs (Scribe v2, plus de 90 langues) et Google (Gemini 3.5 Transcribe, plus de 85 langues), qui se disputent le marché de la voix pour agents conversationnels. Mistral cherche à proposer une pile complète, de l'écoute à la parole, plutôt que des briques isolées, et à s'imposer comme alternative européenne aux acteurs américains. Les limites sont visibles : une précision en temps réel inférieure à celle de Gemini, une vitesse de traitement nettement en retrait et des tailles de modèles non divulguées. Tant que les modèles restent en préversion, leurs performances en production et leur tarification définitive restent à confirmer.
Mistral AI, entreprise française, propose des modèles vocaux couvrant les 24 langues officielles de l'UE avec points d'accès européens, utiles aux centres d'appels et aux entreprises soucieuses de souveraineté des données.