Aller au contenu principal
CréationMarkTechPost · 2 min de lecture

Alibaba lance Qwen-Audio-3.0-TTS, un modèle de synthèse vocale hébergé en versions Flash et Plus dans 16 langues

Résumé IASources croisées · 2Impact UE
Source originale ↗·
Egalement couvert par :The Decoder

Tongyi Lab, le laboratoire de recherche d'Alibaba, a lancé Qwen-Audio-3.0-TTS, un système de synthèse vocale conçu pour la production, disponible en deux versions hébergées sur Alibaba Cloud Model Studio plutôt qu'en modèles téléchargeables. La version Flash, identifiée qwen-audio-3.0-tts-flash, cible les interactions en temps réel avec une latence au premier paquet audio de l'ordre de 300 millisecondes, tandis que la version Plus, qwen-audio-3.0-tts-plus, privilégie la qualité et le naturel de la voix. Les deux s'appuient sur un protocole WebSocket bidirectionnel en streaming, prennent en charge les formats PCM, WAV, MP3 et Opus jusqu'à 48 kHz, et proposent le clonage vocal, la création de voix sur mesure (Voice Design) et le contrôle par instructions. Le modèle couvre désormais 16 langues, dont sept nouvelles par rapport à la génération précédente, parmi lesquelles le français, l'allemand, l'espagnol, le russe, le japonais et le coréen, ainsi que 20 variantes dialectales chinoises. Sur le plan des performances, Flash affiche un taux d'erreur moyen de 3,87 sur l'ensemble des langues et Plus de 3,96, avec les meilleurs résultats obtenus dans 10 des 16 langues testées. Pour la similarité vocale, Plus atteint un score moyen de 82,75 sur les 16 langues, contre 80,44 pour Flash. Qwen-Audio-3.0-TTS-Plus occupe par ailleurs la première place du classement indépendant Artificial Analysis dédié à la synthèse vocale.

Cette annonce s'adresse directement aux équipes qui déploient des applications vocales en production, un secteur où la latence, la robustesse face à des enregistrements de référence imparfaits et le contrôle fin du ton restent des obstacles fréquents. L'ajout de 86 balises intégrables directement dans le texte, comme [excited], [whispers] ou [laughing], permet aux développeurs d'insuler des variations d'émotion ou des sons non verbaux tels que le rire, la respiration ou la toux, sans recourir à un post-traitement audio séparé. Une bibliothèque de voix prédéfinies dans les 16 langues supportées permet également de lancer un produit sans passer par une étape de clonage vocal, ce qui réduit le temps de mise sur le marché pour les équipes produit.

Techniquement, le système repose sur un tokenizer vocal à basse fréquence de 12,5 Hz, qui réduit le coût de calcul du décodage tout en conservant les informations de contenu et de timbre, combiné à un entraînement en cinq étapes progressives associant modèle de langage et techniques de flow-matching. Cette architecture permet une synthèse continue allant jusqu'à trois minutes en une seule passe et une résolution audio améliorée en sortie 48 kHz. Le mouvement s'inscrit dans la compétition intense que se livrent les grands groupes technologiques chinois et américains sur la synthèse vocale de qualité professionnelle, un marché en forte croissance porté par les assistants vocaux, le doublage automatisé et les agents conversationnels.

Dans nos dossiers

Cet article vous a été utile ?

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

Alibaba lance la bêta de son modèle de génération vidéo HappyHorse 1.0
1Pandaily 

Alibaba lance la bêta de son modèle de génération vidéo HappyHorse 1.0

Le 27 avril 2026, Alibaba a annoncé le lancement en bêta de HappyHorse 1.0, son nouveau modèle de génération vidéo par intelligence artificielle. Actuellement accessible aux créateurs professionnels et aux entreprises via inscription, le modèle est également disponible au grand public dans l'application Qwen. HappyHorse 1.0 prend en charge la génération vidéo à partir de texte, d'images ou d'audio, avec des séquences pouvant atteindre 15 secondes, un upscaling en 1080p, plusieurs formats d'image et une narration multi-plans. Le tarif de référence est fixé à 0,9 yuan par seconde pour une vidéo en 720p. Le modèle supporte également plusieurs langues, dont le cantonais, l'anglais, le français et le coréen. Un déploiement commercial est prévu pour le mois de mai, après une phase d'élargissement des tests d'ici fin avril. L'arrivée de HappyHorse 1.0 sur le marché illustre la montée en puissance des géants technologiques asiatiques dans la course à la vidéo générative, un segment en pleine explosion. Pour les créateurs de contenu et les entreprises, un outil capable de produire des vidéos courtes de qualité professionnelle à moins d'un yuan la seconde représente une baisse significative des coûts de production. La prise en charge multilingue native, notamment du français, élargit considérablement le périmètre commercial potentiel au-delà de la Chine. HappyHorse 1.0 a été développé par l'unité ATH d'Alibaba en collaboration avec plusieurs équipes internes, une information confirmée par le groupe le 10 avril. Avant son annonce officielle, le modèle avait déjà figuré sous un nom anonyme dans le classement AI Video Arena d'Artificial Analysis, ce qui suggère qu'Alibaba cherchait à valider ses performances en conditions réelles avant tout lancement public. Cette stratégie s'inscrit dans un contexte de concurrence intense entre acteurs comme Sora (OpenAI), Kling (Kuaishou) ou Vidu (Tencent), tous engagés dans une course à la qualité et à l'accessibilité tarifaire pour s'imposer comme référence de la vidéo générée par IA.

UELa prise en charge native du français ouvre HappyHorse 1.0 aux créateurs et entreprises européens comme outil de production vidéo à faible coût, sans présence ni partenariat européen annoncé à ce stade.

CréationOpinion
1 source
Miso Labs publie MisoTTS : un modèle de synthèse vocale expressif de 8 milliards de paramètres en open weights
2MarkTechPost 

Miso Labs publie MisoTTS : un modèle de synthèse vocale expressif de 8 milliards de paramètres en open weights

Miso Labs a publié le 3 juin 2026 MisoTTS, un modèle de synthèse vocale open-weights de 8 milliards de paramètres capable de générer une parole expressive à partir de texte et de contexte audio. Construit sur une architecture de type Llama 3.2, le modèle s'inspire du système CSM de Sesame et repose sur une technique de quantification vectorielle résiduelle (RVQ) pour représenter les sons. Contrairement aux transformeurs classiques qui travaillent avec un vocabulaire discret fixe, MisoTTS émet pour chaque token audio un vecteur de 32 indices issus de codebooks de 2048 entrées chacun, ce qui lui permet d'atteindre théoriquement environ 10^105 tokens adressables sans augmenter le nombre de paramètres. L'architecture se divise en deux composants : un backbone de 7,7 milliards de paramètres responsable de la prédiction temporelle, et un décodeur de 300 millions de paramètres qui raffine les indices de codebook restants. Miso Labs revendique une latence de 110 millisecondes, contre 300 ms pour Sesame et 700 ms pour ElevenLabs. Le modèle est publié sous une licence MIT modifiée. Ce lancement est notable pour deux raisons techniques distinctes. La première est la résolution du problème de vocabulaire : la parole humaine varie en hauteur, rythme, accentuation, émotion et accent, ce qui la rend difficile à capturer avec un vocabulaire de tokens classique sans gonfler massivement la taille du modèle. La RVQ contourne cette limite en empilant des raffinements successifs plutôt qu'en élargissant un seul vocabulaire plat. La seconde avancée concerne le conditionnement : la plupart des systèmes TTS existants ne prennent en entrée que du texte. MisoTTS conditionne aussi le modèle sur l'audio de l'interlocuteur, lui permettant de répondre au ton de la conversation plutôt que de produire une voix uniforme. Miso Labs soutient que c'est précisément cette absence de prise en compte du contexte émotionnel qui cause l'effet de vallée de l'étrange dans les TTS actuels. Le modèle s'inscrit dans une dynamique d'ouverture accélérée dans le secteur des modèles audio. Après Sesame, dont l'architecture CSM a directement inspiré MisoTTS, plusieurs laboratoires cherchent à rendre la synthèse vocale expressive accessible localement, en dehors des API propriétaires. Le déploiement local est d'ailleurs l'un des arguments commerciaux de Miso Labs, qui met en avant la confidentialité des données audio. Des limites demeurent : le modèle fonctionne uniquement en mode half-duplex, sans gestion du tour de parole, nécessite un GPU CUDA performant, et l'accès API annoncé n'est pas encore disponible. Les affirmations sur la latence et la qualité n'ont pas encore été vérifiées par des tiers indépendants, ce qui laisse ouvertes les questions sur les performances réelles en production.

UELes développeurs et entreprises européennes peuvent déployer localement ce modèle open-weights pour la synthèse vocale expressive, réduisant leur dépendance aux API propriétaires et améliorant la confidentialité des données audio sensibles.

CréationOpinion
1 source
Les meilleurs modèles de synthèse vocale en 2026 : comparaison par benchmarks
3MarkTechPost 

Les meilleurs modèles de synthèse vocale en 2026 : comparaison par benchmarks

La synthèse vocale par intelligence artificielle a connu une accélération spectaculaire en 2026, au point que la frontière entre voix humaine et voix synthétique est devenue difficile à percevoir. Les deux références de l'industrie pour comparer ces modèles sont le classement Artificial Analysis Speech Arena, qui attribue un score ELO basé sur les préférences humaines en aveugle, et le TTS Arena de Hugging Face, qui fonctionne sur le même principe de vote A/B. Au 30 mai 2026, le top 5 de l'Artificial Analysis Speech Arena est occupé par Gemini 3.1 Flash TTS de Google, Realtime TTS-2 d'Inworld (en Research Preview), Sonic 3.5, Realtime TTS 1.5 Max et Fun-Realtime-TTS-Preview. Parmi les acteurs les plus remarquables, Inworld AI, un laboratoire fondé par des anciens de Google et DeepMind, a lancé TTS-1.5 le 21 janvier 2026, suivi de Realtime TTS-2 plus tard dans l'année. Son modèle propose deux niveaux : Mini, optimisé pour la latence avec un temps avant premier audio inférieur à 130 millisecondes au 90e percentile, et Max, sous 250 millisecondes. La tarification va de 25 dollars par million de caractères pour le Mini jusqu'à 5 dollars en offre Enterprise. Google DeepMind, de son côté, a publié Gemini 3.1 Flash TTS le 15 avril 2026, accessible via l'API Gemini, AI Studio et Vertex AI. Ces évolutions ont des implications directes pour les développeurs et les entreprises qui intègrent la voix dans leurs produits. Une latence sous les 100 millisecondes est désormais atteignable pour certains systèmes temps réel, ce qui rend les agents vocaux réellement utilisables dans des contextes grand public, comme le service client automatisé ou les jeux vidéo. Inworld revendique 30 % de plage expressive supplémentaire et 40 % de stabilité en plus par rapport à sa génération précédente, deux critères critiques pour des applications qui ne peuvent se permettre ni monotonie ni erreurs de prononciation. Les tarifs agressifs, notamment l'offre Enterprise à 5 dollars le million de caractères, signalent une course vers la commoditisation du TTS, similaire à ce que le marché des LLM a vécu entre 2023 et 2025. La comparaison entre modèles reste néanmoins complexe, car aucun benchmark ne capture l'ensemble des dimensions pertinentes. La qualité perçue, le taux d'erreur de caractères mesuré par méthode aller-retour (transcription ASR puis comparaison avec l'entrée), la latence de queue et la couverture linguistique obéissent à des logiques distinctes. Inworld couvre 15 langues pour TTS-1.5 mais plus de 100 pour TTS-2, tandis que les classements ELO fluctuent d'une semaine à l'autre. L'enjeu pour les équipes produit est d'identifier l'axe non négociable de leur application, qu'il s'agisse de la latence pour un assistant vocal ou de la fidélité phonétique pour un usage éditorial, avant de choisir leur fournisseur dans un marché qui reste en recomposition permanente.

💬 Le TTS vit ce que les LLM ont traversé entre 2023 et 2025. 5 dollars le million de caractères en Enterprise chez Inworld, Gemini Flash TTS qui s'installe en tête des classements, la course vers la commoditisation est enclenchée et ça va aller vite. La vraie nouveauté, c'est la latence sous 100ms qui rend enfin les agents vocaux utilisables en vrai, pas juste en démo.

CréationOutil
1 source
Le modèle vidéo IA d'Alibaba grimpe à la 2e place mondiale, pendant que Sora d'OpenAI et Seedance de ByteDance reculent
4VentureBeat AI 

Le modèle vidéo IA d'Alibaba grimpe à la 2e place mondiale, pendant que Sora d'OpenAI et Seedance de ByteDance reculent

Alibaba Cloud a lancé dimanche HappyHorse 1.1, une mise à jour majeure de son modèle de génération vidéo par intelligence artificielle, désormais disponible sur Alibaba Cloud Model Studio avec accès API complet pour les entreprises et les développeurs. Pour marquer le lancement, la plateforme propose une réduction de 40 % pendant deux semaines. Ce modèle repose sur un Transformer unifié de 15 milliards de paramètres capable de traiter simultanément du texte, des images, de la vidéo et de l'audio dans une seule séquence, sans recourir à des outils tiers pour la synchronisation audio ou le post-traitement. Sur le classement indépendant Artificial Analysis Video Arena, HappyHorse 1.0 occupe actuellement la deuxième place avec un score Elo de 1 444 dans les catégories texte-vers-vidéo et image-vers-vidéo, devançant Google Veo-3.1 de 69 points et xAI Grok-Imagine-Video de 23 points. Ce lancement intervient dans un marché brusquement reconfiguré. OpenAI a mis fin à Sora, jugé financièrement non viable, tandis que ByteDance a indéfiniment suspendu le déploiement international de Seedance 2.0 après une vague de plaintes pour violation de droits d'auteur de la part des studios hollywoodiens. Pour les équipes achats des entreprises qui évaluaient ou intégraient ces outils dans leurs workflows marketing, publicité ou production de contenus, le choix s'est considérablement rétréci en quelques mois. HappyHorse 1.1 arrive donc à point nommé : conçu comme un produit API-first pour s'intégrer dans des stacks logiciels d'entreprise, il mise sur une architecture unifiée qui réduit le nombre de dépendances fournisseurs et accélère la mise en production. Pour les acheteurs sensibles au coût total de possession, c'est un argument concret. HappyHorse a d'abord émergé début avril comme soumission anonyme sur l'Artificial Analysis Video Arena, où il s'est immédiatement classé premier avant qu'Alibaba ne soit confirmé comme créateur. Le modèle est développé par l'ATH (Alibaba Token Hub) AI Innovation Unit, une équipe issue du Future Life Lab rattachée au groupe Taobao et Tmall, avant une restructuration organisationnelle stratégique. Derrière ce lancement se profile un enjeu bien plus large : Alibaba a annoncé un programme d'investissement en infrastructure de 52,7 milliards de dollars à l'échelle mondiale, et la vidéo générative représente un marché que les analystes anticipent à plusieurs dizaines de milliards de dollars d'ici la fin de la décennie. La vraie question est de savoir si Alibaba parviendra à convertir cette avance technique en adoption réelle sur les marchés occidentaux, dans un contexte de tensions croissantes entre Washington et Pékin sur les technologies d'intelligence artificielle.

UELes entreprises européennes qui intégraient Sora ou Seedance dans leurs workflows de production vidéo ou marketing doivent reconsidérer leurs options, le marché s'étant brutalement rétréci avec la fermeture de Sora et la suspension internationale de Seedance 2.0.

💬 Sora est mort, Seedance suspendu, et HappyHorse 1.1 arrive deuxième mondial. Le vrai sujet n'est pas la qualité du modèle : c'est que le marché de la vidéo générative B2B s'est retrouvé à trois candidats sérieux en moins de six mois. Intégrer Alibaba dans sa stack de production, ça va faire tiquer les DSI européens, surtout en ce moment.

CréationOpinion
1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription en un clic