NVIDIA lance NemotronLabs VoiceChat 11B, un modèle vocal en duplex intégral avec 450 ms de latence et appel d'outils en direct

Alibaba lance Qwen-Audio-3.0-TTS, un modèle de synthèse vocale hébergé en versions Flash et Plus dans 16 langues

Tongyi Lab, le laboratoire de recherche d'Alibaba, a lancé Qwen-Audio-3.0-TTS, un système de synthèse vocale conçu pour la production, disponible en deux versions hébergées sur Alibaba Cloud Model Studio plutôt qu'en modèles téléchargeables. La version Flash, identifiée qwen-audio-3.0-tts-flash, cible les interactions en temps réel avec une latence au premier paquet audio de l'ordre de 300 millisecondes, tandis que la version Plus, qwen-audio-3.0-tts-plus, privilégie la qualité et le naturel de la voix. Les deux s'appuient sur un protocole WebSocket bidirectionnel en streaming, prennent en charge les formats PCM, WAV, MP3 et Opus jusqu'à 48 kHz, et proposent le clonage vocal, la création de voix sur mesure (Voice Design) et le contrôle par instructions. Le modèle couvre désormais 16 langues, dont sept nouvelles par rapport à la génération précédente, parmi lesquelles le français, l'allemand, l'espagnol, le russe, le japonais et le coréen, ainsi que 20 variantes dialectales chinoises. Sur le plan des performances, Flash affiche un taux d'erreur moyen de 3,87 sur l'ensemble des langues et Plus de 3,96, avec les meilleurs résultats obtenus dans 10 des 16 langues testées. Pour la similarité vocale, Plus atteint un score moyen de 82,75 sur les 16 langues, contre 80,44 pour Flash. Qwen-Audio-3.0-TTS-Plus occupe par ailleurs la première place du classement indépendant Artificial Analysis dédié à la synthèse vocale. Cette annonce s'adresse directement aux équipes qui déploient des applications vocales en production, un secteur où la latence, la robustesse face à des enregistrements de référence imparfaits et le contrôle fin du ton restent des obstacles fréquents. L'ajout de 86 balises intégrables directement dans le texte, comme [excited], [whispers] ou [laughing], permet aux développeurs d'insuler des variations d'émotion ou des sons non verbaux tels que le rire, la respiration ou la toux, sans recourir à un post-traitement audio séparé. Une bibliothèque de voix prédéfinies dans les 16 langues supportées permet également de lancer un produit sans passer par une étape de clonage vocal, ce qui réduit le temps de mise sur le marché pour les équipes produit. Techniquement, le système repose sur un tokenizer vocal à basse fréquence de 12,5 Hz, qui réduit le coût de calcul du décodage tout en conservant les informations de contenu et de timbre, combiné à un entraînement en cinq étapes progressives associant modèle de langage et techniques de flow-matching. Cette architecture permet une synthèse continue allant jusqu'à trois minutes en une seule passe et une résolution audio améliorée en sortie 48 kHz. Le mouvement s'inscrit dans la compétition intense que se livrent les grands groupes technologiques chinois et américains sur la synthèse vocale de qualité professionnelle, un marché en forte croissance porté par les assistants vocaux, le doublage automatisé et les agents conversationnels.

Miso Labs publie MisoTTS : un modèle de synthèse vocale expressif de 8 milliards de paramètres en open weights

Miso Labs a publié le 3 juin 2026 MisoTTS, un modèle de synthèse vocale open-weights de 8 milliards de paramètres capable de générer une parole expressive à partir de texte et de contexte audio. Construit sur une architecture de type Llama 3.2, le modèle s'inspire du système CSM de Sesame et repose sur une technique de quantification vectorielle résiduelle (RVQ) pour représenter les sons. Contrairement aux transformeurs classiques qui travaillent avec un vocabulaire discret fixe, MisoTTS émet pour chaque token audio un vecteur de 32 indices issus de codebooks de 2048 entrées chacun, ce qui lui permet d'atteindre théoriquement environ 10^105 tokens adressables sans augmenter le nombre de paramètres. L'architecture se divise en deux composants : un backbone de 7,7 milliards de paramètres responsable de la prédiction temporelle, et un décodeur de 300 millions de paramètres qui raffine les indices de codebook restants. Miso Labs revendique une latence de 110 millisecondes, contre 300 ms pour Sesame et 700 ms pour ElevenLabs. Le modèle est publié sous une licence MIT modifiée. Ce lancement est notable pour deux raisons techniques distinctes. La première est la résolution du problème de vocabulaire : la parole humaine varie en hauteur, rythme, accentuation, émotion et accent, ce qui la rend difficile à capturer avec un vocabulaire de tokens classique sans gonfler massivement la taille du modèle. La RVQ contourne cette limite en empilant des raffinements successifs plutôt qu'en élargissant un seul vocabulaire plat. La seconde avancée concerne le conditionnement : la plupart des systèmes TTS existants ne prennent en entrée que du texte. MisoTTS conditionne aussi le modèle sur l'audio de l'interlocuteur, lui permettant de répondre au ton de la conversation plutôt que de produire une voix uniforme. Miso Labs soutient que c'est précisément cette absence de prise en compte du contexte émotionnel qui cause l'effet de vallée de l'étrange dans les TTS actuels. Le modèle s'inscrit dans une dynamique d'ouverture accélérée dans le secteur des modèles audio. Après Sesame, dont l'architecture CSM a directement inspiré MisoTTS, plusieurs laboratoires cherchent à rendre la synthèse vocale expressive accessible localement, en dehors des API propriétaires. Le déploiement local est d'ailleurs l'un des arguments commerciaux de Miso Labs, qui met en avant la confidentialité des données audio. Des limites demeurent : le modèle fonctionne uniquement en mode half-duplex, sans gestion du tour de parole, nécessite un GPU CUDA performant, et l'accès API annoncé n'est pas encore disponible. Les affirmations sur la latence et la qualité n'ont pas encore été vérifiées par des tiers indépendants, ce qui laisse ouvertes les questions sur les performances réelles en production.

MiniMax dévoile H3, un modèle vidéo omnimodal générant des clips de 15 secondes en 2K avec audio stéréo natif

MiniMax a dévoilé le 31 juillet 2026 son nouveau modèle H3, un système de génération multimodale qui produit des vidéos en résolution 2K, d'une durée de 4 à 15 secondes (uniquement en valeurs entières), avec un son stéréo natif intégré directement dans la génération. Contrairement aux générations précédentes d'outils vidéo, souvent fragmentées entre modèles spécialisés distincts pour le texte-vers-vidéo, l'image-vers-vidéo, la génération à partir de première et dernière image, la référence de sujet ou de mouvement, et le montage vidéo, MiniMax H3 unifie l'ensemble dans un seul modèle capable de lire texte, images, vidéo et audio comme un contexte unique. Les relations de référence et d'édition s'expriment désormais en langage naturel, l'entreprise citant en exemple une consigne du type reprendre le mouvement de caméra d'une première vidéo, faire chanter un personnage issu d'une image, et synchroniser les paroles sur un extrait audio fourni séparément. Le modèle est déjà accessible via l'API sous l'identifiant MiniMax-H3 et dans l'application grand public Hailuo AI, mais reste indisponible pour un déploiement local sur du matériel propre. Cette unification change concrètement la donne pour la publicité, l'e-commerce, le design produit, les interfaces UI/UX, le jeu vidéo et la pré-visualisation cinématographique, en permettant de produire depuis un seul outil des variantes publicitaires, des vidéos de fiches produits, des séquences de titre, des animations de site web ou des cinématiques de jeu à personnages cohérents. Sur le plan tarifaire, MiniMax affirme que le prix à la seconde en 2K représente moins d'un tiers de celui des modèles concurrents, et moins de la moitié en 768p face aux offres 720p classiques ; des estimations relayées par des observateurs tiers évoquent un tarif de 0,13 dollar par seconde en 2K, soit environ 1,95 dollar pour un clip de 15 secondes, un chiffre que MiniMax n'a pas encore confirmé sur sa propre page de tarification, laquelle n'affiche pour l'instant que les paliers de son modèle précédent Hailuo 2.3. Techniquement, quatre innovations soutiennent cette avancée. Le système de description contextuelle compresse environ 100 000 tokens d'inférence en seulement 4 000 tokens en moyenne, en décrivant la relation entre le contexte source et la vidéo cible plutôt que la seule cible. Un nouvel encodeur, baptisé H3-VAE, offre un gain de compression multiplié par quatre en longueur de séquence effective, réduisant les coûts d'entraînement et d'inférence tout en rendant possible la résolution 2K. L'architecture de transformeur H3-Omni, développée en rupture avec celle du précédent modèle Hailuo-02, sépare les traitements de compréhension et de génération pour mieux exploiter le matériel, avec un gain de débit d'entraînement annoncé de près de 30 %. Enfin, une régénération en contexte permet au modèle de reconstruire lui-même sa sortie basse résolution en relisant le contexte multimodal d'origine, ce qui améliore le rendu du texte fin et des détails, un atout pour les usages liés aux marques et aux produits. Selon Artificial Analysis, cité par le South China Morning Post, H3 se positionnerait déjà en tête des classements de qualité vidéo générative.

💬 Bon, sur le papier ça sent le coup marketing habituel, mais le détail technique tient la route : compresser 100 000 tokens de contexte en 4 000 tout en gardant la cohérence entre plans, c'est ce qui manquait pour sortir de la génération vidéo "un prompt, un clip isolé". Le vrai signal, c'est le prix : à moins de 2 dollars le clip de 15 secondes en 2K, MiniMax rend la vidéo générative jetable comme un asset publicitaire, plus comme une prouesse technique qu'on montre une fois. Reste à voir si ça tient en prod hors des démos triées sur le volet, mais si les chiffres se confirment, le coût cesse d'être l'obstacle pour la pub et l'e-commerce.

Miso Labs lance Miso One : la nouvelle référence open source de la synthèse vocale ?

Miso Labs a lancé le 3 juin 2026 Miso One, un modèle de synthèse vocale open source de 8 milliards de paramètres conçu pour la génération vocale conversationnelle. Contrairement aux systèmes classiques de lecture de texte, Miso One vise à produire des échanges naturels dont le ton et le rythme s'adaptent au contexte. Sa caractéristique technique la plus frappante est sa latence annoncée de 110 millisecondes, soit moins que le temps de réaction humain moyen en conversation, estimé à 160 millisecondes. Le modèle propose également le clonage vocal à partir d'un extrait audio d'une dizaine de secondes, une fonctionnalité désormais courante dans le secteur mais rare dans les solutions ouvertes. Miso Labs a publié les poids du modèle dès son lancement, permettant aux développeurs de l'héberger eux-mêmes, de l'adapter ou de l'intégrer directement dans leurs applications. L'enjeu principal de ce lancement est de proposer une alternative crédible et souveraine aux API vocales propriétaires qui dominent le marché, comme celles d'ElevenLabs ou d'OpenAI. La possibilité d'héberger le modèle en local intéresse particulièrement les organisations traitant des données sensibles : secteur médical, financier ou administrations publiques, pour qui confier des données audio à des tiers représente un risque juridique et réglementaire réel. Sur le plan de l'expérience utilisateur, réduire la latence sous le seuil de perception humaine pourrait effacer l'une des dernières frictions qui trahissent encore les assistants vocaux, le silence artificiel entre question et réponse. Les premiers retours de testeurs publiés en ligne sont enthousiastes, certains affirmant avoir fait passer des voix générées pour des enregistrements humains auprès de proches. La synthèse vocale expressive est devenue un champ de bataille technologique majeur, tirée par l'essor des agents conversationnels et des interfaces vocales embarquées. Miso Labs s'inscrit dans un mouvement plus large de modèles open source qui cherchent à contester la domination des grandes plateformes américaines en rendant des capacités avancées accessibles sans abonnement ni dépendance à une API fermée. Cela dit, plusieurs zones d'ombre subsistent à ce stade : l'entreprise n'a pas publié la méthodologie précise derrière sa mesure de latence à 110 millisecondes, ni les conditions matérielles dans lesquelles ce chiffre a été obtenu. Aucune évaluation indépendante n'est encore venue valider les performances revendiquées en matière d'expressivité. Comme souvent dans l'industrie de l'IA, les annonces précèdent les benchmarks tiers, et Miso One devra passer l'épreuve des tests communautaires pour confirmer ses promesses.

💬 110 ms de latence sur un modèle open source auto-hébergeable, c'est le genre d'annonce qui mérite qu'on s'arrête deux secondes. Ce qui m'intéresse vraiment ici, c'est moins la perf brute que la possibilité de cloner une voix en local sans envoyer la moindre donnée audio à ElevenLabs ou OpenAI, ce qui débloque enfin la synthèse vocale pour le médical, le financier, les administrations, tout ce monde qui voulait se lancer mais bloquait sur le RGPD. Reste que le 110 ms sent le benchmark maison, et on attend les tests communautaires pour vraiment y croire.