Zyphra publie ZONOS3-Mini, un modèle de synthèse vocale open source à 100 millions de paramètres actifs
Zyphra a publié ZONOS3-Mini, un modèle de synthèse vocale open source conçu pour fonctionner en temps réel sur des appareils locaux. Il s'agit d'un Mixture of Experts (MoE) parcimonieux de 800 millions de paramètres au total, dont environ 100 millions sont actifs par token (64 experts, routage top-2). Il gère le clonage de voix zero-shot et le contrôle de la diction mot par mot, avec un contexte de 32 768 positions et jusqu'à 10 minutes d'audio par génération. Les poids sont distribués sous licence Apache 2.0. Le modèle tourne sur GPU NVIDIA via SGLang-Omni, sur Apple Silicon via MLX, sur CPU, CUDA, Metal et Vulkan via ggml, et dans un navigateur grâce à WebGPU. Zyphra l'a entraîné en 2,5 jours sur 112 GPU H100. Sur un H100, le délai médian avant le premier audio est de 80 ms à 8 requêtes simultanées, avec un pic de 457 secondes d'audio produites par seconde. Dans le navigateur, ce délai reste sous 150 ms sur un MacBook Air M3 et sous 570 ms sur un Pixel 9.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de MarkTechPost. Lire l'article original →
Techniquement, Zyphra a modifié trois couches. Le nouveau codec ZAC-1 remplace le Descript Audio Codec : il fonctionne à 15 Hz avec 10 codebooks de 4 096 entrées (un sémantique, neuf acoustiques), et une tête iSTFT causale restitue chaque trame en 44,1 kHz dès sa génération. Zyphra annonce une réduction par dix du taux d'erreur de mots par rapport à un modèle entraîné avec le DAC dans des conditions de données comparables. Le cœur du modèle compte 11 couches de dimension 1 024, combinant neuf couches Gated DeltaNet et deux couches d'attention globale, avec MoE latent, équilibrage Q et résiduels d'attention. L'encodeur de locuteur MECT-B2 remplace celui de Qwen3-TTS et accepte soit un extrait de référence de 60 secondes maximum, soit un embedding de 192 dimensions. L'entraînement final a recouru à DPO puis GRPO pour gagner en robustesse.
L'intérêt pratique tient à la taille : un modèle de synthèse vocale de ce niveau, qui tient dans un onglet de navigateur, un portable ou sur un GPU serveur, ouvre la voie à des assistants vocaux, des jeux ou des outils d'accessibilité sans dépendre d'une API cloud, avec les gains de latence et de confidentialité que cela implique. Le contrôle fin de l'identité (âge, genre, accent, texture) passe par des vecteurs d'embedding et d'accent, tandis que le rythme, l'émotion, la projection et la vivacité reposent sur du pilotage d'activations, appliqué à des mots précis grâce à des têtes d'alignement apprises. Un modèle d'édition inspiré de VoiceCraft permet aussi de modifier des phrases après génération. Zyphra affirme que ZONOS3-Mini se classe premier parmi les modèles ouverts sur son indice ZTTS2-Eval, mais ces résultats sont auto-déclarés, et le clonage à partir d'un extrait audio obtient des scores nettement inférieurs à ceux du mode par embedding.
Ce lancement fait suite à ZONOS2, qui employait 8 milliards de paramètres et un codec à 86 Hz, une taille qui limitait son déploiement. ZONOS3-Mini réduit à la fois le nombre de paramètres et la cadence des trames, ce qui illustre la tendance du secteur à privilégier des architectures parcimonieuses et efficaces pour l'inférence embarquée. Le modèle évolue dans un domaine où les laboratoires ouverts et les offres commerciales de voix synthétique se disputent la qualité et la latence, tout en soulevant des questions sur les usages abusifs du clonage vocal. La validation indépendante des benchmarks, ainsi que l'adoption par la communauté via les différents moteurs d'inférence, diront si ZONOS3-Mini tient sa promesse d'une synthèse vocale de pointe à très faible coût de calcul.