Edge0 lance Audio8-TTS-Realistic, un modèle de synthèse vocale de 0,6 milliard de paramètres avec clonage de voix
Edge0 a publié Audio8-TTS-Realistic, un modèle de synthèse vocale à poids ouverts capable de cloner une voix en « zero-shot » à partir d'un seul extrait de référence et de sa transcription. Il compte 601 millions de paramètres pour le modèle principal (codec exclu) et gère jusqu'à 2 048 positions de texte et d'audio. Il couvre 23 langues, soit 12 de plus que son prédécesseur Audio8-TTS-Preview-0.6b. Les nouvelles langues sont l'arabe, le finnois, l'hindi, l'indonésien, le malais, le norvégien, le portugais, le russe, le suédois, le thaï, le turc et le vietnamien. Poids et code sont distribués sous licence Apache 2.0, avec un codec audio neuronal de 44,1 kHz, le tokenizer et le processeur. Le modèle peut aussi parler sans voix de référence. Sur le benchmark CV3, il affiche 4,86 % d'erreur moyenne sur 9 langues, contre 7,73 % pour Qwen3-TTS-1.7B. Il reste en retrait des modèles de classe 4 milliards de paramètres sur MiniMax, et ses pires résultats sont 48,57 % de WER en thaï sur CV3 et 31,35 % de CER en cantonais sur MiniMax.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de MarkTechPost. Lire l'article original →
L'intérêt pour les développeurs tient au rapport entre précision multilingue et coût. Un modèle de cette taille est peu cher à affiner et à servir, alors que les systèmes concurrents plus précis demandent bien plus de ressources. Un GPU CUDA est recommandé, et le modèle a été testé sur NVIDIA H20 en BF16. Le rapport technique mentionne aussi une empreinte mémoire de 1,1 à 1,2 GiB sur un CPU Apple M2 avec une version ONNX en INT4, même si aucun export ONNX de la version Realistic n'est public pour l'instant. La licence Apache 2.0 autorise l'usage commercial. Les faiblesses sur le thaï et le cantonais rappellent que la couverture de 23 langues ne garantit pas une qualité homogène.
Techniquement, le modèle reprend une architecture à double autorégression inspirée de Fish Audio S2 Pro. La branche lente repose sur Qwen2.5 0.5B (24 couches, largeur 896, environ 21,5 images par seconde) et prédit le texte et le premier codebook audio. Une branche rapide de 4 couches prédit ensuite les 9 autres codebooks en parallèle. L'équipe estime que le WER et la similarité de locuteur ignorent le rythme, les pauses et le timing, et qu'un modèle peut donc bien scorer tout en sonnant synthétique. L'entraînement comprend un affinage supervisé multilingue, un GRPO avec récompense combinée (0,7 pour le WER, 0,3 pour la similarité), puis un GRPO guidé par un critique de réalisme. Ce critique d'environ 3 millions de paramètres s'appuie sur un WavLM-large gelé. Il compare chaque sortie à un enregistrement humain de la même phrase, et a été entraîné sur une échelle de qualité issue de 6 systèmes TTS open source classés lors d'un test d'écoute à l'aveugle. Une perte d'effacement d'identité évite qu'il récompense les empreintes du générateur, et une pénalité de durée au-delà de 1,35 fois la référence empêche de tricher en ralentissant la parole. Cette dernière étape n'utilisait que des invites en chinois et en anglais, mais elle a quand même fait passer l'erreur sur les 13 langues moins dotées de 22,53 % à 20,77 %, et la similarité de 0,637 à 0,679.
Pas d'impact direct sur la France/UE