Fish Audio lance Drama 3, un modèle de synthèse vocale open-weight de 35 milliards de paramètres (MoE)
Fish Audio a publié cette semaine Drama 3, un modèle de synthèse vocale qui accepte des indications de jeu en langage naturel. Il s'agit d'un modèle à mélange d'experts de 35 milliards de paramètres, dont environ 3 milliards sont actifs par token (8 experts sur 256, plus 1 expert partagé). Les poids sont disponibles sur Hugging Face et le modèle est accessible via l'API de Fish Audio. Les auteurs insèrent des consignes entre crochets, comme « [barely holding it together] », avant une réplique, ou des balises appariées telles que <whisper> pour ne modifier que certains mots. Ces directions peuvent être rédigées dans n'importe quelle langue, indépendamment de celle du texte lu. Le modèle couvre 83 langues et gère jusqu'à 16 personnages par requête grâce aux balises <|speaker:0|> à <|speaker:15|>, ce qui permet de produire une scène entière en un seul appel. Sur le benchmark Artificial Analysis Pronunciation Robustness, il obtient 93,2 % et se classe premier, contre 88,1 % pour S2.1 Pro. Son meilleur score atteint 95,9 % sur les marques, lieux et termes techniques, et le plus faible 86,3 % sur les séquences exactes (codes, chemins, e-mails). Au classement Elo de qualité d'Artificial Analysis, « Drama 3 Preview » affiche 1242, devant S2.1 Pro (1190) mais derrière Eleven v4 Turbo (1328).
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de MarkTechPost. Lire l'article original →
Pour les développeurs, Drama 3 offre une option autohébergeable pour le dialogue scénarisé, les livres audio et le doublage, avec une direction d'acteur que peu de modèles ouverts proposent. Les performances de diffusion en continu sont solides : sur un GPU H200, le délai médian avant le premier audio est de 88,9 ms, et le débit atteint 927,6 images par seconde avec 16 flux simultanés. Les contraintes sont toutefois réelles. Il faut au moins 48 Go de mémoire GPU NVIDIA en FP8, sans prise en charge du CPU, d'Apple MPS ni d'AMD ROCm, et les noyaux optimisés ne sont validés que sur les GPU Hopper. La licence est en outre plafonnée selon le chiffre d'affaires. Côté API, le tarif public est de 50 dollars pour un million de caractères, avec un tarif de lancement de 10 dollars valable jusqu'au 12 novembre. La documentation prévient qu'un en-tête de modèle absent ou mal orthographié renvoie silencieusement vers s2.1-pro.
Sur le plan technique, la base du modèle est Qwen3.5-35B-A3B, avec 40 couches alternant trois couches Gated DeltaNet et une couche d'attention complète à portes. Seule une couche sur quatre conserve un cache KV, les autres stockant l'historique dans un état de taille constante. Un nouveau décodeur Codebook-MTP remplace le décodeur Fast AR de S2, avec 4 couches partagées alimentant 9 couches, une par codebook acoustique. Seuls les codebooks 0 et 1 sont réinjectés dans le modèle principal, contre les 10 pour S2. Le tokenizer audio reste celui de S2, fondé sur le Descript Audio Codec, en 44,1 kHz et environ 21,5 images par seconde. L'entraînement a comporté trois étapes de préentraînement, un réglage par instructions, puis un apprentissage par renforcement GRPO sans pénalité KL, guidé par un unique modèle de récompense fondé sur les préférences humaines. Le benchmark de prononciation ne mesure pas la qualité émotionnelle, que Fish Audio décrit seulement qualitativement, et la longueur de contexte n'est pas divulguée.
Pas d'impact direct sur la France/UE