Une meilleure synthèse vocale pour les livres audio
Les systèmes de synthèse vocale impressionnent par leur naturel dans les assistants virtuels et les chatbots, où les échanges durent quelques secondes, mais ils déçoivent sur les contenus longs. Appliqués aux livres audio, les modèles classiques ne parviennent pas à changer de style de voix d'un personnage à l'autre comme le ferait un narrateur humain, ce qui empêche l'auditeur de distinguer la narration du dialogue et d'identifier qui parle. L'équipe technologique d'Audible mise donc sur une synthèse vocale contrôlable, pilotée par des descriptions en langage naturel (par exemple « parle d'une voix enthousiaste et aiguë »), qui exploite la compréhension fine du texte des grands modèles de langage. Son approche repose sur trois innovations. D'abord, un pipeline de synthèse de données produit des enregistrements accompagnés de descriptions de haute qualité des caractéristiques vocales, ce qui permet au modèle de comprendre ces consignes et de générer un audio cohérent. Ensuite, un système profile automatiquement les personnages d'un livre, identifie leurs répliques avec 97 % de précision et rédige pour chacune une légende qui fait office de didascalie. Enfin, ces deux briques servent à produire des livres audio aux voix de personnages distinctes, avec un gain de 3,7 points sur un test MUSHRA (échelle de 0 à 100) pour la différenciation des dialogues. En anglais comme en espagnol, l'amélioration de l'expérience d'écoute est statistiquement significative pour huit voix sur dix.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de Amazon Science. Lire l'article original →
L'enjeu est de taille, car les défauts subtils de la voix synthétique, comme une prosodie peu naturelle ou un ton monotone, sont tolérables sur quelques secondes mais deviennent vite pénibles : un auditeur de livre audio reste en compagnie de la même voix pendant 10 à 15 heures. Les modèles généralistes, conçus pour traiter des énoncés isolés avec un contexte minimal, conviennent à une question comme « quel temps fait-il aujourd'hui ? », mais pas à un roman où la cohérence narrative dépend de l'histoire environnante. Lire une réplique exige de savoir si le locuteur est le héros face à son adversaire ou un personnage secondaire en pleine conversation anodine, une information parfois présente seulement dans des chapitres antérieurs. Ces modèles peinent aussi à maintenir un personnage cohérent sur tout un ouvrage et peuvent le faire parler très différemment au chapitre 1 et au chapitre 10. Une narration synthétique plus fidèle aux personnages rend donc l'écoute plus agréable et ouvre la voie à une production de livres audio à plus grande échelle.
Ces résultats s'inscrivent dans un contexte où les données d'entraînement constituent le principal goulet d'étranglement. Un modèle contrôlable a besoin non seulement de paires texte-parole, mais aussi d'annotations décrivant la manière dont la parole sonne, et d'enregistrements très expressifs couvrant la hauteur, le débit, les émotions, les styles et les voix de personnages. Or la plupart des corpus existants sont neutres, et ceux qui décrivent la prosodie utilisent chacun leur propre format, longs, courts ou réduits à de simples étiquettes, ce qui limite la souplesse des consignes et favorise le surapprentissage. Pour y remédier, les chercheurs ont enrichi leurs jeux de données par de nouveaux enregistrements et par la description humaine d'audios existants, puis ont recours à des modèles de langage pour reformuler ces descriptions et mieux généraliser.
Pas d'impact direct sur la France/UE