Propriétés de mise à l'échelle des modèles de langage parlé à diffusion continue
Les chercheurs à l'origine de cette étude s'attaquent à un problème connu des modèles de langage parlé (SLM) : les versions qui traitent uniquement l'audio restent nettement moins performantes que les modèles combinant texte et parole, ou que les modèles de texte seuls. Les SLM autorégressifs (AR) discrets, l'approche dominante jusqu'ici, nécessitent des ressources de calcul et des volumes de données considérables pour espérer rivaliser avec les modèles textuels. L'équipe propose une alternative fondée sur la diffusion continue (CD), qui évite l'étape de discrétisation de la parole jugée responsable d'un goulot d'étranglement dans les architectures AR. Pour évaluer objectivement la qualité linguistique produite par ces modèles, elle introduit une nouvelle métrique, la divergence de Jensen-Shannon phonémique (pJSD).
Résumé et traduction réalisés par Le Fil IA à partir de Apple Machine Learning. Lire l'article original →
Cette contribution est importante car elle ouvre une voie alternative pour construire des assistants vocaux et des systèmes de synthèse ou de compréhension de la parole plus efficaces, sans dépendre des coûts prohibitifs associés aux modèles autorégressifs discrets. Si les modèles à diffusion continue permettent d'atteindre une qualité comparable avec moins de ressources, cela pourrait accélérer le développement de SLM plus économes en données et en puissance de calcul, un enjeu central pour les entreprises qui cherchent à déployer des interfaces vocales à grande échelle.
Le contexte plus large est celui d'une course à la modélisation du langage parlé, où le texte reste en avance sur l'audio en termes de performance et d'efficacité d'entraînement. Les modèles autorégressifs, hérités des grands modèles de langage textuels, imposent une conversion de la parole en unités discrètes qui limite leur capacité à capter les nuances du signal audio. En montrant que les modèles à diffusion continue suivent des lois d'échelle similaires à celles des modèles AR pour la perte de validation et la métrique pJSD, avec un ratio optimal entre nombre de tokens et de paramètres, cette étude fournit des repères concrets pour orienter les futurs travaux sur l'entraînement et le dimensionnement des SLM.
Pas d'impact direct sur la France/UE