Stability AI lance Stable Audio 3 : une famille de modèles de diffusion latente rapides pour la génération et l'édition audio

Stability AI a publié cette semaine les poids ouverts de Stable Audio 3, une famille de modèles de diffusion latente dédiés à la génération et à l'édition audio. La gamme comprend quatre variantes : deux modèles "small" de 459 millions de paramètres (l'un spécialisé musique, l'autre effets sonores), un modèle "medium" de 1,4 milliard de paramètres capable de générer jusqu'à 6 minutes 20 secondes de musique et d'effets sonores, et un modèle "large" de 2,7 milliards de paramètres réservé à une licence entreprise. Les poids des variantes small et medium sont disponibles gratuitement sur Hugging Face. Tous les modèles produisent de l'audio stéréo en 44,1 kHz, prennent en charge des sorties de longueur variable, l'édition par inpainting, et une inférence rapide.

L'architecture repose sur deux composants distincts. Le premier est SAME (Semantically-Aligned Music autoEncoder), un encodeur qui compresse l'audio en une représentation latente avec un ratio de downsampling de 4096x, nettement supérieur aux ratios habituels de 1024x à 2048x dans les systèmes concurrents. Cette compression élevée réduit suffisamment les séquences latentes pour que la génération de longue durée tourne sur du matériel grand public. Le second composant est un transformeur de diffusion qui opère sur ces latents, conditionné par le texte via un encodeur T5Gemma gelé, par la durée encodée en features de Fourier, et par des masques d'inpainting pour l'édition. Les modèles medium et large utilisent une "differential attention", une technique calculant deux cartes d'attention parallèles pour améliorer la précision du conditionnement.

Cette publication intervient dans un contexte de compétition intense sur la génération audio par IA, où des acteurs comme Suno, Udio ou ElevenLabs ont imposé des standards élevés en termes de qualité et de facilité d'usage, mais avec des modèles entièrement fermés. En rendant ses poids accessibles, Stability AI maintient une posture d'ouverture qui lui a valu une réputation dans la communauté des chercheurs, malgré les turbulences financières et organisationnelles que l'entreprise a traversées ces deux dernières années. L'accompagnement d'un article de recherche technique détaillé sur arXiv renforce cette crédibilité académique. La capacité à éditer de l'audio existant via inpainting, et non seulement à en générer, représente une avancée pratique pour les professionnels du son, de la post-production et des jeux vidéo. La disponibilité d'un modèle small optimisé pour l'inférence CPU ouvre également la voie à des intégrations locales sans GPU, ce qui élargit considérablement le cercle des utilisateurs potentiels.