Liquid AI lance LiquidCodec, un codec audio en streaming de 74 millions de paramètres
Liquid AI a publié LiquidCodec, le codec audio qui sous-tend ses modèles LFM3-Audio-2B et LFM3-Omni-2B, avec des poids disponibles sur Hugging Face. Ce tokeniseur de parole en flux continu compte environ 74 millions de paramètres (73,6 millions selon la fiche du modèle). Il convertit de l'audio 24 kHz en 12 flux de jetons discrets, soit 12 jetons par trame de 80 ms (12,5 Hz), qu'un modèle de langage peut prédire avant de les retransformer en son. Il remplace le Mimi de Kyutai, qui équipait LFM2-Audio-1.5B et pèse 96,2 millions de paramètres. L'encodeur et le décodeur, symétriques, reposent sur des blocs de l'architecture LFM3, l'encodeur étant entièrement causal. La quantification repose sur une méthode de quantification scalaire finie groupée (GFSQ), et le décodeur prédit directement des coefficients spectraux. L'entraînement s'est déroulé en deux étapes : 264 000 heures de parole dans 107 langues sans pertes adverses, puis 55 000 heures de parole pleine bande avec critiques adverses, afin d'éliminer les artefacts métalliques. Une dernière phase d'entraînement sensible à la quantification, limitée au décodeur, vise l'inférence embarquée.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de MarkTechPost. Lire l'article original →
Les performances annoncées, mesurées par Liquid AI, sont notables. Sur un seul thread CPU d'un MacBook Pro Apple M4 Max en FP32, le codec encode à environ 361 fois le temps réel (facteur temps réel de 0,0028, contre 0,0361 pour Mimi, 0,2145 pour NanoCodec de NVIDIA et 0,7359 pour X-Codec 2) et décode à environ 87 fois le temps réel (0,0115 contre 0,0329, 0,2543 et 0,0379). Cela représente un encodage environ 13 fois plus rapide et un décodage 2,9 fois plus rapide que Mimi. Sur huit jeux de test (LibriSpeech test-clean, Seed-TTS en anglais et mandarin, et cinq langues FLEURS), LiquidCodec obtient le meilleur ViSQOL et la plus faible distance mel partout ; sur LibriSpeech, son ViSQOL atteint 4,319 contre 4,219 pour NanoCodec, 4,119 pour X-Codec 2 et 4,031 pour Mimi. En synthèse vocale, des modèles identiques entraînés sur 101 000 heures dans six langues avec les jetons de chaque codec donnent à LiquidCodec le meilleur UTMOSv2 sur les huit jeux et le meilleur taux d'erreur sur quatre, avec 3,15 % de WER sur LibriSpeech contre 6,27 % pour Mimi, y compris avec un modèle Qwen3-1.7B. NanoCodec garde l'avantage en PESQ large bande sur sept jeux sur huit et en similarité de locuteur sur LibriSpeech (0,836 contre 0,785).
L'enjeu est pratique : un codec léger, rapide sur CPU et utilisable en flux continu abaisse le coût des assistants vocaux et des modèles omni-modaux, notamment sur ordinateur portable ou appareil embarqué. Des versions GGUF (Q40, Q4KM, Q80) pour llama.cpp existent, et le chargement via Transformers avec trustremotecode=True permet d'encoder, de décoder et de traiter l'audio par morceaux grâce à un cache de streaming natif. Il faut toutefois relativiser : les chiffres de vitesse et de qualité proviennent de Liquid AI, le débit n'est pas communiqué, la causalité du décodeur n'est pas précisée, et la licence est indiquée comme « other » sur Hugging Face, avec un renvoi vers la licence LFM, moins permissive que le CC-BY 4.0 de Mimi.
Ce lancement s'inscrit dans la course aux codecs audio neuronaux, où chaque acteur arbitre entre fidélité, rapidité et facilité de prédiction par un modèle de langage. Kyutai avec Mimi, NVIDIA avec NanoCodec et HKUST Audio avec X-Codec 2 (0,8 milliard de paramètres, licence CC-BY-NC 4.0) proposent des approches différentes. Le choix de Liquid AI de privilégier une quantification en groupes indépendants, plutôt que la quantification vectorielle résiduelle où chaque niveau corrige le précédent, permet de prédire les 12 codebooks en parallèle avec des transformeurs de type MaskGIT. En supprimant aussi les couches de suréchantillonnage par convolutions transposées, coûteuses dans les décodeurs de forme d'onde, l'entreprise cherche à rendre la voix en temps réel viable hors du centre de données. La suite dépendra de la validation indépendante des résultats et de l'adoption par les développeurs.
Le codec s'appuie sur Mimi du français Kyutai comme référence et, avec ses poids ouverts, peut servir aux développeurs européens d'assistants vocaux embarqués, sous licence LFM restrictive.