NVIDIA lance Nemotron 3.5 Transcribe : un modèle open source MoE de 30 milliards de paramètres (4 milliards actifs) pour la transcription en 40 langues
NVIDIA a publié Nemotron 3.5 Transcribe, un modèle de transcription vocale à poids ouverts capable de traiter 40 langues et des enregistrements allant jusqu'à une heure. Il s'agit d'un modèle de langage augmenté par la parole (SALM) : un encodeur audio transmet ses représentations à un décodeur de type LLM, ce qui rend la transcription pilotable par instruction textuelle. Une simple consigne suffit à choisir le style de sortie : verbatim, forme écrite, attribution des locuteurs, transcription contextuelle ou traduction. Le checkpoint compte environ 34 milliards de paramètres, dont 4,3 milliards actifs, avec un contexte de 65 536 tokens. Il tourne sur un seul GPU H100 de 80 Go en BF16, des versions FP8 (environ 35 Go) et NVFP4 (environ 21 Go, compatible avec une RTX 5090) étant disponibles, ainsi que des fichiers GGUF pour NeMo-Speech.cpp. Selon le rapport technique de NVIDIA, dont tous les chiffres sont auto-déclarés, le modèle obtient 4,71 % de WER moyen sur les neuf jeux publics de l'Open ASR Leaderboard anglais, contre 4,94 % pour le meilleur concurrent ouvert, Qwen3-ASR-1.7B. En multilingue (7 langues), il atteint 4,62 % contre 6,49 %. En audio long, le WER moyen est de 10,98 % contre 13,37 % pour Parakeet-TDT-0.6B-v3, et en sessions multi-locuteurs complètes le cpWER est de 15,80 % contre 16,83 % pour DiCoW v3.3 avec DiariZen. Fournir une liste d'entités fait chuter le WER sur les entités nommées de 12,21 % à 2,20 % sur ContextASR-Bench.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de MarkTechPost. Lire l'article original →
Également couvert par TechCrunch AI.
L'intérêt pratique tient à la consolidation : un seul modèle ouvert peut remplacer la chaîne habituelle composée d'un système de reconnaissance vocale, d'un outil de diarisation et d'un module d'alignement. NVIDIA affirme qu'il s'agit du premier SALM à battre les systèmes en cascade sur les sessions multi-locuteurs complètes. Pour les développeurs et les entreprises qui hébergent leurs propres pipelines, cela simplifie le déploiement et permet d'adapter la sortie aux besoins de chaque lecteur, puisque chiffres, mots de remplissage ou termes techniques n'ont pas la même valeur selon l'usage. Les limites restent nettes : le modèle fonctionne uniquement hors ligne, et sa précision est faible sur les réunions mandarin en champ lointain, avec 34,95 % de cpCER sur AliMeeting. Surtout, les meilleurs services commerciaux gardent l'avantage : sept systèmes devancent le modèle en anglais, en tête OtterAI speech-v3.1 à 3,88 %, et ElevenLabs Scribe v2 atteint 3,56 % en multilingue.
Sur le plan technique, l'architecture combine trois briques. Un encodeur ASR entraînable de 0,6 milliard de paramètres fonctionne en parallèle d'un modèle Nemotron 3 Diarization figé, qui suit jusqu'à 8 locuteurs et injecte son activité toutes les 80 ms. Le socle est Nemotron 3.5 Lightning 30B-A3B, un MoE hybride Mamba-Transformer de 52 couches (23 Mamba-2, 23 MoE, seulement 6 d'attention), chaque couche MoE sollicitant 6 experts sur 128 plus un expert partagé. Cette faible part d'attention limite le cache KV pour l'audio d'une heure. Une couche de prédiction multi-token accélère le décodage spéculatif et un adaptateur CTC de 50 millions de paramètres produit les horodatages au mot. L'entraînement a mobilisé 256 GPU H100 pendant 28 500 pas, suivis de 400 mises à jour GSPO avec une récompense égale à 1 moins le WER, sur environ 1,72 million d'heures d'audio uniques. Cette publication s'inscrit dans la stratégie de NVIDIA d'étendre sa famille Nemotron à l'audio, face à la montée des modèles ouverts comme ceux de Qwen.
Les entreprises et développeurs français et européens peuvent héberger eux-mêmes ce modèle ouvert couvrant 40 langues pour la transcription, ce qui facilite la maîtrise des données.