NVIDIA lance Nemotron 3 Diarization, un modèle open-weight de 100M de paramètres qui suit 8 locuteurs en temps réel
NVIDIA a publié Nemotron 3 Diarization, un modèle open-weight de diarisation vocale disponible sur Hugging Face, qui répond à une question précise : qui parle, et quand. Doté de 100 millions de paramètres, il suit jusqu'à 8 locuteurs simultanément, même lorsque les voix se chevauchent, un seul et même point de contrôle gérant à la fois les enregistrements hors-ligne et le streaming en temps réel. Les poids sont diffusés sous licence OpenMDW 1.1, qui autorise un usage commercial, et le modèle tourne sous Linux via NVIDIA NeMo sur GPU Ampere, Ada Lovelace, Hopper ou Blackwell. Il double la capacité de l'ancien modèle Streaming Sortformer (diarstreamingsortformer_4spk-v2.1), limité à 4 locuteurs. L'architecture s'appuie sur un encodeur Transformer à 31 couches avec embeddings positionnels rotatifs, traitant l'audio à 16 kHz converti en spectrogrammes Mel. Sur le benchmark Diarization-Bench de Voice Arena, portant sur 139 conversations en anglais totalisant environ 22 heures, le modèle s'est classé premier parmi 12 systèmes et 17 configurations, avec un taux d'erreur de diarisation (DER) de 14,72 % contre 19,3 % pour le second, soit une réduction relative d'environ 24 %. Cette avancée compte parce que la reconnaissance vocale automatique transcrit des mots, mais sans attribution de locuteur elle est inutilisable pour résumer une réunion, identifier qui a pris un engagement ou qui a soulevé une objection. La diarisation comble ce vide en associant des intervalles temporels à chaque intervenant, ce qui permet de produire des transcriptions attribuées combinant reconnaissance vocale et identification des voix. Cette brique technique est centrale pour les outils de réunion, l'analyse d'appels commerciaux, les pipelines de traitement de podcasts et la mémoire des agents vocaux. En doublant la capacité à 8 locuteurs et en maintenant des performances élevées sur de l'audio à plusieurs voix qui se chevauchent, NVIDIA cible directement les cas d'usage professionnels les plus exigeants, comme les réunions d'entreprise ou les centres d'appels, là où les modèles précédents montraient leurs limites. Le modèle propose quatre profils de latence, du mode hors-ligne (30,4 secondes de tampon, DER de 12,73 %, débit de 15 113x en temps réel) au mode ultra-basse latence (0,32 seconde, DER de 13,55 %, débit de 292x), mesurés en BF16 sur une carte NVIDIA RTX PRO 5000 avec torch.compile(). Comparé à la référence à 4 locuteurs, le DER a baissé sur les 8 conditions d'évaluation testées, avec une réduction moyenne de 41 %, allant de 9 % sur CALLHOME-Part2 à 65,2 % sur NOTSOFAR1 MHM, à l'exception d'une légère régression sur CALLHOME à deux locuteurs en configuration longue durée. Cette publication s'inscrit dans la course plus large des grands acteurs de l'IA à fournir des briques logicielles ouvertes et déployables commercialement pour la voix, où NVIDIA cherche à consolider sa position face à d'autres fournisseurs de modèles de traitement de la parole, alors que Voice Arena doit encore finaliser sa première évaluation officielle de référence pour confirmer ce classement.
