Aller au contenu principal
NVIDIA publie Nemotron 3.5 ASR : un modèle de transcription temps réel en 40 langues, optimisé pour le streaming
OutilsMarkTechPost · 2 min de lecture

NVIDIA publie Nemotron 3.5 ASR : un modèle de transcription temps réel en 40 langues, optimisé pour le streaming

Source originale ↗·

NVIDIA a lancé Nemotron 3.5 ASR, un modèle de reconnaissance vocale automatique en streaming capable de transcrire 40 variantes linguistiques en temps réel depuis un seul checkpoint de 600 millions de paramètres. Publié en open weights sur Hugging Face sous licence OpenMDW-1.1, le modèle repose sur une architecture Cache-Aware FastConformer-RNNT qui intègre nativement la ponctuation et les majuscules, sans étape de post-traitement supplémentaire. Il couvre des langues aussi variées que l'anglais, le français, l'espagnol, l'arabe, le japonais, le coréen, le mandarin, le hindi ou le thaï, avec un mode de détection automatique de la langue (targetlang=auto) permettant de traiter des flux audio multilingues sans composant externe. La latence est configurable à l'inférence via un paramètre unique (attcontext_size), offrant des modes allant de 80 ms ultra-basse latence jusqu'à 1,12 seconde pour une précision maximale, sans nécessiter de réentraînement.

Ce modèle s'attaque directement à l'un des principaux obstacles au déploiement industriel de la transcription vocale en temps réel : la complexité opérationnelle. Jusqu'ici, couvrir plusieurs langues imposait de maintenir autant de modèles distincts, de gérer des pipelines de détection de langue séparés, et de choisir entre latence et précision via des checkpoints différents. Nemotron 3.5 ASR supprime ces trois frictions en un seul déploiement. Pour les équipes produit qui développent des outils de sous-titrage en direct, des assistants vocaux multilingues ou des plateformes de transcription à grande échelle, cela représente une réduction significative de l'infrastructure et du coût d'exploitation. Le fait qu'il soit disponible gratuitement en self-hosting change également la donne face aux services cloud payants comme Nova-3 de Deepgram (~0,0077 $/min) ou Scribe v2 Realtime d'ElevenLabs (~0,28 $/heure).

NVIDIA opère depuis plusieurs années une montée en puissance dans le domaine des modèles de traitement du langage parlé, notamment via sa division Nemotron Speech. Ce lancement s'inscrit dans une compétition intense entre acteurs open source et solutions propriétaires : Whisper large-v3 d'OpenAI reste la référence en transcription batch (99 langues, MIT), mais n'est pas natif au streaming ; AssemblyAI (Universal-3 Pro) et Speechmatics se positionnent sur le streaming temps réel, mais avec des couvertures linguistiques plus étroites ou des API fermées. NVIDIA entre dans ce segment avec un modèle à la fois performant, polyglotte et librement hébergeable, ce qui pourrait accélérer son adoption dans les environnements souverains ou à contraintes de confidentialité forte. La prochaine étape probable sera l'intégration dans les pipelines NIM (NVIDIA Inference Microservices) pour simplifier encore le déploiement en production.

Impact France/UE

Le modèle couvre explicitement le français parmi ses 40 variantes linguistiques, et son mode self-hosting gratuit facilite le déploiement dans des environnements européens soumis aux exigences de souveraineté des données, réduisant la dépendance aux API cloud américaines payantes.

💬 L'analyse de Mathieu

Un seul checkpoint pour 40 langues en streaming, ponctuation et majuscules intégrées nativement : c'est le genre de truc qu'on attendait depuis 2 ans. Couvrir plusieurs langues en temps réel imposait jusqu'ici de gérer autant de modèles distincts plus un détecteur de langue en amont, bref une usine à gaz. Et là, en self-hosting gratuit face à Deepgram à 0,0077 $ la minute, les équipes qui hésitaient vont vite trancher.

Cet article vous a été utile ?

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

Cohere lance Transcribe Arabic, un modèle open source pour les défis complexes de transcription en arabe
1The Decoder 

Cohere lance Transcribe Arabic, un modèle open source pour les défis complexes de transcription en arabe

Cohere a dévoilé Transcribe Arabic, un nouveau modèle de reconnaissance vocale open source spécialement conçu pour l'arabe. Disponible sur Hugging Face sous licence Apache 2.0, ce modèle compte 2 milliards de paramètres et se positionne comme une alternative plus performante que Whisper d'OpenAI et OmniASR sur les cas d'usage les plus délicats de la langue arabe : la diversité des dialectes régionaux, le code-switching (le passage fluide d'une langue à l'autre au sein d'une même phrase) et la transcription de discours bilingues mêlant arabe et anglais, une pratique courante dans de nombreux pays du Golfe et du Maghreb. Cette sortie répond à un problème concret et longtemps négligé par les grands modèles vocaux généralistes : l'arabe parlé varie énormément d'une région à l'autre, au point que des dialectes comme l'égyptien, le levantin ou le golfique peuvent être quasiment incompréhensibles entre eux, tout en s'écartant fortement de l'arabe standard moderne utilisé à l'écrit. Les outils de transcription entraînés principalement sur des données anglophones ou sur de l'arabe standard échouent souvent face à cette réalité linguistique, ce qui limite leur utilité pour les entreprises, médias ou services publics de la région. En choisissant l'open source et la licence Apache 2.0, Cohere permet à des développeurs et chercheurs du monde entier d'adapter librement le modèle à leurs propres besoins, sans contrainte commerciale. Cette démarche s'inscrit dans une compétition plus large entre acteurs de l'IA pour combler les lacunes linguistiques des modèles vocaux, un terrain où l'arabe, parlé par plus de 400 millions de personnes, reste historiquement sous-représenté malgré son poids démographique et économique.

UEImpact indirect : ce modele pourrait interesser les entreprises, medias et services publics francais en lien avec les importantes communautes arabophones du Maghreb, mais aucune entreprise ou institution europeenne n'est directement impliquee.

💬 Enfin un modèle qui prend le dialecte au sérieux plutôt que de plaquer de l'arabe standard sur tout le monde. Ça paraît anecdotique, mais c'est justement là que les gros modèles généralistes se plantent depuis des années : ils testent bien sur les benchmarks propres et s'écroulent dès qu'un Marocain switche à l'anglais au milieu d'une phrase. Sur 400 millions de locuteurs, il aura fallu un acteur de niche pour combler ce que les mastodontes du secteur ont ignoré.

OutilsActu
1 source
Amazon Polly introduit le streaming bidirectionnel pour la synthèse vocale en temps réel
2AWS ML Blog 

Amazon Polly introduit le streaming bidirectionnel pour la synthèse vocale en temps réel

Amazon vient d'annoncer une nouvelle API de streaming bidirectionnel pour son service de synthèse vocale Amazon Polly, baptisée StartSpeechSynthesisStream. Contrairement aux approches traditionnelles, cette API permet d'envoyer du texte et de recevoir de l'audio simultanément, en flux continu sur une connexion HTTP/2 unique. Les tests de performance réalisés par Amazon portaient sur 7 045 caractères (970 mots) avec la voix Matthew et le moteur Generative en MP3 24 kHz, en simulant une génération de tokens à environ 30 ms par mot — soit les conditions réelles d'un grand modèle de langage en production. L'API accepte des fragments de texte au fil de l'eau via des TextEvent, retourne des chunks audio via des AudioEvent, et confirme la fin du flux avec un StreamClosedEvent. Pour les applications d'IA conversationnelle, cette avancée supprime un goulot d'étranglement fondamental. Jusqu'ici, il fallait attendre que le LLM ait terminé de générer l'intégralité de sa réponse, puis envoyer ce texte complet au service TTS, puis attendre l'audio avant de lancer la lecture — trois étapes séquentielles qui s'ajoutaient les unes aux autres. Avec le streaming bidirectionnel, la synthèse vocale démarre dès les premiers tokens générés, ce qui réduit drastiquement la latence perçue par l'utilisateur final. Pour les assistants virtuels, les agents téléphoniques automatisés ou les interfaces vocales en temps réel, cela se traduit par des conversations nettement plus naturelles, sans les silences artificiels qui trahissent une architecture en pipeline. Le lancement s'inscrit dans une course plus large à la latence dans l'écosystème de l'IA générative vocale, où des acteurs comme ElevenLabs, OpenAI (avec son API audio temps réel) et Google se disputent le marché des applications conversationnelles. AWS avait déjà un avantage avec Polly grâce au streaming audio sortant, mais l'entrée simultanée était jusqu'ici absente. La nouvelle API élimine également la complexité côté serveur : les développeurs n'ont plus besoin d'implémenter leur propre logique de découpage de texte en phrases, ni de gérer plusieurs appels API parallèles et le réassemblage audio qui en découlait. Une seule connexion persistante remplace cette infrastructure maison. Les prochaines étapes logiques concerneront probablement l'extension à davantage de voix et de langues avec le moteur Generative, ainsi que l'intégration native dans les frameworks d'agents AWS comme Bedrock.

OutilsOutil
1 source
Gradium lance stt-translate et s2s-translate, des modèles de traduction vocale en temps réel plus précis et plus rapides que gpt-realtime-translate
3MarkTechPost 

Gradium lance stt-translate et s2s-translate, des modèles de traduction vocale en temps réel plus précis et plus rapides que gpt-realtime-translate

Gradium a lancé ce jeudi deux modèles de traduction vocale en temps réel, baptisés stt-translate et s2s-translate, qui s'attaquent directement aux offres de Google et d'OpenAI sur ce marché en pleine expansion. Les deux modèles couvrent cinq langues, anglais, français, allemand, espagnol et portugais, soit vingt paires de traduction dans toutes les directions. stt-translate convertit la parole d'une langue en texte dans une autre en un seul passage, sans transcription intermédiaire, en s'appuyant sur le cadre Hibiki-Zero et un entraînement par apprentissage par renforcement optimisant simultanément la précision et la latence. s2s-translate va plus loin en produisant directement de l'audio traduit depuis de l'audio source, en enchaînant stt-translate avec un modèle TTS de Gradium au sein d'un service unique accessible via WebSocket duplex. La latence moyenne annoncée est de 3,0 secondes, et les flux audio sont gérés en PCM 24 kHz en entrée et 48 kHz en sortie, avec support WAV, Opus, mu-law et A-law. Sur le plan des performances, Gradium affirme surpasser gpt-realtime-translate d'OpenAI sur le score BLEU, la métrique historique de traduction automatique mesurant la fidélité lexicale, tout en étant comparable sur MetricX, le système d'évaluation neuronal de Google qui juge la qualité sémantique selon des critères proches du jugement humain. Face à gemini-3.5-live-translate de Google, Gradium l'emporte sur les deux métriques. La latence de 3,0 secondes se situe devant OpenAI (3,6 s) mais légèrement derrière Gemini (2,9 s), un écart marginal. La différenciation la plus concrète réside dans la flexibilité vocale : Gradium permet de choisir une voix dans un catalogue ou de cloner sa propre voix pour la sortie audio, une fonctionnalité absente chez gpt-realtime-translate et non précisée chez Gemini. Ces modèles s'inscrivent dans une course accélérée à la traduction vocale temps réel, portée par des cas d'usage comme les réunions internationales, le service client multilingue et l'accessibilité. L'approche de Gradium, fusionner transcription et traduction en un seul modèle plutôt qu'enchaîner trois systèmes distincts, réduit la complexité d'intégration et les points de latence. C'est précisément le type d'architecture que les développeurs cherchent pour éviter de gérer plusieurs API et connexions en parallèle. En proposant ces modèles via une interface WebSocket unique avec streaming des résultats, Gradium vise les équipes produit qui construisent des expériences vocales multilingues sans vouloir assembler elles-mêmes une pipeline STT-MT-TTS. Le lancement positionne la startup face à deux des acteurs les plus capitalisés du secteur, avec des résultats de benchmarks qui, s'ils se confirment en production, pourraient en faire un concurrent sérieux sur ce segment.

UELes développeurs européens construisant des applications vocales multilingues peuvent intégrer directement ces modèles via WebSocket, le français et l'allemand étant inclus parmi les cinq langues supportées dès le lancement.

OutilsOpinion
1 source
Cohere lance un modèle ASR open-weight avec 5,4 % d'erreur — suffisant pour remplacer les API vocales en production
4VentureBeat AI 

Cohere lance un modèle ASR open-weight avec 5,4 % d'erreur — suffisant pour remplacer les API vocales en production

Cohere a lancé Transcribe, un modèle de reconnaissance vocale automatique (ASR) en open-weight, disponible depuis mars 2026 via API ou dans son Model Vault sous l'identifiant cohere-transcribe-03-2026. Avec 2 milliards de paramètres et une licence Apache-2.0 autorisant un usage commercial immédiat, le modèle affiche un taux d'erreur moyen sur les mots (WER) de 5,42 % — le meilleur score actuellement sur le classement ASR de Hugging Face. Il devance Whisper Large v3 d'OpenAI (7,44 %), ElevenLabs Scribe v2 (5,83 %) et Qwen3-ASR-1.7B (5,76 %). Transcribe prend en charge 14 langues : anglais, français, allemand, italien, espagnol, grec, néerlandais, polonais, portugais, chinois, japonais, coréen, vietnamien et arabe. Sur des benchmarks spécialisés, il obtient 8,15 % sur AMI (compréhension de réunions) et 5,87 % sur VoxPopuli (diversité d'accents). Ce lancement change concrètement la donne pour les entreprises qui construisent des workflows voix, des pipelines de transcription ou des systèmes de recherche audio. Jusqu'ici, elles devaient choisir entre des API fermées — précises mais problématiques pour la souveraineté des données — ou des modèles open source moins performants. Transcribe rompt ce compromis : il tourne sur l'infrastructure GPU locale d'une organisation, éliminant les risques de résidence des données et les pénalités de latence liées aux API externes. Pour les équipes qui construisent des pipelines RAG ou des agents IA intégrant de l'audio, c'est une voie directe vers la transcription de qualité production sans dépendance à un fournisseur cloud. Cohere se positionne depuis plusieurs années comme l'alternative "enterprise-first" aux grands modèles grand public, en misant sur le déploiement privé et la conformité réglementaire. Transcribe s'inscrit dans cette stratégie : là où Whisper avait été publié comme modèle de recherche sous licence MIT sans priorité commerciale immédiate, Cohere livre d'emblée un modèle prêt pour la production. La société précise avoir optimisé simultanément la précision (WER bas) et le débit (RTFx élevé), ce qui est techniquement difficile dans la catégorie des modèles de plus d'un milliard de paramètres. Les premiers utilisateurs ont salué notamment la capacité à rapatrier en interne des flux audio qui transitaient jusqu'alors par des API tierces — un enjeu croissant dans les secteurs soumis au RGPD ou aux réglementations sectorielles strictes comme la finance et la santé.

UELe modèle supporte le français et permet un déploiement on-premise éliminant les risques de résidence des données, un avantage direct pour les entreprises européennes soumises au RGPD dans les secteurs finance et santé.

OutilsOpinion
1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription en un clic