Gradium lance stt-translate et s2s-translate, des modèles de traduction vocale en temps réel plus précis et plus rapides que gpt-realtime-translate

OpenAI lance GPT-Realtime-2.1 et GPT-Realtime-2.1-mini pour des agents vocaux a faible latence dans l'API

OpenAI a annoncé le lancement de deux nouveaux modèles dans son API Realtime, baptisés gpt-realtime-2.1 et gpt-realtime-2.1-mini, conçus pour les agents vocaux à faible latence. La version mini constitue la nouveauté la plus notable : il s'agit d'un modèle de raisonnement miniature dédié à la voix en temps réel, capable de traiter des entrées audio et texte via une connexion live, et facturé au même tarif que l'ancien gpt-realtime-mini. OpenAI a par ailleurs réduit la latence p95, c'est-à-dire le temps de réponse au 95e percentile qui capture les cas les plus lents, d'au moins 25% sur l'ensemble des modèles vocaux Realtime, grâce à un système de mise en cache amélioré. Le modèle plus complet, gpt-realtime-2.1, apporte de son côté une meilleure reconnaissance alphanumérique, une gestion plus fine du silence et du bruit, ainsi qu'un traitement amélioré des interruptions, tout en conservant le support de la voix à voix avec un niveau de raisonnement configurable, le suivi d'instructions et l'appel de fonctions. Cette capacité de raisonnement change concrètement le comportement des agents vocaux. Jusqu'ici, un agent qui déclenchait un appel de fonction restait souvent silencieux le temps de l'exécution, ce qui poussait l'utilisateur à croire que la conversation avait été coupée et à interrompre l'échange. Avec le raisonnement, le modèle peut désormais annoncer son action, par exemple "je vérifie votre commande maintenant", avant de l'exécuter, ce qui maintient la cohérence des tâches vocales à plusieurs étapes. Ce niveau de raisonnement est ajustable sur cinq paliers (minimal, low, medium, high, xhigh), le niveau low étant recommandé par défaut pour limiter la latence dans la plupart des usages en production. La mise en cache profite aussi directement aux coûts : pour gpt-realtime-2.1-mini, l'audio en entrée mis en cache tombe à 0,30 dollar par million de tokens contre 10 dollars pour de l'audio non caché, un écart qui profite surtout aux sessions longues où l'invite système reste en cache après le premier tour. Cette évolution s'inscrit dans la logique de l'API Realtime d'OpenAI, qui traite et génère l'audio via un seul modèle plutôt que d'enchaîner des systèmes séparés de reconnaissance et de synthèse vocale, réduisant la latence tout en préservant les nuances de la parole. Sur le plan tarifaire, l'écart entre les deux modèles reste marqué : la sortie audio de gpt-realtime-2.1-mini coûte 20 dollars par million de tokens contre 64 dollars pour la version complète, soit un rapport de près de trois, laissant aux équipes de développement le choix d'arbitrer entre performance et coût selon leurs besoins, dans un marché des agents vocaux IA en pleine intensification.

L'équipe Qwen d'Alibaba lance Qwen3.5-LiveTranslate-Flash : interprétation multimodale en temps réel dans 60 langues avec une latence de 2,8 secondes

L'équipe Qwen d'Alibaba a lancé le 20 mai 2026 son nouveau modèle Qwen3.5-LiveTranslate-Flash, conçu pour l'interprétation simultanée en temps réel. Ce système prend en charge 60 langues en entrée, propose une sortie vocale dans 29 langues, et affiche une latence de seulement 2,8 secondes. Par rapport à son prédécesseur direct, Qwen3-LiveTranslate-Flash, le gain est considérable : l'ancien modèle ne couvrait que 18 langues d'entrée pour environ 3 secondes de délai, ce qui représente un triplement de la couverture linguistique et une réduction mesurable de la latence. La clé de cette rapidité réside dans une technique de segmentation sémantique : plutôt qu'attendre la fin d'une phrase complète, le modèle identifie le moment précis où un fragment de discours contient suffisamment de sens pour engager la traduction, et diffuse la sortie en continu pendant que l'interlocuteur parle encore. Ce modèle change la donne pour plusieurs secteurs professionnels. D'abord, parce qu'il intègre la vision comme signal d'entrée au même titre que l'audio : le système analyse simultanément le texte affiché à l'écran, les objets physiques présents dans le cadre, les mouvements des lèvres et les gestes. Dans un environnement réel, salle de conférence bruyante, salon professionnel, visioconférence dégradée, cette redondance visuelle permet au modèle de combler les ambiguïtés phonétiques que l'audio seul ne peut pas résoudre. Ensuite, le modèle clone en temps réel les caractéristiques vocales de l'orateur original : une seule phrase suffit pour que la voix traduite conserve les traits acoustiques de la personne qui parle, sans substituer une synthèse générique et robotique. Enfin, les développeurs peuvent injecter à l'exécution un glossaire de termes spécialisés, noms de médicaments, références juridiques, terminologie technique, ce qui réduit drastiquement les erreurs sur le vocabulaire de niche, un problème chronique des API de traduction grand public. Alibaba positionne ce modèle dans un segment où peu d'acteurs sont présents avec des solutions complètes : l'interprétation simultanée multimodale à faible latence. Les benchmarks FLEURS et CoVoST2, deux références académiques pour la traduction de la parole en conditions réelles, placent Qwen3.5-LiveTranslate-Flash devant les principales alternatives commerciales actuelles. La course à la latence est devenue le nouvel enjeu structurant de la traduction automatique en direct, après des années dominées par la seule qualité de traduction. D'autres acteurs comme Google, Microsoft et des startups spécialisées comme Wordly ou Interprefy opèrent sur ce terrain, mais peu proposent simultanément la clonage vocal, la fusion audio-vidéo et la personnalisation du vocabulaire dans un seul modèle déployable via API. Les suites probables incluent une intégration dans les plateformes de visioconférence professionnelle et les outils de streaming multilingue, où la demande d'expériences interprétées "invisibles" ne cesse de croître.

NVIDIA publie Nemotron 3.5 ASR : un modèle de transcription temps réel en 40 langues, optimisé pour le streaming

NVIDIA a lancé Nemotron 3.5 ASR, un modèle de reconnaissance vocale automatique en streaming capable de transcrire 40 variantes linguistiques en temps réel depuis un seul checkpoint de 600 millions de paramètres. Publié en open weights sur Hugging Face sous licence OpenMDW-1.1, le modèle repose sur une architecture Cache-Aware FastConformer-RNNT qui intègre nativement la ponctuation et les majuscules, sans étape de post-traitement supplémentaire. Il couvre des langues aussi variées que l'anglais, le français, l'espagnol, l'arabe, le japonais, le coréen, le mandarin, le hindi ou le thaï, avec un mode de détection automatique de la langue (targetlang=auto) permettant de traiter des flux audio multilingues sans composant externe. La latence est configurable à l'inférence via un paramètre unique (attcontext_size), offrant des modes allant de 80 ms ultra-basse latence jusqu'à 1,12 seconde pour une précision maximale, sans nécessiter de réentraînement. Ce modèle s'attaque directement à l'un des principaux obstacles au déploiement industriel de la transcription vocale en temps réel : la complexité opérationnelle. Jusqu'ici, couvrir plusieurs langues imposait de maintenir autant de modèles distincts, de gérer des pipelines de détection de langue séparés, et de choisir entre latence et précision via des checkpoints différents. Nemotron 3.5 ASR supprime ces trois frictions en un seul déploiement. Pour les équipes produit qui développent des outils de sous-titrage en direct, des assistants vocaux multilingues ou des plateformes de transcription à grande échelle, cela représente une réduction significative de l'infrastructure et du coût d'exploitation. Le fait qu'il soit disponible gratuitement en self-hosting change également la donne face aux services cloud payants comme Nova-3 de Deepgram (~0,0077 $/min) ou Scribe v2 Realtime d'ElevenLabs (~0,28 $/heure). NVIDIA opère depuis plusieurs années une montée en puissance dans le domaine des modèles de traitement du langage parlé, notamment via sa division Nemotron Speech. Ce lancement s'inscrit dans une compétition intense entre acteurs open source et solutions propriétaires : Whisper large-v3 d'OpenAI reste la référence en transcription batch (99 langues, MIT), mais n'est pas natif au streaming ; AssemblyAI (Universal-3 Pro) et Speechmatics se positionnent sur le streaming temps réel, mais avec des couvertures linguistiques plus étroites ou des API fermées. NVIDIA entre dans ce segment avec un modèle à la fois performant, polyglotte et librement hébergeable, ce qui pourrait accélérer son adoption dans les environnements souverains ou à contraintes de confidentialité forte. La prochaine étape probable sera l'intégration dans les pipelines NIM (NVIDIA Inference Microservices) pour simplifier encore le déploiement en production.

💬 Un seul checkpoint pour 40 langues en streaming, ponctuation et majuscules intégrées nativement : c'est le genre de truc qu'on attendait depuis 2 ans. Couvrir plusieurs langues en temps réel imposait jusqu'ici de gérer autant de modèles distincts plus un détecteur de langue en amont, bref une usine à gaz. Et là, en self-hosting gratuit face à Deepgram à 0,0077 $ la minute, les équipes qui hésitaient vont vite trancher.

Sakana AI lance Sakana Translate, un outil de traduction japonais-anglais-chinois propulsé par Namazu, avec modes traduction, relecture et question

Sakana AI, le laboratoire de recherche tokyoïte fondé en 2023 par David Ha et Llion Jones, a lancé Sakana Translate, une nouvelle fonctionnalité intégrée à son service de chat Sakana Chat. Cet outil gratuit assure la traduction bidirectionnelle entre le japonais, l'anglais et le chinois, et repose sur Namazu, la série de modèles adaptés au japonais par Sakana AI et annoncée pour la première fois le 24 mars 2026. Namazu n'est pas entraîné depuis zéro : il applique un post-entraînement à des modèles open-weight existants, dont DeepSeek-V3.1-Terminus, Llama 3.1 405B et gpt-oss-120B, une méthode moins coûteuse qu'un entraînement complet et permettant d'adapter finement ces modèles à la langue et à la culture japonaises. Sakana Translate se présente comme une application web unique regroupant trois modes accessibles avec un seul compte : Translate, qui convertit jusqu'à environ 5 000 caractères japonais avec un affichage progressif du texte et un historique sauvegardé automatiquement ; Proofread, qui corrige un brouillon en ajustant le ton, la politesse et le niveau de formalité, avec les changements signalés par surlignage façon diff ; et Ask, qui permet de poser des questions de suivi sur une traduction pour en comprendre les nuances grammaticales ou stylistiques. L'enjeu affiché par Sakana AI dépasse la simple conversion mot à mot : l'entreprise vise ce qu'elle appelle une "traduction profonde pour le Japon", capable de restituer le contexte, le ton et le registre social, des éléments souvent perdus par les outils de traduction généralistes. Les exemples cités incluent les formules de politesse professionnelles japonaises, les concepts culturellement spécifiques, les abréviations et l'argot internet, autant de nuances qu'une traduction grammaticalement correcte peut manquer sans un travail d'adaptation dédié. Pour les utilisateurs professionnels, notamment dans la rédaction d'emails ou de documents d'entreprise, cela représente un gain concret : le mode Proofread cible spécifiquement les usages où le registre de langue compte autant que la correction grammaticale. Le mode Ask, de son côté, supprime le besoin de basculer entre un traducteur et un dictionnaire, en répondant aux questions de nuance directement dans le contexte de la traduction produite. Sur le plan des performances, l'équipe de Sakana AI a évalué la qualité de traduction avec XCOMET-XL, un métrique neuronal d'environ 3,5 milliards de paramètres développé par Unbabel qui note les traductions sur une échelle de 0 à 1 tout en signalant les erreurs précises, appliqué aux données du WMT 2024 General Translation, une tâche de référence issue de la Conference on Machine Translation couvrant plusieurs domaines et paires de langues. Selon les résultats rapportés, Sakana Translate obtient un score proche des modèles les plus performants du marché, ce que l'entreprise qualifie de qualité compétitive pour un moteur de traduction. Ce lancement s'inscrit dans la stratégie plus large de Sakana AI autour de Namazu, qui vise à adapter des modèles de fondation existants aux spécificités linguistiques et culturelles japonaises plutôt que d'entraîner de nouveaux modèles à partir de zéro, une approche que le laboratoire pourrait étendre à d'autres cas d'usage à l'avenir.

💬 Post-entraîner des modèles existants plutôt que d'entraîner depuis zéro, c'est le vrai move ici. Sakana montre qu'on peut battre les traducteurs généralistes sur les nuances culturelles sans les moyens d'un labo à dix milliards. Reste que c'est verrouillé sur le japonais, l'anglais et le chinois : si tu bosses en français, tu regardes le train passer.