Inworld AI lance Realtime TTS-2 : un modèle vocal en boucle fermée qui s'adapte à votre façon de parler

Gradium lance stt-translate et s2s-translate, des modèles de traduction vocale en temps réel plus précis et plus rapides que gpt-realtime-translate

Gradium a lancé ce jeudi deux modèles de traduction vocale en temps réel, baptisés stt-translate et s2s-translate, qui s'attaquent directement aux offres de Google et d'OpenAI sur ce marché en pleine expansion. Les deux modèles couvrent cinq langues, anglais, français, allemand, espagnol et portugais, soit vingt paires de traduction dans toutes les directions. stt-translate convertit la parole d'une langue en texte dans une autre en un seul passage, sans transcription intermédiaire, en s'appuyant sur le cadre Hibiki-Zero et un entraînement par apprentissage par renforcement optimisant simultanément la précision et la latence. s2s-translate va plus loin en produisant directement de l'audio traduit depuis de l'audio source, en enchaînant stt-translate avec un modèle TTS de Gradium au sein d'un service unique accessible via WebSocket duplex. La latence moyenne annoncée est de 3,0 secondes, et les flux audio sont gérés en PCM 24 kHz en entrée et 48 kHz en sortie, avec support WAV, Opus, mu-law et A-law. Sur le plan des performances, Gradium affirme surpasser gpt-realtime-translate d'OpenAI sur le score BLEU, la métrique historique de traduction automatique mesurant la fidélité lexicale, tout en étant comparable sur MetricX, le système d'évaluation neuronal de Google qui juge la qualité sémantique selon des critères proches du jugement humain. Face à gemini-3.5-live-translate de Google, Gradium l'emporte sur les deux métriques. La latence de 3,0 secondes se situe devant OpenAI (3,6 s) mais légèrement derrière Gemini (2,9 s), un écart marginal. La différenciation la plus concrète réside dans la flexibilité vocale : Gradium permet de choisir une voix dans un catalogue ou de cloner sa propre voix pour la sortie audio, une fonctionnalité absente chez gpt-realtime-translate et non précisée chez Gemini. Ces modèles s'inscrivent dans une course accélérée à la traduction vocale temps réel, portée par des cas d'usage comme les réunions internationales, le service client multilingue et l'accessibilité. L'approche de Gradium, fusionner transcription et traduction en un seul modèle plutôt qu'enchaîner trois systèmes distincts, réduit la complexité d'intégration et les points de latence. C'est précisément le type d'architecture que les développeurs cherchent pour éviter de gérer plusieurs API et connexions en parallèle. En proposant ces modèles via une interface WebSocket unique avec streaming des résultats, Gradium vise les équipes produit qui construisent des expériences vocales multilingues sans vouloir assembler elles-mêmes une pipeline STT-MT-TTS. Le lancement positionne la startup face à deux des acteurs les plus capitalisés du secteur, avec des résultats de benchmarks qui, s'ils se confirment en production, pourraient en faire un concurrent sérieux sur ce segment.

Mistral AI lance un modèle de synthèse vocale

Mistral AI, la startup française spécialisée dans les modèles de langage, a lancé son premier modèle de synthèse vocale (text-to-speech), baptisé Mistral TTS. Compatible avec neuf langues, dont le français, l'anglais, l'espagnol, l'allemand, l'italien, le portugais, le néerlandais, le polonais et le russe, le modèle est disponible via l'API de la plateforme La Plateforme et vise en priorité les applications d'agents vocaux en production. Ce lancement représente une extension stratégique de l'offre Mistral au-delà du texte pur. Les agents vocaux, utilisés dans le service client, les assistants embarqués ou la téléphonie automatisée, nécessitent des modèles TTS rapides, naturels et multilingues. En intégrant cette brique directement dans son écosystème, Mistral permet aux développeurs de construire des workflows vocaux complets sans dépendre de fournisseurs tiers comme ElevenLabs ou la voix de Google. Fondée en 2023 par d'anciens chercheurs de Google DeepMind et Meta, Mistral s'est imposée comme le principal challenger européen face aux géants américains de l'IA. Après avoir consolidé ses modèles de texte et de code, l'entreprise comble progressivement les manques de sa plateforme pour proposer une suite complète. Le TTS multilingue arrive dans un marché en pleine effervescence, où la voix devient un vecteur central d'interaction entre humains et systèmes d'IA.

OpenAI lance GPT-Realtime-2.1 et GPT-Realtime-2.1-mini pour des agents vocaux a faible latence dans l'API

OpenAI a annoncé le lancement de deux nouveaux modèles dans son API Realtime, baptisés gpt-realtime-2.1 et gpt-realtime-2.1-mini, conçus pour les agents vocaux à faible latence. La version mini constitue la nouveauté la plus notable : il s'agit d'un modèle de raisonnement miniature dédié à la voix en temps réel, capable de traiter des entrées audio et texte via une connexion live, et facturé au même tarif que l'ancien gpt-realtime-mini. OpenAI a par ailleurs réduit la latence p95, c'est-à-dire le temps de réponse au 95e percentile qui capture les cas les plus lents, d'au moins 25% sur l'ensemble des modèles vocaux Realtime, grâce à un système de mise en cache amélioré. Le modèle plus complet, gpt-realtime-2.1, apporte de son côté une meilleure reconnaissance alphanumérique, une gestion plus fine du silence et du bruit, ainsi qu'un traitement amélioré des interruptions, tout en conservant le support de la voix à voix avec un niveau de raisonnement configurable, le suivi d'instructions et l'appel de fonctions. Cette capacité de raisonnement change concrètement le comportement des agents vocaux. Jusqu'ici, un agent qui déclenchait un appel de fonction restait souvent silencieux le temps de l'exécution, ce qui poussait l'utilisateur à croire que la conversation avait été coupée et à interrompre l'échange. Avec le raisonnement, le modèle peut désormais annoncer son action, par exemple "je vérifie votre commande maintenant", avant de l'exécuter, ce qui maintient la cohérence des tâches vocales à plusieurs étapes. Ce niveau de raisonnement est ajustable sur cinq paliers (minimal, low, medium, high, xhigh), le niveau low étant recommandé par défaut pour limiter la latence dans la plupart des usages en production. La mise en cache profite aussi directement aux coûts : pour gpt-realtime-2.1-mini, l'audio en entrée mis en cache tombe à 0,30 dollar par million de tokens contre 10 dollars pour de l'audio non caché, un écart qui profite surtout aux sessions longues où l'invite système reste en cache après le premier tour. Cette évolution s'inscrit dans la logique de l'API Realtime d'OpenAI, qui traite et génère l'audio via un seul modèle plutôt que d'enchaîner des systèmes séparés de reconnaissance et de synthèse vocale, réduisant la latence tout en préservant les nuances de la parole. Sur le plan tarifaire, l'écart entre les deux modèles reste marqué : la sortie audio de gpt-realtime-2.1-mini coûte 20 dollars par million de tokens contre 64 dollars pour la version complète, soit un rapport de près de trois, laissant aux équipes de développement le choix d'arbitrer entre performance et coût selon leurs besoins, dans un marché des agents vocaux IA en pleine intensification.

PolyAI lance Dialog-RSN-1, un modèle de dialogue audio-natif qui combine tour de parole, reconnaissance vocale, appel de fonctions et génération de réponse

PolyAI a dévoilé Dialog-RSN-1, un modèle de dialogue conçu pour percevoir directement l'audio d'un appelant plutôt que de lire une simple transcription. Le système fusionne en un seul modèle audio-natif la gestion des tours de parole, la reconnaissance vocale, l'appel de fonctions et la génération de réponse, et traite déjà des appels en production réelle. Contrairement aux modèles de type GPT Realtime ou Gemini Live, la synthèse vocale reste séparée, ce qui permet de garder un contrôle total sur la voix produite. Le modèle fonctionne à la demande, sollicité ponctuellement plutôt qu'en flux permanent monopolisant un GPU en continu : un détecteur d'activité vocale à haut rappel et quelques minuteurs décident du moment où l'interroger, et le premier jeton généré (VIDE, EN COURS ou TERMINÉ) détermine si l'agent doit prendre la parole. PolyAI annonce des temps de réponse inférieurs à 300 millisecondes, une hausse de 11% du taux de résolution sans transfert humain chez un groupe de restauration, et une baisse de 37% de la latence chez un assureur. Le lancement se limite pour l'instant à l'anglais, et l'accès passe exclusivement par la plateforme de PolyAI, sans poids ouverts ni API publique. Cette annonce compte parce qu'elle cible directement les grandes entreprises à fort volume d'appels, dans des secteurs comme la restauration, l'assurance, les services financiers, la santé, l'hôtellerie, le commerce de détail, les télécommunications, le voyage ou les services publics, pour des usages tels que la réservation, la facturation, l'authentification, le routage d'appels ou la gestion de commandes. PolyAI revendique plus de 100 clients entreprises et plus de 2000 déploiements actifs, chiffres mis en avant lors de sa levée de série D de 86 millions de dollars en décembre 2025. Les développeurs indépendants et les petites entreprises ne sont pas visés : les clients existants peuvent activer la fonctionnalité dès maintenant, les nouveaux doivent demander un accès anticipé. L'enjeu technique dépassé est important, car les architectures existantes présentent chacune des limites : les systèmes en cascade perdent le ton et l'hésitation du locuteur en ne transmettant au modèle de langage que le texte transcrit, tandis que les modèles de parole à parole intègrent la voix directement dans le modèle, réduisant le contrôle sur la prononciation et nécessitant un GPU dédié pendant tout l'appel. Pour construire Dialog-RSN-1, PolyAI a affiné des modèles multimodaux à poids ouverts par apprentissage supervisé puis par renforcement sur ses propres données, en évaluant des bases comme Gemma, GPT-OSS, Qwen et Mistral, avec des tailles allant de 8 milliards de paramètres denses à 30 milliards en configuration éparse pour tenir l'objectif de latence sur GPU A100. Plusieurs optimisations ont permis d'atteindre ces performances : préremplissage du cache d'attention pendant que l'utilisateur parle, gabarit de prompt qui minimise l'invalidation du cache, routage systématique de chaque appelant vers le même GPU, et un module de génération spéculative affiné acceptant en moyenne 3,9 jetons. Les évaluations internes, menées sur un benchmark baptisé Dialog-Eval que l'entreprise prévoit de publier en open source, placent Dialog-RSN-1 en tête des modèles compatibles avec le temps réel, tandis que le taux d'erreur de transcription du système reste inférieur à celui de gpt-4o-transcribe. PolyAI prévoit de publier un rapport technique complet ainsi qu'un article scientifique détaillant Dialog-Eval, et recommande pour l'instant son modèle Raven 3.5 pour les usages non anglophones ou le chat web enrichi.

💬 Reste à voir si les 2000 déploiements tiennent la charge, mais l'idée de séparer la synthèse vocale du reste, ça c'est malin. Ça évite le piège des modèles parole à parole qui bouffent un GPU en continu pour un appel qui dure trois minutes. Ce que révèle surtout ce lancement, c'est que le marché du centre d'appels IA bascule d'une course à la démo vers une course à la marge, où gagner 300ms ou 11% de résolution sans transfert humain vaut plus cher qu'un modèle "impressionnant" en labo.