OpenAI publie trois nouveaux modèles audio en temps réel dans son API : GPT-Realtime-2, GPT-Realtime-Translate et GPT-Realtime-Whisper

GPT-Realtime-2, -Translate et -Whisper : de nouvelles API vocales en temps réel de pointe

OpenAI a lancé le 6 mai 2026 trois nouveaux modèles audio dans son API Realtime : GPT-Realtime-2, GPT-Realtime-Translate et GPT-Realtime-Whisper. Le modèle phare, GPT-Realtime-2, affiche une progression de 15,2 % sur le benchmark Big Bench Audio, contre seulement 5 % pour le realtime-1.5 sorti il y a trois mois. OpenAI le présente comme son "modèle vocal le plus intelligent à ce jour", intégrant un raisonnement comparable à GPT-5 en temps réel. Sa fenêtre de contexte passe de 32 000 à 128 000 tokens, avec jusqu'à 32 000 tokens en sortie. GPT-Realtime-Translate prend en charge la traduction simultanée depuis plus de 70 langues vers 13 langues de sortie, tandis que GPT-Realtime-Whisper offre une transcription en streaming à faible latence pour les sous-titres et la prise de notes. Les trois modèles sont disponibles immédiatement dans l'API Realtime pour les développeurs ; les améliorations dans ChatGPT voice sont annoncées mais non encore déployées. L'enjeu de cette version dépasse la qualité audio : OpenAI mise sur l'utilisabilité des agents vocaux en production. GPT-Realtime-2 permet des appels d'outils en parallèle avec des confirmations verbales ("je vérifie votre calendrier"), des préambules naturels ("un instant, je cherche ça"), et une meilleure gestion des interruptions. Il peut aussi adapter son ton, calme, empathique ou dynamique, selon le contexte, et les développeurs peuvent désormais régler le niveau de raisonnement sur cinq paliers allant de "minimal" à "xhigh". Pour les entreprises qui déploient des agents vocaux dans la santé, le service client ou les assistants professionnels, ce gain de fluidité et de robustesse représente un saut concret vers des systèmes déployables sans supervision constante. Cette sortie s'inscrit dans une course effrénée pour dominer les interfaces vocales de l'IA. OpenAI avait lancé son API Realtime en septembre 2024, mais les premières versions peinaient à convaincre par leur manque de fiabilité et leur contexte limité. La progression rapide des trois derniers mois signale une priorité stratégique claire : Sam Altman a lui-même souligné que les utilisateurs recourent de plus en plus à la voix pour "déverser" de grandes quantités de contexte à l'IA, un usage que les interfaces texte peinent à absorber naturellement. Face à Google, qui pousse ses propres modèles Gemini Live, et à des acteurs spécialisés comme ElevenLabs, OpenAI cherche à verrouiller le segment des agents vocaux professionnels avant que le marché ne se fragmente.

💬 L'API Realtime de septembre 2024, franchement, ça peinait. Là, les préambules naturels, les interruptions gérées, les appels d'outils en parallèle avec confirmation verbale, tout ce qui rend un agent vocal déployable sans supervision constante, c'est enfin dans la boîte. C'est le genre de liste de features qui fait passer de la démo au vrai prod.

OpenAI intègre le raisonnement GPT-5 dans la voix en temps réel et transforme ce que les agents vocaux peuvent orchestrer

OpenAI a lancé trois nouveaux modèles vocaux distincts : GPT-Realtime-2, GPT-Realtime-Translate et GPT-Realtime-Whisper. Le premier est présenté comme le premier modèle vocal de la société doté d'un raisonnement "de classe GPT-5", capable de traiter des requêtes complexes tout en maintenant un flux de conversation naturel. GPT-Realtime-Translate prend en charge plus de 70 langues en entrée et les traduit vers 13 autres en temps réel, au rythme de l'interlocuteur. GPT-Realtime-Whisper, lui, se concentre exclusivement sur la transcription audio vers texte. Jusqu'ici, ces trois fonctions, conversation, traduction, transcription, étaient regroupées dans un seul système vocal monolithique. OpenAI les sépare désormais en composants spécialisés distincts, chacun gérable indépendamment, avec une fenêtre de contexte de 128 000 tokens. Ce changement architectural a des conséquences directes pour les entreprises qui déploient des agents vocaux à grande échelle. Jusqu'à présent, la lourdeur de ces systèmes tenait moins aux capacités conversationnelles des modèles qu'à leurs limites de contexte : les équipes techniques devaient construire des mécanismes de réinitialisation de session, de compression d'état et de reconstruction à chaque déploiement, ce qui alourdissait considérablement l'infrastructure. En décomposant la voix en primitives d'orchestration séparées, OpenAI permet aux entreprises d'assigner chaque tâche au modèle le plus adapté, de réduire la redondance et de mieux maîtriser les coûts. L'intérêt commercial est aussi clair : les interactions vocales génèrent des données clients particulièrement riches, et la demande pour ces agents augmente à mesure que les utilisateurs s'habituent à converser avec des IA. Cette annonce s'inscrit dans une course à la voix enterprise où OpenAI n'est plus seul. Mistral a récemment lancé ses modèles Voxtral, également orientés entreprises et structurés autour de la séparation transcription/conversation, ciblant directement le même segment de marché. Pour les équipes techniques qui évaluent ces solutions, le critère de choix ne se limite plus à la qualité brute du modèle : il faut désormais s'assurer que l'architecture d'orchestration existante est capable de router des tâches vocales vers des modèles spécialisés et de gérer l'état sur une fenêtre de 128 000 tokens. La modularisation de la voix, longtemps présentée comme une bonne pratique théorique, devient une contrainte d'intégration concrète pour quiconque veut tirer parti de ces nouveaux modèles dans un pipeline agentique plus large.

💬 La vraie nouvelle, c'est pas le titre GPT-5 dans la voix. C'est la modularisation : trois primitives séparées, chacune gérable indépendamment, fini les sessions à réinitialiser à la main entre deux tours de conversation. Mistral est déjà en face avec Voxtral, donc le match va se jouer sur l'intégration, pas sur les benchmarks.

Tencent AI publie Covo-Audio en open source : un modèle de langage vocal 7B pour la conversation audio en temps réel

Tencent AI Lab a publié Covo-Audio, un modèle de langage audio de 7 milliards de paramètres conçu pour traiter directement des entrées audio continues et générer des sorties vocales au sein d'une seule architecture unifiée. Le système repose sur quatre composants principaux : un encodeur audio basé sur Whisper-large-v3, un adaptateur qui réduit le débit de 50 Hz à 6,25 Hz, un backbone LLM fondé sur Qwen2.5-7B-Base, et un décodeur capable de reconstruire des formes d'onde haute-fidélité à 24 000 Hz. Une innovation centrale, baptisée « Hierarchical Tri-modal Speech-Text Interleaving », aligne simultanément les caractéristiques acoustiques continues, les tokens vocaux discrets et le texte en langage naturel, permettant une cohérence sémantique aussi bien au niveau des phrases que des utterances longues. L'entraînement a impliqué un pipeline en deux étapes traitant au total 2 000 milliards de tokens. Le modèle intègre également une stratégie de découplage intelligence-voix qui sépare le raisonnement dialogique du rendu vocal, minimisant ainsi le besoin de données d'entraînement spécifiques à chaque locuteur. Une variante temps-réel, Covo-Audio-Chat-FD, permet une communication en duplex intégral avec des chunks audio de 0,16 seconde et des tokens spéciaux pour gérer les interruptions et les transitions de parole. Covo-Audio représente une avancée significative vers des assistants vocaux capables de raisonner en temps réel sans passer par des pipelines séparés de reconnaissance vocale et de génération de texte. La capacité duplex intégral — où le modèle peut écouter et parler simultanément, détecter les interruptions et reprendre l'écoute instantanément — rapproche considérablement les systèmes IA d'une conversation naturelle fluide. La technique de découplage intelligence-voix est particulièrement notable sur le plan commercial : elle permet de personnaliser la voix d'un assistant avec très peu de données TTS, sans sacrifier les capacités de raisonnement, ce qui réduit drastiquement les coûts de déploiement de voix personnalisées. L'intégration du raisonnement en chaîne de pensée (Chain-of-Thought) directement dans le flux audio ouvre également la voie à des assistants vocaux capables de traiter des requêtes complexes en direct, là où les systèmes actuels se limitent souvent à des réponses factuelles simples. Ce lancement s'inscrit dans une course industrielle intense autour des modèles audio de bout en bout, avec des acteurs comme OpenAI (GPT-4o), Google (Gemini Live) et Meta qui investissent massivement dans la suppression des latences introduites par les architectures en pipeline classiques. La mise en open source de Covo-Audio par Tencent positionne le laboratoire comme un contributeur majeur à cet espace, tout en offrant à la communauté de recherche une base solide pour explorer les interactions vocales intelligentes multimodales.

Google lance Gemini 3.5 Live Translate, un modèle audio voix-à-voix en temps réel couvrant plus de 70 langues

Google a lancé Gemini 3.5 Live Translate, un nouveau modèle audio capable de traduire la parole en temps réel dans plus de 70 langues. Disponible sous l'identifiant gemini-3.5-live-translate-preview, il fonctionne en mode speech-to-speech : de l'audio parlé entre, de l'audio traduit sort, avec une latence de quelques secondes seulement. Contrairement aux systèmes classiques qui attendent la fin d'une phrase pour commencer à traduire, ce modèle traite le flux audio en continu, au fil de la parole. Il préserve l'intonation, le rythme et la hauteur de voix du locuteur dans la version traduite. Le déploiement s'effectue sur trois surfaces simultanément : les développeurs y accèdent via une préversion publique dans la Gemini Live API et Google AI Studio, les entreprises via une préversion privée dans Google Meet à partir de ce mois-ci, et le grand public via l'application Google Traduction sur Android et iOS. Ce modèle représente une rupture technique significative pour tous les secteurs qui dépendent de la communication multilingue en direct. Lors d'appels professionnels, de réunions internationales, de cours en ligne ou de diffusions live, la barrière de la langue peut être levée sans infrastructure dédiée ni interprète humain. Des plateformes comme Agora, LiveKit, Pipecat et Fishjam intègrent déjà la Live API, ce qui réduit considérablement le travail d'intégration pour les développeurs. L'exemple concret le plus parlant vient de Grab, le géant asiatique du transport à la demande : la société teste activement le modèle pour les échanges entre chauffeurs et passagers au moment de la prise en charge, sachant que ses utilisateurs passent plus de 10 millions d'appels vocaux. Cette annonce s'inscrit dans la stratégie de Google visant à imposer sa suite Gemini comme infrastructure de référence pour l'IA temps réel. Techniquement, le modèle ne fonctionne qu'en entrée audio, sans prise en charge du texte, sans appel d'outils ni instructions système, ce qui le distingue radicalement des agents conversationnels classiques. La configuration s'effectue via un bloc translationConfig dans la Gemini Live API, avec un paramètre targetLanguageCode au format BCP-47 et une option echoTargetLanguage pour gérer les cas où le locuteur parle déjà la langue cible. Les formats audio sont fixes : entrée en PCM 16 bits à 16 kHz, sortie à 24 kHz. Ce choix de spécialisation radicale, au détriment de la flexibilité, témoigne d'une priorité claire donnée à la latence et à la fiabilité, deux critères décisifs pour les usages professionnels et grand public en conditions réelles.