OpenAI intègre le raisonnement GPT-5 dans la voix en temps réel et transforme ce que les agents vocaux peuvent orchestrer

OpenAI publie trois nouveaux modèles audio en temps réel dans son API : GPT-Realtime-2, GPT-Realtime-Translate et GPT-Realtime-Whisper

OpenAI a lancé le 7 mai 2026 trois nouveaux modèles audio via son API Realtime, désormais disponible en version stable après plusieurs mois de bêta. Le premier, GPT-Realtime-2, est le modèle phare : OpenAI le décrit comme son premier modèle vocal doté d'un raisonnement de niveau GPT-5. Sa fenêtre de contexte passe de 32 000 à 128 000 tokens, ce qui lui permet de maintenir le fil de conversations longues et complexes. Le modèle gère les interruptions naturelles, peut appeler plusieurs outils simultanément et narrer ses actions en temps réel, évitant les silences gênants qui faisaient paraître les agents vocaux précédents défaillants. Les développeurs peuvent également ajuster l'intensité du raisonnement sur cinq niveaux -- de "minimal" à "xhigh" -- selon la complexité de la tâche. Sur les benchmarks, GPT-Realtime-2 atteint 96,6 % sur Big Bench Audio contre 81,4 % pour GPT-Realtime-1.5, soit un gain de 15,2 points. Il est facturé 32 dollars par million de tokens audio en entrée et 64 dollars par million en sortie. Les deux autres modèles sont plus spécialisés : GPT-Realtime-Translate assure la traduction en direct depuis plus de 70 langues vers 13 langues de sortie, tandis que GPT-Realtime-Whisper prend en charge la transcription en streaming. Ces lancements marquent un virage concret pour les équipes qui construisent des applications vocales en production. Jusqu'ici, les agents vocaux se heurtaient à plusieurs limites structurelles : perte de contexte sur les longues sessions, mauvaise gestion des requêtes multi-étapes, silences awkward pendant le traitement. GPT-Realtime-2 répond directement à ces points avec des phrases tampons ("laissez-moi vérifier cela"), un contrôle du ton selon le contexte émotionnel de l'utilisateur, et une meilleure reconnaissance du vocabulaire sectoriel, notamment médical. La sortie de bêta de l'API est elle-même un signal fort : OpenAI indique que l'infrastructure est assez stable pour des déploiements critiques, ce qui devrait lever les réticences des équipes qui attendaient cette garantie pour construire. Cette évolution s'inscrit dans une course technologique accélérée autour de la voix. Depuis le lancement de l'API Realtime en octobre 2024, OpenAI a dû répondre à la pression de concurrents comme Google avec Gemini Live ou ElevenLabs sur le segment de la synthèse et de la traduction vocales. Le modèle de traduction GPT-Realtime-Translate vise directement les cas d'usage professionnels -- support client multilingue, réunions internationales, services de santé -- où la latence et la fidélité de traduction sont critiques. La capacité à moduler l'effort de raisonnement en fonction du cas d'usage ouvre par ailleurs la voie à des architectures hybrides, où un même agent peut traiter une question simple en quelques centaines de millisecondes et une demande complexe avec davantage de calcul, sans changer de modèle.

💬 Les silences dans les agents vocaux, c'était LE problème qu'on ne savait pas contourner proprement. GPT-Realtime-2 gère ça avec des phrases tampons, un contexte à 128k tokens et des appels d'outils en parallèle, c'est pas sexy mais c'est ce qui manquait. Le vrai signal c'est la sortie de bêta de l'API : OpenAI garantit maintenant une infra stable pour des déploiements critiques, et ça va débloquer pas mal d'équipes qui attendaient juste ce feu vert.

NVIDIA Nemotron 3 Nano Omni intègre le raisonnement d'agents multimodaux dans un modèle ouvert et efficace

NVIDIA a dévoilé Nemotron-N-Nano-3B-Omni, un modèle multimodal compact capable de traiter simultanément du texte, des images, des vidéos et de l'audio au sein d'une seule architecture unifiée. Conçu pour l'inférence efficace, ce modèle de 3 milliards de paramètres est publié en open weights, ce qui permet à n'importe quel développeur de le télécharger, le modifier et le déployer sans dépendre des serveurs NVIDIA. Il prend en charge le raisonnement agentique, c'est-à-dire la capacité à enchaîner des perceptions et des actions dans une boucle autonome, couvrant aussi bien l'analyse de documents que l'interprétation d'écrans ou la compréhension vocale. L'intérêt principal de ce modèle réside dans sa conception monolithique : là où les systèmes agentiques actuels assemblent des chaînes de modèles spécialisés distincts pour la vision, l'audio et le texte, Nemotron Nano Omni gère l'ensemble dans un seul passage d'inférence. Cela réduit significativement la latence, la complexité d'orchestration et le coût de calcul, tout en maintenant une cohérence contextuelle entre les modalités. Pour les entreprises qui déploient des agents IA en production, c'est une réduction directe de la facture cloud et des points de défaillance. Ce lancement s'inscrit dans la stratégie plus large de NVIDIA de dominer non seulement le matériel GPU, mais aussi la couche logicielle et les modèles fondamentaux pour l'IA d'entreprise. La série Nemotron, qui comprend également des modèles plus grands comme Nemotron-4, vise à offrir des alternatives performantes aux modèles propriétaires d'OpenAI ou d'Anthropic. Avec la montée en puissance des agents autonomes capables d'interagir avec des interfaces graphiques, des fichiers et des flux audio, un modèle omnimodal efficace et ouvert représente une brique stratégique pour la prochaine génération d'assistants et d'automatisations.

GPT-Realtime-2, -Translate et -Whisper : de nouvelles API vocales en temps réel de pointe

OpenAI a lancé le 6 mai 2026 trois nouveaux modèles audio dans son API Realtime : GPT-Realtime-2, GPT-Realtime-Translate et GPT-Realtime-Whisper. Le modèle phare, GPT-Realtime-2, affiche une progression de 15,2 % sur le benchmark Big Bench Audio, contre seulement 5 % pour le realtime-1.5 sorti il y a trois mois. OpenAI le présente comme son "modèle vocal le plus intelligent à ce jour", intégrant un raisonnement comparable à GPT-5 en temps réel. Sa fenêtre de contexte passe de 32 000 à 128 000 tokens, avec jusqu'à 32 000 tokens en sortie. GPT-Realtime-Translate prend en charge la traduction simultanée depuis plus de 70 langues vers 13 langues de sortie, tandis que GPT-Realtime-Whisper offre une transcription en streaming à faible latence pour les sous-titres et la prise de notes. Les trois modèles sont disponibles immédiatement dans l'API Realtime pour les développeurs ; les améliorations dans ChatGPT voice sont annoncées mais non encore déployées. L'enjeu de cette version dépasse la qualité audio : OpenAI mise sur l'utilisabilité des agents vocaux en production. GPT-Realtime-2 permet des appels d'outils en parallèle avec des confirmations verbales ("je vérifie votre calendrier"), des préambules naturels ("un instant, je cherche ça"), et une meilleure gestion des interruptions. Il peut aussi adapter son ton, calme, empathique ou dynamique, selon le contexte, et les développeurs peuvent désormais régler le niveau de raisonnement sur cinq paliers allant de "minimal" à "xhigh". Pour les entreprises qui déploient des agents vocaux dans la santé, le service client ou les assistants professionnels, ce gain de fluidité et de robustesse représente un saut concret vers des systèmes déployables sans supervision constante. Cette sortie s'inscrit dans une course effrénée pour dominer les interfaces vocales de l'IA. OpenAI avait lancé son API Realtime en septembre 2024, mais les premières versions peinaient à convaincre par leur manque de fiabilité et leur contexte limité. La progression rapide des trois derniers mois signale une priorité stratégique claire : Sam Altman a lui-même souligné que les utilisateurs recourent de plus en plus à la voix pour "déverser" de grandes quantités de contexte à l'IA, un usage que les interfaces texte peinent à absorber naturellement. Face à Google, qui pousse ses propres modèles Gemini Live, et à des acteurs spécialisés comme ElevenLabs, OpenAI cherche à verrouiller le segment des agents vocaux professionnels avant que le marché ne se fragmente.

💬 L'API Realtime de septembre 2024, franchement, ça peinait. Là, les préambules naturels, les interruptions gérées, les appels d'outils en parallèle avec confirmation verbale, tout ce qui rend un agent vocal déployable sans supervision constante, c'est enfin dans la boîte. C'est le genre de liste de features qui fait passer de la démo au vrai prod.

Tencent AI publie Covo-Audio en open source : un modèle de langage vocal 7B pour la conversation audio en temps réel

Tencent AI Lab a publié Covo-Audio, un modèle de langage audio de 7 milliards de paramètres conçu pour traiter directement des entrées audio continues et générer des sorties vocales au sein d'une seule architecture unifiée. Le système repose sur quatre composants principaux : un encodeur audio basé sur Whisper-large-v3, un adaptateur qui réduit le débit de 50 Hz à 6,25 Hz, un backbone LLM fondé sur Qwen2.5-7B-Base, et un décodeur capable de reconstruire des formes d'onde haute-fidélité à 24 000 Hz. Une innovation centrale, baptisée « Hierarchical Tri-modal Speech-Text Interleaving », aligne simultanément les caractéristiques acoustiques continues, les tokens vocaux discrets et le texte en langage naturel, permettant une cohérence sémantique aussi bien au niveau des phrases que des utterances longues. L'entraînement a impliqué un pipeline en deux étapes traitant au total 2 000 milliards de tokens. Le modèle intègre également une stratégie de découplage intelligence-voix qui sépare le raisonnement dialogique du rendu vocal, minimisant ainsi le besoin de données d'entraînement spécifiques à chaque locuteur. Une variante temps-réel, Covo-Audio-Chat-FD, permet une communication en duplex intégral avec des chunks audio de 0,16 seconde et des tokens spéciaux pour gérer les interruptions et les transitions de parole. Covo-Audio représente une avancée significative vers des assistants vocaux capables de raisonner en temps réel sans passer par des pipelines séparés de reconnaissance vocale et de génération de texte. La capacité duplex intégral — où le modèle peut écouter et parler simultanément, détecter les interruptions et reprendre l'écoute instantanément — rapproche considérablement les systèmes IA d'une conversation naturelle fluide. La technique de découplage intelligence-voix est particulièrement notable sur le plan commercial : elle permet de personnaliser la voix d'un assistant avec très peu de données TTS, sans sacrifier les capacités de raisonnement, ce qui réduit drastiquement les coûts de déploiement de voix personnalisées. L'intégration du raisonnement en chaîne de pensée (Chain-of-Thought) directement dans le flux audio ouvre également la voie à des assistants vocaux capables de traiter des requêtes complexes en direct, là où les systèmes actuels se limitent souvent à des réponses factuelles simples. Ce lancement s'inscrit dans une course industrielle intense autour des modèles audio de bout en bout, avec des acteurs comme OpenAI (GPT-4o), Google (Gemini Live) et Meta qui investissent massivement dans la suppression des latences introduites par les architectures en pipeline classiques. La mise en open source de Covo-Audio par Tencent positionne le laboratoire comme un contributeur majeur à cet espace, tout en offrant à la communauté de recherche une base solide pour explorer les interactions vocales intelligentes multimodales.