GPT-Realtime-2, -Translate et -Whisper : de nouvelles API vocales en temps réel de pointe

OpenAI publie trois nouveaux modèles audio en temps réel dans son API : GPT-Realtime-2, GPT-Realtime-Translate et GPT-Realtime-Whisper

OpenAI a lancé le 7 mai 2026 trois nouveaux modèles audio via son API Realtime, désormais disponible en version stable après plusieurs mois de bêta. Le premier, GPT-Realtime-2, est le modèle phare : OpenAI le décrit comme son premier modèle vocal doté d'un raisonnement de niveau GPT-5. Sa fenêtre de contexte passe de 32 000 à 128 000 tokens, ce qui lui permet de maintenir le fil de conversations longues et complexes. Le modèle gère les interruptions naturelles, peut appeler plusieurs outils simultanément et narrer ses actions en temps réel, évitant les silences gênants qui faisaient paraître les agents vocaux précédents défaillants. Les développeurs peuvent également ajuster l'intensité du raisonnement sur cinq niveaux -- de "minimal" à "xhigh" -- selon la complexité de la tâche. Sur les benchmarks, GPT-Realtime-2 atteint 96,6 % sur Big Bench Audio contre 81,4 % pour GPT-Realtime-1.5, soit un gain de 15,2 points. Il est facturé 32 dollars par million de tokens audio en entrée et 64 dollars par million en sortie. Les deux autres modèles sont plus spécialisés : GPT-Realtime-Translate assure la traduction en direct depuis plus de 70 langues vers 13 langues de sortie, tandis que GPT-Realtime-Whisper prend en charge la transcription en streaming. Ces lancements marquent un virage concret pour les équipes qui construisent des applications vocales en production. Jusqu'ici, les agents vocaux se heurtaient à plusieurs limites structurelles : perte de contexte sur les longues sessions, mauvaise gestion des requêtes multi-étapes, silences awkward pendant le traitement. GPT-Realtime-2 répond directement à ces points avec des phrases tampons ("laissez-moi vérifier cela"), un contrôle du ton selon le contexte émotionnel de l'utilisateur, et une meilleure reconnaissance du vocabulaire sectoriel, notamment médical. La sortie de bêta de l'API est elle-même un signal fort : OpenAI indique que l'infrastructure est assez stable pour des déploiements critiques, ce qui devrait lever les réticences des équipes qui attendaient cette garantie pour construire. Cette évolution s'inscrit dans une course technologique accélérée autour de la voix. Depuis le lancement de l'API Realtime en octobre 2024, OpenAI a dû répondre à la pression de concurrents comme Google avec Gemini Live ou ElevenLabs sur le segment de la synthèse et de la traduction vocales. Le modèle de traduction GPT-Realtime-Translate vise directement les cas d'usage professionnels -- support client multilingue, réunions internationales, services de santé -- où la latence et la fidélité de traduction sont critiques. La capacité à moduler l'effort de raisonnement en fonction du cas d'usage ouvre par ailleurs la voie à des architectures hybrides, où un même agent peut traiter une question simple en quelques centaines de millisecondes et une demande complexe avec davantage de calcul, sans changer de modèle.

💬 Les silences dans les agents vocaux, c'était LE problème qu'on ne savait pas contourner proprement. GPT-Realtime-2 gère ça avec des phrases tampons, un contexte à 128k tokens et des appels d'outils en parallèle, c'est pas sexy mais c'est ce qui manquait. Le vrai signal c'est la sortie de bêta de l'API : OpenAI garantit maintenant une infra stable pour des déploiements critiques, et ça va débloquer pas mal d'équipes qui attendaient juste ce feu vert.

GPT-Realtime-2 : l’IA vocale d’OpenAI pense pendant qu’elle vous parle

OpenAI a annoncé le 7 mai 2026 le lancement de GPT-Realtime-2, son nouveau modèle vocal disponible via l'API Realtime. Ce modèle intègre directement les capacités de raisonnement de GPT-5, ce qui le distingue fondamentalement de ses prédécesseurs. Concrètement, il peut écouter, analyser des requêtes complexes, appeler des outils externes et gérer les interruptions sans perdre le fil d'une conversation. Sa fenêtre de contexte passe de 32 000 à 128 000 tokens, lui permettant de suivre des échanges prolongés sans oublier ce qui a été dit plusieurs minutes auparavant. OpenAI lance simultanément deux modèles complémentaires : GPT-Realtime-Translate, capable de traduire en temps réel des conversations dans plus de 70 langues d'entrée vers 13 langues de sortie, et GPT-Realtime-Whisper, dédié à la transcription ultra-rapide avec génération automatique de sous-titres et de notes de réunion. Deutsche Telekom a déjà intégré GPT-Realtime-Translate dans ses solutions de support vocal multilingue. Ce que change GPT-Realtime-2, c'est la nature même de l'interaction vocale avec une IA. Jusqu'ici, les assistants vocaux répondaient vite mais sans véritable compréhension du contexte. Ce nouveau modèle introduit un comportement plus humain : lorsqu'il traite une requête complexe, il verbalise son activité avec des phrases comme "Laissez-moi vérifier cela" ou "Je regarde votre calendrier", rendant les temps de traitement naturels plutôt qu'anxiogènes. Il est également capable de reconnaître ses propres difficultés au lieu de rester silencieux. Pour les entreprises qui déploient des agents vocaux en support client, en assistance médicale ou en gestion de réunions, ce niveau de robustesse change radicalement ce que l'on peut exiger de ces systèmes. Cette annonce s'inscrit dans une course accélérée à la voix comme interface centrale entre humains et logiciels. OpenAI positionne explicitement GPT-Realtime-2 comme un concurrent direct aux assistants vocaux établis de Google, Apple et Amazon, dont les limites en matière de raisonnement sont bien connues. La stratégie d'OpenAI est claire : en ouvrant ces capacités via API, la société mise sur les développeurs tiers pour construire la prochaine génération d'agents conversationnels. L'enjeu dépasse le simple gadget vocal : si parler devient plus efficace que cliquer, c'est toute la manière dont les professionnels interagissent avec leurs outils qui se trouve redéfinie. Les prochains mois diront si les usages en entreprise confirment cette promesse à grande échelle.

💬 Ce qui change vraiment ici, c'est pas la vitesse (on était déjà pas mal) mais le raisonnement en temps réel, embarqué directement dans le vocal. Le "Laissez-moi vérifier ça" plutôt que le silence mort pendant le traitement, c'est un détail UX qui va tout changer pour les équipes qui déploient des agents vocaux en support ou en médical. Sur le papier c'est exactement ce qui manquait, bon, reste à voir si ça tient à 10 000 appels simultanés.

OpenAI intègre le raisonnement GPT-5 dans la voix en temps réel et transforme ce que les agents vocaux peuvent orchestrer

OpenAI a lancé trois nouveaux modèles vocaux distincts : GPT-Realtime-2, GPT-Realtime-Translate et GPT-Realtime-Whisper. Le premier est présenté comme le premier modèle vocal de la société doté d'un raisonnement "de classe GPT-5", capable de traiter des requêtes complexes tout en maintenant un flux de conversation naturel. GPT-Realtime-Translate prend en charge plus de 70 langues en entrée et les traduit vers 13 autres en temps réel, au rythme de l'interlocuteur. GPT-Realtime-Whisper, lui, se concentre exclusivement sur la transcription audio vers texte. Jusqu'ici, ces trois fonctions, conversation, traduction, transcription, étaient regroupées dans un seul système vocal monolithique. OpenAI les sépare désormais en composants spécialisés distincts, chacun gérable indépendamment, avec une fenêtre de contexte de 128 000 tokens. Ce changement architectural a des conséquences directes pour les entreprises qui déploient des agents vocaux à grande échelle. Jusqu'à présent, la lourdeur de ces systèmes tenait moins aux capacités conversationnelles des modèles qu'à leurs limites de contexte : les équipes techniques devaient construire des mécanismes de réinitialisation de session, de compression d'état et de reconstruction à chaque déploiement, ce qui alourdissait considérablement l'infrastructure. En décomposant la voix en primitives d'orchestration séparées, OpenAI permet aux entreprises d'assigner chaque tâche au modèle le plus adapté, de réduire la redondance et de mieux maîtriser les coûts. L'intérêt commercial est aussi clair : les interactions vocales génèrent des données clients particulièrement riches, et la demande pour ces agents augmente à mesure que les utilisateurs s'habituent à converser avec des IA. Cette annonce s'inscrit dans une course à la voix enterprise où OpenAI n'est plus seul. Mistral a récemment lancé ses modèles Voxtral, également orientés entreprises et structurés autour de la séparation transcription/conversation, ciblant directement le même segment de marché. Pour les équipes techniques qui évaluent ces solutions, le critère de choix ne se limite plus à la qualité brute du modèle : il faut désormais s'assurer que l'architecture d'orchestration existante est capable de router des tâches vocales vers des modèles spécialisés et de gérer l'état sur une fenêtre de 128 000 tokens. La modularisation de la voix, longtemps présentée comme une bonne pratique théorique, devient une contrainte d'intégration concrète pour quiconque veut tirer parti de ces nouveaux modèles dans un pipeline agentique plus large.

Google publie Gemini 2.0 Flash Live : un modèle vocal multimodal en temps réel pour agents IA

Google a lancé Gemini 3.1 Flash Live en préversion pour les développeurs via la Gemini Live API dans Google AI Studio. Ce nouveau modèle se positionne comme le « modèle audio et vocal de la plus haute qualité » jamais produit par Google, capable de traiter en temps réel des flux multimodaux combinant voix, vidéo et appels d'outils. Concrètement, il accepte de l'audio PCM 16 bits à 16 kHz, renvoie de l'audio PCM natif sans passer par une synthèse vocale séparée, et peut ingérer des flux vidéo à environ une image par seconde. Sur le benchmark ComplexFuncBench Audio, qui mesure la capacité à enchaîner des appels de fonctions complexes à partir de la seule voix, le modèle atteint un score de 90,8 %. Il obtient également 36,1 % sur l'Audio MultiChallenge, un test mesurant la résistance aux interruptions et aux environnements bruités, thème central pour les cas d'usage réels. Ce lancement s'attaque à un problème structurel qui plombait jusque-là les assistants vocaux : la « pile d'attente », enchaînement séquentiel de la détection d'activité vocale, de la transcription, de la génération de texte et de la synthèse vocale. Gemini 3.1 Flash Live court-circuite cette chaîne en traitant l'acoustique directement, sans transcrire au préalable. Le modèle gère mieux la prosodie — ton, débit, hésitations — que son prédécesseur Gemini 2.5 Flash Native Audio, et discrimine la parole pertinente des bruits ambiants comme la circulation ou le brouhaha d'un bureau. L'interface de programmation repose sur un protocole WebSocket bidirectionnel et persistant, permettant la continuité de session, la synchronisation audio-transcription en un seul événement serveur, et le « barge-in » : l'utilisateur peut couper la parole à l'IA en plein milieu d'une phrase, et le modèle interrompt immédiatement sa génération pour traiter le nouvel énoncé. Une fenêtre de contexte de 128 000 tokens supporte la mémoire de session et les définitions d'outils. Ce modèle arrive dans un contexte de compétition intense entre Google, OpenAI et les startups spécialisées dans la voix temps réel. OpenAI avait ouvert la voie avec son mode vocal avancé dans GPT-4o, mais la fiabilité en environnements dégradés restait un talon d'Achille pour l'ensemble de l'industrie. Google mise ici sur la robustesse au bruit et sur l'inférence agentique — la capacité à raisonner et à exécuter des tâches complexes (retrouver des factures, envoyer des e-mails sous conditions) sans passer par un intermédiaire textuel. Pour les développeurs qui construisent des agents d'assistance client, des interfaces mobiles ou des outils professionnels à commande vocale, cette combinaison de faible latence, de multimodalité native et de raisonnement structuré représente un changement de catégorie. Les prochaines étapes attendues concernent la sortie en disponibilité générale et l'intégration dans l'écosystème Vertex AI pour les entreprises.