OpenAI intègre le raisonnement GPT-5 dans la voix en temps réel et transforme ce que les agents vocaux peuvent orchestrer

« OpenAI lance GPT-Live et GPT-Live-1 mini, des modèles vocaux full-duplex qui délèguent le raisonnement complexe à GPT-5.5 »

OpenAI a lancé aujourd'hui GPT-Live, une nouvelle génération de modèles vocaux qui alimente désormais l'expérience ChatGPT Voice. Deux versions sont disponibles dès le premier jour, GPT-Live-1 et GPT-Live-1 mini, déployées globalement pour tous les utilisateurs de ChatGPT, avec une arrivée prévue prochainement sur l'API. La particularité technique de GPT-Live tient à son architecture full duplex : contrairement aux systèmes précédents, le modèle écoute et parle simultanément, prenant des décisions d'interaction plusieurs fois par seconde (parler, se taire, interrompre, reprendre ou invoquer un outil). Il peut ainsi glisser de courtes relances comme des acquiescements pendant que l'utilisateur parle, et rester silencieux lorsque celui-ci réfléchit. Pour les tâches plus complexes, comme la recherche web ou un raisonnement approfondi, GPT-Live délègue le travail en arrière-plan à GPT-5.5, tout en maintenant la fluidité de la conversation en attendant la réponse. Dans des évaluations humaines menées par OpenAI sur des conversations de cinq à dix minutes, GPT-Live-1 et sa version mini ont été nettement préférés au précédent Advanced Voice Mode. Cette évolution change concrètement la manière dont les utilisateurs interagissent avec l'IA à l'oral, en supprimant les silences artificiels et les interruptions malvenues qui caractérisaient les modes vocaux précédents. Pour l'industrie, cela représente un signal fort : la voix devient une modalité à part entière, pensée pour la conversation naturelle plutôt que comme une simple couche ajoutée au-dessus d'un modèle de texte. La séparation entre l'interaction conversationnelle, gérée par GPT-Live, et le raisonnement profond, délégué à un modèle frontière comme GPT-5.5, permet à OpenAI de faire évoluer ses capacités de raisonnement sans devoir reconstruire l'ensemble de la pile vocale à chaque nouvelle génération de modèle. Cela ouvre aussi la voie à des usages comme la traduction simultanée en direct, rendue possible par le traitement continu du flux audio. Reste que le lancement est encore limité : ni le partage d'écran, ni la vidéo, ni une parité multilingue complète ne sont disponibles pour l'instant. Ce lancement s'inscrit dans une trajectoire technique bien identifiable. Les premiers systèmes vocaux de ChatGPT reposaient sur une architecture en cascade, enchaînant un modèle de reconnaissance vocale, un grand modèle de langage puis un modèle de synthèse vocale, ce qui provoquait des pertes d'information et des réponses lentes et artificielles. L'Advanced Voice Mode avait ensuite unifié le traitement audio dans un seul modèle, réduisant la latence, mais restait organisé en tours de parole discrets basés sur la détection de silence, un système facilement perturbé par une simple pause ou un bruit de fond. GPT-Live répond directement à cette limite en abandonnant la logique de tours au profit d'un traitement continu. L'enjeu pour OpenAI est de conserver son avance face à des concurrents comme Google ou Meta sur l'IA conversationnelle vocale, un terrain jugé stratégique pour les usages grand public comme les assistants personnels, l'éducation ou le support client, où la fluidité de l'échange oral compte souvent davantage que la seule qualité du raisonnement sous-jacent.

💬 L'archi full-duplex c'est le vrai move ici, on arrête enfin de couper la parole aux gens ou de les laisser parler dans le vide en attendant que le modèle réagisse. Séparer la conversation, gérée par GPT-Live, du raisonnement profond délégué à GPT-5.5, ça permet à OpenAI de faire évoluer sa voix sans reconstruire toute la pile à chaque nouveau modèle, et c'est ce découplage qui va faire la différence face à Google et Meta sur l'assistant vocal. Reste que sans partage d'écran ni parité multilingue, le produit est encore à moitié fini, mais le signal est clair : la voix devient un canal à part entière, plus une couche posée sur du texte.

OpenAI publie trois nouveaux modèles audio en temps réel dans son API : GPT-Realtime-2, GPT-Realtime-Translate et GPT-Realtime-Whisper

OpenAI a lancé le 7 mai 2026 trois nouveaux modèles audio via son API Realtime, désormais disponible en version stable après plusieurs mois de bêta. Le premier, GPT-Realtime-2, est le modèle phare : OpenAI le décrit comme son premier modèle vocal doté d'un raisonnement de niveau GPT-5. Sa fenêtre de contexte passe de 32 000 à 128 000 tokens, ce qui lui permet de maintenir le fil de conversations longues et complexes. Le modèle gère les interruptions naturelles, peut appeler plusieurs outils simultanément et narrer ses actions en temps réel, évitant les silences gênants qui faisaient paraître les agents vocaux précédents défaillants. Les développeurs peuvent également ajuster l'intensité du raisonnement sur cinq niveaux -- de "minimal" à "xhigh" -- selon la complexité de la tâche. Sur les benchmarks, GPT-Realtime-2 atteint 96,6 % sur Big Bench Audio contre 81,4 % pour GPT-Realtime-1.5, soit un gain de 15,2 points. Il est facturé 32 dollars par million de tokens audio en entrée et 64 dollars par million en sortie. Les deux autres modèles sont plus spécialisés : GPT-Realtime-Translate assure la traduction en direct depuis plus de 70 langues vers 13 langues de sortie, tandis que GPT-Realtime-Whisper prend en charge la transcription en streaming. Ces lancements marquent un virage concret pour les équipes qui construisent des applications vocales en production. Jusqu'ici, les agents vocaux se heurtaient à plusieurs limites structurelles : perte de contexte sur les longues sessions, mauvaise gestion des requêtes multi-étapes, silences awkward pendant le traitement. GPT-Realtime-2 répond directement à ces points avec des phrases tampons ("laissez-moi vérifier cela"), un contrôle du ton selon le contexte émotionnel de l'utilisateur, et une meilleure reconnaissance du vocabulaire sectoriel, notamment médical. La sortie de bêta de l'API est elle-même un signal fort : OpenAI indique que l'infrastructure est assez stable pour des déploiements critiques, ce qui devrait lever les réticences des équipes qui attendaient cette garantie pour construire. Cette évolution s'inscrit dans une course technologique accélérée autour de la voix. Depuis le lancement de l'API Realtime en octobre 2024, OpenAI a dû répondre à la pression de concurrents comme Google avec Gemini Live ou ElevenLabs sur le segment de la synthèse et de la traduction vocales. Le modèle de traduction GPT-Realtime-Translate vise directement les cas d'usage professionnels -- support client multilingue, réunions internationales, services de santé -- où la latence et la fidélité de traduction sont critiques. La capacité à moduler l'effort de raisonnement en fonction du cas d'usage ouvre par ailleurs la voie à des architectures hybrides, où un même agent peut traiter une question simple en quelques centaines de millisecondes et une demande complexe avec davantage de calcul, sans changer de modèle.

💬 Les silences dans les agents vocaux, c'était LE problème qu'on ne savait pas contourner proprement. GPT-Realtime-2 gère ça avec des phrases tampons, un contexte à 128k tokens et des appels d'outils en parallèle, c'est pas sexy mais c'est ce qui manquait. Le vrai signal c'est la sortie de bêta de l'API : OpenAI garantit maintenant une infra stable pour des déploiements critiques, et ça va débloquer pas mal d'équipes qui attendaient juste ce feu vert.

NVIDIA Nemotron 3 Nano Omni intègre le raisonnement d'agents multimodaux dans un modèle ouvert et efficace

NVIDIA a dévoilé Nemotron-N-Nano-3B-Omni, un modèle multimodal compact capable de traiter simultanément du texte, des images, des vidéos et de l'audio au sein d'une seule architecture unifiée. Conçu pour l'inférence efficace, ce modèle de 3 milliards de paramètres est publié en open weights, ce qui permet à n'importe quel développeur de le télécharger, le modifier et le déployer sans dépendre des serveurs NVIDIA. Il prend en charge le raisonnement agentique, c'est-à-dire la capacité à enchaîner des perceptions et des actions dans une boucle autonome, couvrant aussi bien l'analyse de documents que l'interprétation d'écrans ou la compréhension vocale. L'intérêt principal de ce modèle réside dans sa conception monolithique : là où les systèmes agentiques actuels assemblent des chaînes de modèles spécialisés distincts pour la vision, l'audio et le texte, Nemotron Nano Omni gère l'ensemble dans un seul passage d'inférence. Cela réduit significativement la latence, la complexité d'orchestration et le coût de calcul, tout en maintenant une cohérence contextuelle entre les modalités. Pour les entreprises qui déploient des agents IA en production, c'est une réduction directe de la facture cloud et des points de défaillance. Ce lancement s'inscrit dans la stratégie plus large de NVIDIA de dominer non seulement le matériel GPU, mais aussi la couche logicielle et les modèles fondamentaux pour l'IA d'entreprise. La série Nemotron, qui comprend également des modèles plus grands comme Nemotron-4, vise à offrir des alternatives performantes aux modèles propriétaires d'OpenAI ou d'Anthropic. Avec la montée en puissance des agents autonomes capables d'interagir avec des interfaces graphiques, des fichiers et des flux audio, un modèle omnimodal efficace et ouvert représente une brique stratégique pour la prochaine génération d'assistants et d'automatisations.

GPT-Realtime-2, -Translate et -Whisper : de nouvelles API vocales en temps réel de pointe

OpenAI a lancé le 6 mai 2026 trois nouveaux modèles audio dans son API Realtime : GPT-Realtime-2, GPT-Realtime-Translate et GPT-Realtime-Whisper. Le modèle phare, GPT-Realtime-2, affiche une progression de 15,2 % sur le benchmark Big Bench Audio, contre seulement 5 % pour le realtime-1.5 sorti il y a trois mois. OpenAI le présente comme son "modèle vocal le plus intelligent à ce jour", intégrant un raisonnement comparable à GPT-5 en temps réel. Sa fenêtre de contexte passe de 32 000 à 128 000 tokens, avec jusqu'à 32 000 tokens en sortie. GPT-Realtime-Translate prend en charge la traduction simultanée depuis plus de 70 langues vers 13 langues de sortie, tandis que GPT-Realtime-Whisper offre une transcription en streaming à faible latence pour les sous-titres et la prise de notes. Les trois modèles sont disponibles immédiatement dans l'API Realtime pour les développeurs ; les améliorations dans ChatGPT voice sont annoncées mais non encore déployées. L'enjeu de cette version dépasse la qualité audio : OpenAI mise sur l'utilisabilité des agents vocaux en production. GPT-Realtime-2 permet des appels d'outils en parallèle avec des confirmations verbales ("je vérifie votre calendrier"), des préambules naturels ("un instant, je cherche ça"), et une meilleure gestion des interruptions. Il peut aussi adapter son ton, calme, empathique ou dynamique, selon le contexte, et les développeurs peuvent désormais régler le niveau de raisonnement sur cinq paliers allant de "minimal" à "xhigh". Pour les entreprises qui déploient des agents vocaux dans la santé, le service client ou les assistants professionnels, ce gain de fluidité et de robustesse représente un saut concret vers des systèmes déployables sans supervision constante. Cette sortie s'inscrit dans une course effrénée pour dominer les interfaces vocales de l'IA. OpenAI avait lancé son API Realtime en septembre 2024, mais les premières versions peinaient à convaincre par leur manque de fiabilité et leur contexte limité. La progression rapide des trois derniers mois signale une priorité stratégique claire : Sam Altman a lui-même souligné que les utilisateurs recourent de plus en plus à la voix pour "déverser" de grandes quantités de contexte à l'IA, un usage que les interfaces texte peinent à absorber naturellement. Face à Google, qui pousse ses propres modèles Gemini Live, et à des acteurs spécialisés comme ElevenLabs, OpenAI cherche à verrouiller le segment des agents vocaux professionnels avant que le marché ne se fragmente.

💬 L'API Realtime de septembre 2024, franchement, ça peinait. Là, les préambules naturels, les interruptions gérées, les appels d'outils en parallèle avec confirmation verbale, tout ce qui rend un agent vocal déployable sans supervision constante, c'est enfin dans la boîte. C'est le genre de liste de features qui fait passer de la démo au vrai prod.