Alibaba lance Qwen-Audio-3.1-Realtime : un modèle vocal full-duplex qui réfléchit, agit et décide quand parler
Alibaba a lancé Qwen-Audio-3.1, un ensemble de cinq modèles audio couvrant la reconnaissance vocale (ASR), la synthèse vocale (TTS) et l'interaction en temps réel. Le modèle phare, Qwen-Audio-3.1-Realtime, est un modèle vocal full-duplex conçu pour des agents vocaux capables d'appeler des outils. Les prix baissent d'environ 85 % pour le temps réel, 70 % pour la synthèse vocale et jusqu'à 95 % pour la transcription. Le modèle qwen-audio-3.1-realtime-plus est disponible via l'API managée QwenCloud, en WebSocket. Aucun poids ouvert n'a été annoncé. Il accepte texte et audio en entrée comme en sortie, avec un contexte de 262 000 tokens (245 000 en entrée, 16 000 en sortie) et des limites par défaut de 60 requêtes et 100 000 tokens par minute. L'audio en entrée coûte 6,4 dollars le million de tokens, le texte 0,8 dollar, et la sortie 24 dollars le million. Le modèle gère l'appel de fonctions, la recherche web, les sorties structurées, le cache de contexte et le fine-tuning. Un modèle compagnon, Qwen-Audio-3.1-ASR-Flash-Filetrans, transcrit les longs fichiers audio (mots-clés, séparation des locuteurs, dialectes chinois) pour 0,15 dollar en entrée et 0,47 dollar en sortie par million de tokens.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de MarkTechPost. Lire l'article original →
Côté architecture, deux modèles partagent le même encodeur audio et la même conception de LLM. Un modèle de décision full-duplex prédit s'il faut continuer d'écouter, parler, s'arrêter ou reprendre. Un modèle parole-vers-texte rédige la réponse, puis un moteur de rendu vocal sensible au contexte la convertit en parole en flux continu. L'entraînement suit trois volets. Pour « penser », une distillation on-policy remet le modèle audio en phase avec son LLM texte source à partir de données appariées à l'échelle du million d'heures. Des experts (empathie, intention, scènes acoustiques) sont entraînés par GRPO puis fusionnés en un seul modèle. Pour « agir », des environnements exécutables combinent outils, base JSON à état et politique métier ; le score vérifie l'état final avant la fluidité de la réponse. Le nombre moyen de requêtes par appel de recherche passe de 4,37 à 1,05, au prix d'un F1 de déclenchement qui recule de 60,87 % à 58,61 %. Les résultats s'améliorent aussi : Audio MultiChallenge passe de 47,12 à 52,21, la moyenne BBA sur 14 langues de 81,7 % à 88,1 %, et le WER sur FLEURS de 9,01 à 3,98.
Ces gains s'accompagnent de compromis. Sur Full-Duplex-Bench, les réponses à des personnes s'adressant à un tiers chutent de 0,13 à 0,03 et le taux de mots de remplissage de 0,7590 à 0,2960. En revanche, le taux de reprise indésirable après interruption grimpe de 0,035 à 0,130, et la latence d'arrêt sur interruption atteint 1,116 seconde contre 0,383 pour GPT-Realtime-2. Ce dernier reste devant lors de l'étude de red-teaming humain sur 50 sessions (96 % contre 92 %). Les chiffres τ-Voice reposent sur une adaptation half-duplex et ne sont pas comparables aux résultats full-duplex officiels. Cette offensive tarifaire vise directement OpenAI et Google (Gemini Live) sur le marché des agents vocaux, où le coût par minute pèse lourd. L'accent mis sur l'exécution fiable d'actions plutôt que sur la seule qualité conversationnelle correspond aux besoins des entreprises, comme les centres d'appels ou les assistants métiers.
Pas d'impact direct sur la France/UE