SenseTime lance SenseNova U1, vers une ère de modèles unifiés pour la compréhension et la génération

Apple présente la troisième génération de ses modèles de fondation

Apple a dévoilé la troisième génération de ses Apple Foundation Models (AFM), une famille de cinq modèles d'intelligence artificielle développés en collaboration avec Google. Ces modèles, présentés comme le coeur de la prochaine version d'Apple Intelligence, couvrent un spectre allant des modèles fonctionnant directement sur l'appareil jusqu'aux modèles hébergés sur des serveurs via l'infrastructure Private Cloud Compute. Ils alimenteront notamment une refonte complète de Siri ainsi qu'une série d'outils intelligents intégrés aux systèmes d'exploitation Apple. Ce partenariat avec Google marque un tournant stratégique pour Apple, qui avait jusqu'ici développé ses modèles en interne. L'enjeu est considérable : Apple doit rattraper son retard sur des concurrents comme OpenAI, Google et Microsoft dans la course aux assistants IA natifs. En distribuant le traitement entre l'appareil local et le cloud sécurisé, Apple cherche à offrir des capacités IA avancées sans sacrifier la confidentialité des données, un argument différenciateur central face à des services cloud classiques. Cette annonce s'inscrit dans la stratégie Apple Intelligence lancée en 2024, dont le déploiement progressif avait suscité des critiques sur la lenteur des livraisons. La collaboration avec Google est particulièrement significative : les deux entreprises, habituellement rivales sur les moteurs de recherche et les systèmes mobiles, s'associent ici sur la couche infrastructure IA. La famille de cinq modèles suggère une segmentation fine des cas d'usage, de la compréhension vocale embarquée aux tâches complexes nécessitant de la puissance serveur.

StepFun lance StepAudio 2.5 Realtime : un modèle vocal bout-en-bout avec RLHF dédié au jeu de rôle et compréhension paraverbale

Le laboratoire d'intelligence artificielle shanghaïen StepFun a lancé StepAudio 2.5 Realtime, un modèle vocal en temps réel de bout en bout capable de maintenir des personnages stables lors de conversations prolongées. Contrairement aux systèmes classiques qui enchaînent reconnaissance vocale, raisonnement et synthèse en étapes séparées, StepAudio 2.5 Realtime traite l'audio en entrée et produit de l'audio en sortie au sein d'un unique système unifié, sans pipeline intermédiaire. Le modèle supporte le chinois et l'anglais, et s'intègre via une API WebSocket à l'adresse wss://api.stepfun.com/v1/realtime. Sur les cinq dimensions évaluées lors de benchmarks conduits en avril 2026, le modèle s'est classé premier : 80,41 en évaluation humaine subjective, 86,36 en dialogue général, 84,80 en scénario automobile, 79,80 en questions-réponses orales sur 11 tâches de compréhension audio, et 82,18 en compréhension paralinguistique. Ce que distingue fondamentalement ce modèle, c'est sa capacité à percevoir et interpréter les signaux paralinguistiques, c'est-à-dire les informations acoustiques non verbales comme le ton, le débit de parole, les pauses, les soupirs ou les rires. En analysant ces éléments directement sur les caractéristiques audio plutôt que sur la transcription textuelle, le modèle peut détecter la fatigue dans un ton bas ou la frustration dans un débit rapide, adaptant ainsi ses réponses à l'état émotionnel de l'interlocuteur. Par ailleurs, StepFun a appliqué un entraînement par renforcement à partir de retours humains (RLHF) spécifiquement dédié à la cohérence de personnage dans les scénarios de roleplay, ciblant directement le problème bien connu de dérive hors-personnage qui affecte la plupart des agents conversationnels actuels. Combinée à une fusion profonde entre compréhension et génération vocale, cette approche permet au modèle de calibrer un registre émotionnel global sur une réponse tout en ajustant les détails acoustiques fins au niveau de chaque phrase. StepFun s'est appuyé sur plus de 10 000 personas rédigés nativement, amplifiés algorithmiquement pour constituer une matrice de données à l'échelle du million, couplée à des millions d'échantillons conversationnels réels. Cette stratégie d'augmentation évite l'étiquetage manuel massif tout en garantissant la robustesse sur des sujets conversationnels rares ou complexes. Le lancement de StepAudio 2.5 Realtime s'inscrit dans une compétition croissante autour des interfaces vocales en temps réel, où OpenAI, Google et plusieurs acteurs asiatiques investissent massivement. La capacité à maintenir un personnage cohérent sur la durée, combinée à une compréhension émotionnelle fine, positionne ce type de modèle comme une brique centrale pour les assistants embarqués, la téléphonie automatisée et les applications de compagnonnage interactif.

💬 La vraie différence ici c'est la compréhension paralinguistique : lire la fatigue ou la frustration directement sur l'audio, sans passer par la transcription texte. J'attends ça depuis longtemps sur les agents vocaux. Le RLHF ciblé sur la cohérence de personnage en roleplay c'est une vraie bonne idée, reste à voir si les benchmarks tiennent une fois en prod avec de vrais utilisateurs.

Mistral AI lance Voxtral TTS : un modèle vocal open-weight de 4 milliards de paramètres pour la génération vocale multilingue en temps réel

Mistral AI a lancé Voxtral TTS, son premier modèle de synthèse vocale en poids ouverts, marquant l'entrée officielle de la startup française dans la génération audio. Publié sous licence CC BY-NC, le modèle repose sur une architecture hybride de 4 milliards de paramètres répartis en trois composants distincts : un décodeur Transformer de 3,4 milliards de paramètres basé sur l'architecture Ministral pour la compréhension du texte, un transformeur acoustique à flux de 390 millions de paramètres pour convertir les représentations sémantiques en caractéristiques sonores, et un codec neural de 300 millions de paramètres pour restituer une forme d'onde audio haute fidélité. Le modèle supporte neuf langues nativement — anglais, français, allemand, espagnol, néerlandais, portugais, italien, hindi et arabe — avec une attention portée aux dialectes régionaux et à la prosodie locale. Il permet également le clonage vocal zero-shot à partir de seulement trois secondes d'audio de référence. Les performances annoncées positionnent Voxtral TTS comme une alternative sérieuse aux API vocales propriétaires : le modèle atteint une latence de 70 millisecondes pour un échantillon de dix secondes (500 caractères en entrée), et un facteur temps réel d'environ 9,7x, ce qui signifie qu'il génère de l'audio près de dix fois plus vite que la durée de parole produite. Pour les développeurs qui construisent des agents conversationnels, des systèmes de traduction simultanée ou des interfaces vocales à fort trafic, cela se traduit par une réduction concrète des coûts de calcul et la capacité à absorber des charges élevées sur du matériel d'inférence standard. La séparation entre couche sémantique et couche acoustique garantit par ailleurs une cohérence sur de longs passages tout en préservant les nuances fines de la voix. Voxtral TTS s'inscrit dans une stratégie cohérente de Mistral : compléter sa pile technologique couche par couche, après ses modèles de transcription et de langage, pour proposer désormais l'ensemble du pipeline audio en open-weight. Face à des API fermées comme celles d'OpenAI ou ElevenLabs, l'offre de Mistral mise sur la souveraineté des données et l'absence de dépendance tarifaire — un argument qui résonne particulièrement auprès des entreprises européennes soumises au RGPD. La capacité d'adaptation vocale par few-shot ouvre également la voie à des expériences personnalisées à grande échelle, des voix de marque cohérentes aux assistants localisés, sans recourir à des phases de fine-tuning coûteuses. La prochaine étape logique pour Mistral serait d'intégrer Voxtral TTS dans une offre unifiée speech-to-speech, complétant le cycle entrée-sortie audio de bout en bout.

Tencent AI publie Covo-Audio en open source : un modèle de langage vocal 7B pour la conversation audio en temps réel

Tencent AI Lab a publié Covo-Audio, un modèle de langage audio de 7 milliards de paramètres conçu pour traiter directement des entrées audio continues et générer des sorties vocales au sein d'une seule architecture unifiée. Le système repose sur quatre composants principaux : un encodeur audio basé sur Whisper-large-v3, un adaptateur qui réduit le débit de 50 Hz à 6,25 Hz, un backbone LLM fondé sur Qwen2.5-7B-Base, et un décodeur capable de reconstruire des formes d'onde haute-fidélité à 24 000 Hz. Une innovation centrale, baptisée « Hierarchical Tri-modal Speech-Text Interleaving », aligne simultanément les caractéristiques acoustiques continues, les tokens vocaux discrets et le texte en langage naturel, permettant une cohérence sémantique aussi bien au niveau des phrases que des utterances longues. L'entraînement a impliqué un pipeline en deux étapes traitant au total 2 000 milliards de tokens. Le modèle intègre également une stratégie de découplage intelligence-voix qui sépare le raisonnement dialogique du rendu vocal, minimisant ainsi le besoin de données d'entraînement spécifiques à chaque locuteur. Une variante temps-réel, Covo-Audio-Chat-FD, permet une communication en duplex intégral avec des chunks audio de 0,16 seconde et des tokens spéciaux pour gérer les interruptions et les transitions de parole. Covo-Audio représente une avancée significative vers des assistants vocaux capables de raisonner en temps réel sans passer par des pipelines séparés de reconnaissance vocale et de génération de texte. La capacité duplex intégral — où le modèle peut écouter et parler simultanément, détecter les interruptions et reprendre l'écoute instantanément — rapproche considérablement les systèmes IA d'une conversation naturelle fluide. La technique de découplage intelligence-voix est particulièrement notable sur le plan commercial : elle permet de personnaliser la voix d'un assistant avec très peu de données TTS, sans sacrifier les capacités de raisonnement, ce qui réduit drastiquement les coûts de déploiement de voix personnalisées. L'intégration du raisonnement en chaîne de pensée (Chain-of-Thought) directement dans le flux audio ouvre également la voie à des assistants vocaux capables de traiter des requêtes complexes en direct, là où les systèmes actuels se limitent souvent à des réponses factuelles simples. Ce lancement s'inscrit dans une course industrielle intense autour des modèles audio de bout en bout, avec des acteurs comme OpenAI (GPT-4o), Google (Gemini Live) et Meta qui investissent massivement dans la suppression des latences introduites par les architectures en pipeline classiques. La mise en open source de Covo-Audio par Tencent positionne le laboratoire comme un contributeur majeur à cet espace, tout en offrant à la communauté de recherche une base solide pour explorer les interactions vocales intelligentes multimodales.