Aller au contenu principal
CréationApple Machine Learning · 1 min de lecture

Synthèse efficace en mémoire par transformers de diffusion à profondeur temporelle découplée

Source originale ↗·

Apple a publié une étude technique détaillant l'architecture audio qui alimente les « Siri Expressive Voices », un système de synthèse vocale capable de produire une parole riche et configurable en temps réel, entièrement sur l'appareil, sans passer par le cloud. Cette fonctionnalité s'appuie sur AFM 3 Core Advanced, le modèle de fondation le plus puissant qu'Apple fait tourner en local. Au cœur du dispositif se trouve un « detokenizer » chargé de convertir les tokens audio sémantiques produits par le modèle en un son haute fidélité, tout en respectant les contraintes très serrées de calcul et de mémoire imposées par le coprocesseur matriciel maison, l'Apple Matrix Coprocessor (AMX). Pour y parvenir, les ingénieurs transforment ces tokens en une représentation par quantification vectorielle résiduelle (RVQ), organisée autour d'une architecture en trois composants, dont un module de diffusion en flux continu destiné à réduire l'empreinte mémoire pendant la génération.

L'enjeu est de taille pour Apple, qui mise depuis plusieurs générations d'iPhone sur le traitement local des données afin de préserver la confidentialité et de réduire la latence. Réussir à générer une voix expressive et naturelle sans dépendre d'un serveur distant permet à Siri de répondre plus vite, même hors ligne, et évite d'exposer les échanges vocaux des utilisateurs à des infrastructures externes. Cette avancée technique illustre aussi la capacité d'Apple à faire tourner des modèles de génération audio sophistiqués sur du matériel grand public, contrainte que ses concurrents cloud n'ont pas.

Cette publication s'inscrit dans l'effort plus large d'Apple pour rattraper son retard perçu dans l'intelligence artificielle générative face à Google, OpenAI et Amazon, en misant sur une stratégie différenciante : le tout sur l'appareil plutôt que le tout cloud. Les Siri Expressive Voices s'appuient sur les avancées de la famille de modèles Apple Foundation Models (AFM), déjà présentée lors des précédentes conférences WWDC, et laissent entrevoir de futures itérations de Siri plus fluides et personnalisables, à mesure qu'Apple consolide son infrastructure d'IA embarquée.

Dans nos dossiers

Cet article vous a été utile ?

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

Les meilleurs modèles de synthèse vocale en 2026 : comparaison par benchmarks
1MarkTechPost 

Les meilleurs modèles de synthèse vocale en 2026 : comparaison par benchmarks

La synthèse vocale par intelligence artificielle a connu une accélération spectaculaire en 2026, au point que la frontière entre voix humaine et voix synthétique est devenue difficile à percevoir. Les deux références de l'industrie pour comparer ces modèles sont le classement Artificial Analysis Speech Arena, qui attribue un score ELO basé sur les préférences humaines en aveugle, et le TTS Arena de Hugging Face, qui fonctionne sur le même principe de vote A/B. Au 30 mai 2026, le top 5 de l'Artificial Analysis Speech Arena est occupé par Gemini 3.1 Flash TTS de Google, Realtime TTS-2 d'Inworld (en Research Preview), Sonic 3.5, Realtime TTS 1.5 Max et Fun-Realtime-TTS-Preview. Parmi les acteurs les plus remarquables, Inworld AI, un laboratoire fondé par des anciens de Google et DeepMind, a lancé TTS-1.5 le 21 janvier 2026, suivi de Realtime TTS-2 plus tard dans l'année. Son modèle propose deux niveaux : Mini, optimisé pour la latence avec un temps avant premier audio inférieur à 130 millisecondes au 90e percentile, et Max, sous 250 millisecondes. La tarification va de 25 dollars par million de caractères pour le Mini jusqu'à 5 dollars en offre Enterprise. Google DeepMind, de son côté, a publié Gemini 3.1 Flash TTS le 15 avril 2026, accessible via l'API Gemini, AI Studio et Vertex AI. Ces évolutions ont des implications directes pour les développeurs et les entreprises qui intègrent la voix dans leurs produits. Une latence sous les 100 millisecondes est désormais atteignable pour certains systèmes temps réel, ce qui rend les agents vocaux réellement utilisables dans des contextes grand public, comme le service client automatisé ou les jeux vidéo. Inworld revendique 30 % de plage expressive supplémentaire et 40 % de stabilité en plus par rapport à sa génération précédente, deux critères critiques pour des applications qui ne peuvent se permettre ni monotonie ni erreurs de prononciation. Les tarifs agressifs, notamment l'offre Enterprise à 5 dollars le million de caractères, signalent une course vers la commoditisation du TTS, similaire à ce que le marché des LLM a vécu entre 2023 et 2025. La comparaison entre modèles reste néanmoins complexe, car aucun benchmark ne capture l'ensemble des dimensions pertinentes. La qualité perçue, le taux d'erreur de caractères mesuré par méthode aller-retour (transcription ASR puis comparaison avec l'entrée), la latence de queue et la couverture linguistique obéissent à des logiques distinctes. Inworld couvre 15 langues pour TTS-1.5 mais plus de 100 pour TTS-2, tandis que les classements ELO fluctuent d'une semaine à l'autre. L'enjeu pour les équipes produit est d'identifier l'axe non négociable de leur application, qu'il s'agisse de la latence pour un assistant vocal ou de la fidélité phonétique pour un usage éditorial, avant de choisir leur fournisseur dans un marché qui reste en recomposition permanente.

💬 Le TTS vit ce que les LLM ont traversé entre 2023 et 2025. 5 dollars le million de caractères en Enterprise chez Inworld, Gemini Flash TTS qui s'installe en tête des classements, la course vers la commoditisation est enclenchée et ça va aller vite. La vraie nouveauté, c'est la latence sous 100ms qui rend enfin les agents vocaux utilisables en vrai, pas juste en démo.

CréationOutil
1 source
Modification vidéo avec l’IA : le guide ultime pour transformer vos contenus en 2026
2Le Big Data 

Modification vidéo avec l’IA : le guide ultime pour transformer vos contenus en 2026

La transformation de photos statiques en vidéos animées, autrefois réservée aux studios de cinéma professionnels, est devenue accessible en 2026 à n'importe quel créateur équipé d'un simple smartphone. Cette évolution repose sur des modèles d'intelligence artificielle génératifs capables d'animer, d'éditer et d'enrichir des images fixes sans intervention technique de l'utilisateur. Des plateformes comme Seedance illustrent cette tendance : à partir d'une simple photo et d'une description textuelle, ces outils génèrent des mouvements fluides et cohérents, recréent des décors entiers et ajoutent une dimension narrative à une image unique. Les algorithmes analysent la géométrie et les textures du cliché fourni pour produire des animations qui respectent la physique des éléments représentés, qu'il s'agisse d'une mèche de cheveux, d'un tissu ou d'un décor complet. Les entreprises et les créateurs indépendants adoptent massivement ces solutions pour produire du contenu vidéo court destiné à des plateformes comme TikTok et Instagram. Cette automatisation change concrètement la manière dont les marques et les créateurs conçoivent leur communication visuelle. Ce qui exigeait auparavant de longues heures de montage sur des logiciels professionnels complexes se réalise désormais en quelques instructions écrites, ce qui réduit drastiquement les coûts et les délais de production. Pour les indépendants et les petites structures qui ne disposent ni du budget ni des compétences techniques d'un studio, cela ouvre l'accès à des formats vidéo dynamiques auparavant hors de portée. Les plateformes constatent également que les contenus animés génèrent un engagement nettement supérieur aux visuels statiques sur les réseaux sociaux, ce qui pousse les équipes marketing à intégrer ces outils dans leurs flux de production quotidiens. Techniquement, cette avancée s'appuie sur des architectures dites multimodales, capables de traiter simultanément texte et image plutôt que ces deux types de données de façon isolée comme le faisaient les générations précédentes de modèles. Le système traduit les instructions écrites en commandes graphiques précises, identifie les sujets et éléments de décor pour anticiper leurs déplacements physiques respectifs, et gère de manière autonome la perspective tridimensionnelle ainsi que la diffusion de la lumière. Ces outils intègrent désormais aussi un traitement acoustique avancé, permettant de synchroniser le son généré avec les mouvements à l'image, par exemple caler une piste musicale sur le rythme d'une action. Cette convergence entre texte, image et son marque une étape supplémentaire dans la généralisation des outils génératifs multimodaux au service de la création de contenu grand public.

CréationOutil
1 source
Miso Labs lance Miso One : la nouvelle référence open source de la synthèse vocale ?
3Le Big Data 

Miso Labs lance Miso One : la nouvelle référence open source de la synthèse vocale ?

Miso Labs a lancé le 3 juin 2026 Miso One, un modèle de synthèse vocale open source de 8 milliards de paramètres conçu pour la génération vocale conversationnelle. Contrairement aux systèmes classiques de lecture de texte, Miso One vise à produire des échanges naturels dont le ton et le rythme s'adaptent au contexte. Sa caractéristique technique la plus frappante est sa latence annoncée de 110 millisecondes, soit moins que le temps de réaction humain moyen en conversation, estimé à 160 millisecondes. Le modèle propose également le clonage vocal à partir d'un extrait audio d'une dizaine de secondes, une fonctionnalité désormais courante dans le secteur mais rare dans les solutions ouvertes. Miso Labs a publié les poids du modèle dès son lancement, permettant aux développeurs de l'héberger eux-mêmes, de l'adapter ou de l'intégrer directement dans leurs applications. L'enjeu principal de ce lancement est de proposer une alternative crédible et souveraine aux API vocales propriétaires qui dominent le marché, comme celles d'ElevenLabs ou d'OpenAI. La possibilité d'héberger le modèle en local intéresse particulièrement les organisations traitant des données sensibles : secteur médical, financier ou administrations publiques, pour qui confier des données audio à des tiers représente un risque juridique et réglementaire réel. Sur le plan de l'expérience utilisateur, réduire la latence sous le seuil de perception humaine pourrait effacer l'une des dernières frictions qui trahissent encore les assistants vocaux, le silence artificiel entre question et réponse. Les premiers retours de testeurs publiés en ligne sont enthousiastes, certains affirmant avoir fait passer des voix générées pour des enregistrements humains auprès de proches. La synthèse vocale expressive est devenue un champ de bataille technologique majeur, tirée par l'essor des agents conversationnels et des interfaces vocales embarquées. Miso Labs s'inscrit dans un mouvement plus large de modèles open source qui cherchent à contester la domination des grandes plateformes américaines en rendant des capacités avancées accessibles sans abonnement ni dépendance à une API fermée. Cela dit, plusieurs zones d'ombre subsistent à ce stade : l'entreprise n'a pas publié la méthodologie précise derrière sa mesure de latence à 110 millisecondes, ni les conditions matérielles dans lesquelles ce chiffre a été obtenu. Aucune évaluation indépendante n'est encore venue valider les performances revendiquées en matière d'expressivité. Comme souvent dans l'industrie de l'IA, les annonces précèdent les benchmarks tiers, et Miso One devra passer l'épreuve des tests communautaires pour confirmer ses promesses.

UELes organisations européennes traitant des données audio sensibles (santé, finance, administrations publiques) pourraient adopter Miso One pour éliminer le risque juridique lié au transfert de données vers des API vocales tierces, en cohérence avec les obligations du RGPD.

💬 110 ms de latence sur un modèle open source auto-hébergeable, c'est le genre d'annonce qui mérite qu'on s'arrête deux secondes. Ce qui m'intéresse vraiment ici, c'est moins la perf brute que la possibilité de cloner une voix en local sans envoyer la moindre donnée audio à ElevenLabs ou OpenAI, ce qui débloque enfin la synthèse vocale pour le médical, le financier, les administrations, tout ce monde qui voulait se lancer mais bloquait sur le RGPD. Reste que le 110 ms sent le benchmark maison, et on attend les tests communautaires pour vraiment y croire.

CréationOpinion
1 source
Alibaba lance Qwen-Audio-3.0-TTS, un modèle de synthèse vocale hébergé en versions Flash et Plus dans 16 langues
4MarkTechPost 

Alibaba lance Qwen-Audio-3.0-TTS, un modèle de synthèse vocale hébergé en versions Flash et Plus dans 16 langues

Tongyi Lab, le laboratoire de recherche d'Alibaba, a lancé Qwen-Audio-3.0-TTS, un système de synthèse vocale conçu pour la production, disponible en deux versions hébergées sur Alibaba Cloud Model Studio plutôt qu'en modèles téléchargeables. La version Flash, identifiée qwen-audio-3.0-tts-flash, cible les interactions en temps réel avec une latence au premier paquet audio de l'ordre de 300 millisecondes, tandis que la version Plus, qwen-audio-3.0-tts-plus, privilégie la qualité et le naturel de la voix. Les deux s'appuient sur un protocole WebSocket bidirectionnel en streaming, prennent en charge les formats PCM, WAV, MP3 et Opus jusqu'à 48 kHz, et proposent le clonage vocal, la création de voix sur mesure (Voice Design) et le contrôle par instructions. Le modèle couvre désormais 16 langues, dont sept nouvelles par rapport à la génération précédente, parmi lesquelles le français, l'allemand, l'espagnol, le russe, le japonais et le coréen, ainsi que 20 variantes dialectales chinoises. Sur le plan des performances, Flash affiche un taux d'erreur moyen de 3,87 sur l'ensemble des langues et Plus de 3,96, avec les meilleurs résultats obtenus dans 10 des 16 langues testées. Pour la similarité vocale, Plus atteint un score moyen de 82,75 sur les 16 langues, contre 80,44 pour Flash. Qwen-Audio-3.0-TTS-Plus occupe par ailleurs la première place du classement indépendant Artificial Analysis dédié à la synthèse vocale. Cette annonce s'adresse directement aux équipes qui déploient des applications vocales en production, un secteur où la latence, la robustesse face à des enregistrements de référence imparfaits et le contrôle fin du ton restent des obstacles fréquents. L'ajout de 86 balises intégrables directement dans le texte, comme [excited], [whispers] ou [laughing], permet aux développeurs d'insuler des variations d'émotion ou des sons non verbaux tels que le rire, la respiration ou la toux, sans recourir à un post-traitement audio séparé. Une bibliothèque de voix prédéfinies dans les 16 langues supportées permet également de lancer un produit sans passer par une étape de clonage vocal, ce qui réduit le temps de mise sur le marché pour les équipes produit. Techniquement, le système repose sur un tokenizer vocal à basse fréquence de 12,5 Hz, qui réduit le coût de calcul du décodage tout en conservant les informations de contenu et de timbre, combiné à un entraînement en cinq étapes progressives associant modèle de langage et techniques de flow-matching. Cette architecture permet une synthèse continue allant jusqu'à trois minutes en une seule passe et une résolution audio améliorée en sortie 48 kHz. Le mouvement s'inscrit dans la compétition intense que se livrent les grands groupes technologiques chinois et américains sur la synthèse vocale de qualité professionnelle, un marché en forte croissance porté par les assistants vocaux, le doublage automatisé et les agents conversationnels.

CréationActu
1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription en un clic