Qwen-3 Omni : Alibaba accélère dans la course à l’IA multimodale

L'équipe Qwen d'Alibaba publie Qwen3.5 Omni : un modèle multimodal natif pour le texte, l'audio, la vidéo et l'interaction en temps réel

L'équipe Qwen d'Alibaba a publié Qwen3.5-Omni, un modèle multimodal natif capable de traiter simultanément du texte, des images, de l'audio et de la vidéo au sein d'un seul pipeline computationnel. Disponible en trois variantes — Plus (raisonnement complexe), Flash (faible latence) et Light (efficacité) — le modèle phare Qwen3.5-Omni-Plus revendique des résultats de pointe sur 215 sous-tâches de compréhension et de raisonnement audio et audiovisuel, dépassant selon Alibaba le Gemini 3.1 Pro de Google sur la compréhension audio générale, la reconnaissance vocale et la traduction. Son encodeur audio natif (Audio Transformer) a été pré-entraîné sur plus de 100 millions d'heures de données audio-visuelles, et l'architecture supporte des fenêtres contextuelles de 256 000 tokens — soit plus de 10 heures d'audio continu ou 400 secondes de contenu vidéo 720p. Ce lancement marque un tournant dans la conception des modèles multimodaux : on passe des architectures « en patchwork », où des encodeurs spécialisés (comme Whisper pour l'audio) sont greffés sur un socle textuel, à des systèmes entièrement natifs et unifiés. Pour l'industrie, cela signifie des agents vocaux et visuels capables d'interaction en temps réel sans les pénalités de latence propres aux pipelines en cascade. L'architecture Thinker-Talker, couplée à un mécanisme Hybrid-Attention Mixture of Experts (MoE), permet au modèle d'allouer dynamiquement ses ressources selon la modalité dominante — favorisant les tokens visuels lors d'une analyse vidéo, par exemple — tout en conservant un débit compatible avec les services de streaming. Concrètement, les développeurs d'applications vocales, de systèmes de sous-titrage automatique ou d'assistants multimodaux disposent d'un socle technique plus robuste et moins coûteux à exploiter. La course aux modèles omnimodaux s'est accélérée depuis que Google a démontré avec Gemini la viabilité des architectures nativement multimodales, forçant les acteurs comme OpenAI, Meta et Alibaba à répondre. Qwen3.5-Omni s'inscrit dans la stratégie offensive d'Alibaba pour s'imposer comme alternative crédible aux modèles occidentaux, notamment sur les marchés asiatiques et auprès des entreprises sensibles à la souveraineté des données. Deux problèmes d'ingénierie spécifiques à l'interaction temps réel ont été adressés : la stabilité du flux de parole (via un mécanisme baptisé ARIA — Adaptive Rate Interleave Alignment, qui synchronise les tokens texte et audio de nature asymétrique) et la fluidité conversationnelle. Les benchmarks avancés par Alibaba — 8 tests de reconnaissance automatique de la parole, 156 tâches de traduction parole-texte dans des langues spécifiques, 43 tâches d'ASR ciblées — restent à valider par des évaluations indépendantes, mais positionnent déjà Qwen3.5-Omni comme un concurrent direct aux modèles les plus avancés du moment.

💬 L'architecture native, c'est vraiment ce qui change la donne ici. Pas un Whisper greffé sur un LLM avec du scotch, mais un seul pipeline qui ingère tout en même temps, avec 100 millions d'heures d'entraînement audio-vidéo derrière. Les benchmarks Alibaba, bon, à vérifier en conditions réelles — mais le socle technique, lui, a l'air solide.

Meta revient dans la course à l'IA avec un nouveau modèle appelé "Muse Spark

Meta Superintelligence Labs lance son premier modèle d'intelligence artificielle depuis la refonte massive des ambitions IA de Mark Zuckerberg, qui a investi des milliards dans ce virage stratégique. Baptisé Muse Spark, ce modèle alimente désormais l'application Meta AI et le site meta.ai aux États-Unis. Dans les prochaines semaines, il sera intégré à WhatsApp, Instagram, Facebook, Messenger et les lunettes connectées de Meta, avec un déploiement progressif dans d'autres pays. Une version privée sera également mise à disposition de certains partenaires sélectionnés par l'entreprise. Muse Spark représente le premier modèle d'une nouvelle série et positionne Meta comme un concurrent direct de Google Gemini sur le terrain de l'intégration native dans un écosystème produit. Comme Google l'a fait avec ses propres services, Meta parie sur une IA "conçue spécifiquement pour ses produits", ce qui lui permet de toucher instantanément plusieurs milliards d'utilisateurs actifs sur ses plateformes. Cette intégration transversale donne à Meta un avantage de distribution considérable face aux modèles indépendants comme GPT-4o ou Claude. Ce lancement intervient après des mois de restructuration interne chez Meta, marqués par la création de Meta Superintelligence Labs et le recrutement agressif de chercheurs de pointe. Zuckerberg avait publiquement reconnu que Meta accusait un retard sur OpenAI et Google dans la course aux modèles frontier. Muse Spark est la réponse directe à cette lacune, avec l'ambition de transformer les milliards d'interactions quotidiennes sur les applications Meta en terrain d'apprentissage et de déploiement à grande échelle.

💬 Meta joue pas dans la même cour que les labos de recherche pure, et ça tombe bien parce qu'ils jouent un autre jeu. Intégrer un modèle maison dans WhatsApp, Instagram et les Ray-Ban d'un coup, c'est une approche que même Google galère encore à coordonner à cette échelle. Si Muse Spark est juste "bon", la distribution fait le reste.

NVIDIA Nemotron 3 Nano Omni intègre le raisonnement d'agents multimodaux dans un modèle ouvert et efficace

NVIDIA a dévoilé Nemotron-N-Nano-3B-Omni, un modèle multimodal compact capable de traiter simultanément du texte, des images, des vidéos et de l'audio au sein d'une seule architecture unifiée. Conçu pour l'inférence efficace, ce modèle de 3 milliards de paramètres est publié en open weights, ce qui permet à n'importe quel développeur de le télécharger, le modifier et le déployer sans dépendre des serveurs NVIDIA. Il prend en charge le raisonnement agentique, c'est-à-dire la capacité à enchaîner des perceptions et des actions dans une boucle autonome, couvrant aussi bien l'analyse de documents que l'interprétation d'écrans ou la compréhension vocale. L'intérêt principal de ce modèle réside dans sa conception monolithique : là où les systèmes agentiques actuels assemblent des chaînes de modèles spécialisés distincts pour la vision, l'audio et le texte, Nemotron Nano Omni gère l'ensemble dans un seul passage d'inférence. Cela réduit significativement la latence, la complexité d'orchestration et le coût de calcul, tout en maintenant une cohérence contextuelle entre les modalités. Pour les entreprises qui déploient des agents IA en production, c'est une réduction directe de la facture cloud et des points de défaillance. Ce lancement s'inscrit dans la stratégie plus large de NVIDIA de dominer non seulement le matériel GPU, mais aussi la couche logicielle et les modèles fondamentaux pour l'IA d'entreprise. La série Nemotron, qui comprend également des modèles plus grands comme Nemotron-4, vise à offrir des alternatives performantes aux modèles propriétaires d'OpenAI ou d'Anthropic. Avec la montée en puissance des agents autonomes capables d'interagir avec des interfaces graphiques, des fichiers et des flux audio, un modèle omnimodal efficace et ouvert représente une brique stratégique pour la prochaine génération d'assistants et d'automatisations.

L'évolution des encodeurs : des modèles simples à l'IA multimodale

Les systèmes d'intelligence artificielle que nous utilisons chaque jour, des moteurs de recherche aux chatbots en passant par la détection de fraude bancaire, reposent tous sur une technologie rarement évoquée : les encodeurs. Ces composants agissent comme des traducteurs, convertissant l'information brute du monde réel (texte, images, sons) en représentations mathématiques que les machines peuvent traiter. Dans les années 1990 et 2000, cette conversion était entièrement manuelle : les développeurs décidaient eux-mêmes comment représenter chaque donnée. Un système de recommandation e-commerce pouvait catégoriser des chaussures de running comme "sport", mais ne pouvait établir de lui-même le lien avec les montres connectées ou les gourdes, sauf si ce lien avait été explicitement programmé. Les machines traitaient des chiffres, pas du sens. Tout a changé avec l'avènement des réseaux de neurones, qui ont permis aux encodeurs d'apprendre à partir des données plutôt que de suivre des règles fixes. Entraîné sur des milliers d'images de chats, un système identifie progressivement les oreilles, les moustaches, la queue, sans qu'aucun ingénieur ne lui ait décrit ces caractéristiques. Appliqué au langage, ce principe a conduit à la représentation des mots sous forme de vecteurs mathématiques capturant leur signification : c'est pourquoi Google comprend aujourd'hui que "vols pas chers" et "billets d'avion économiques" renvoient au même besoin. Une étape supplémentaire a été franchie avec les autoencodeurs, conçus pour comprimer l'information puis la reconstruire, forçant le modèle à identifier l'essentiel. Cette approche est désormais au cœur des systèmes anti-fraude des banques : un encodeur apprend ce qu'est une transaction "normale" et signale automatiquement toute anomalie, comme un achat à l'étranger inhabituellement élevé, sans avoir été programmé pour ce cas précis. La véritable rupture est venue avec les modèles Transformer, apparus à partir de 2017. Contrairement à leurs prédécesseurs qui traitaient l'information séquentiellement, ces architectures analysent la totalité d'une phrase ou d'une image en une seule passe, en pondérant dynamiquement quels éléments sont les plus pertinents. Face à l'ambiguïté de "Elle a vu l'homme avec le télescope", un encodeur Transformer analyse l'ensemble du contexte pour proposer l'interprétation la plus cohérente, là où les anciens modèles échouaient. Ces encodeurs alimentent aujourd'hui les assistants vocaux, les outils de traduction en ligne, les systèmes de recommandation de Netflix ou Spotify. L'étape suivante, déjà engagée dans des modèles comme CLIP ou Gemini, consiste à unifier texte, image, audio et vidéo dans un même espace de représentation : les encodeurs multimodaux, qui permettent à une IA de relier une photo, une description et un son comme le ferait un être humain.