Aller au contenu principal
L'équipe Qwen d'Alibaba publie Qwen3.5 Omni : un modèle multimodal natif pour le texte, l'audio, la vidéo et l'interaction en temps réel
LLMsMarkTechPost1h

L'équipe Qwen d'Alibaba publie Qwen3.5 Omni : un modèle multimodal natif pour le texte, l'audio, la vidéo et l'interaction en temps réel

1 source couvre ce sujet·Source originale ↗·

L'équipe Qwen d'Alibaba a publié Qwen3.5-Omni, un modèle multimodal natif capable de traiter simultanément du texte, des images, de l'audio et de la vidéo au sein d'un seul pipeline computationnel. Disponible en trois variantes — Plus (raisonnement complexe), Flash (faible latence) et Light (efficacité) — le modèle phare Qwen3.5-Omni-Plus revendique des résultats de pointe sur 215 sous-tâches de compréhension et de raisonnement audio et audiovisuel, dépassant selon Alibaba le Gemini 3.1 Pro de Google sur la compréhension audio générale, la reconnaissance vocale et la traduction. Son encodeur audio natif (Audio Transformer) a été pré-entraîné sur plus de 100 millions d'heures de données audio-visuelles, et l'architecture supporte des fenêtres contextuelles de 256 000 tokens — soit plus de 10 heures d'audio continu ou 400 secondes de contenu vidéo 720p.

Ce lancement marque un tournant dans la conception des modèles multimodaux : on passe des architectures « en patchwork », où des encodeurs spécialisés (comme Whisper pour l'audio) sont greffés sur un socle textuel, à des systèmes entièrement natifs et unifiés. Pour l'industrie, cela signifie des agents vocaux et visuels capables d'interaction en temps réel sans les pénalités de latence propres aux pipelines en cascade. L'architecture Thinker-Talker, couplée à un mécanisme Hybrid-Attention Mixture of Experts (MoE), permet au modèle d'allouer dynamiquement ses ressources selon la modalité dominante — favorisant les tokens visuels lors d'une analyse vidéo, par exemple — tout en conservant un débit compatible avec les services de streaming. Concrètement, les développeurs d'applications vocales, de systèmes de sous-titrage automatique ou d'assistants multimodaux disposent d'un socle technique plus robuste et moins coûteux à exploiter.

La course aux modèles omnimodaux s'est accélérée depuis que Google a démontré avec Gemini la viabilité des architectures nativement multimodales, forçant les acteurs comme OpenAI, Meta et Alibaba à répondre. Qwen3.5-Omni s'inscrit dans la stratégie offensive d'Alibaba pour s'imposer comme alternative crédible aux modèles occidentaux, notamment sur les marchés asiatiques et auprès des entreprises sensibles à la souveraineté des données. Deux problèmes d'ingénierie spécifiques à l'interaction temps réel ont été adressés : la stabilité du flux de parole (via un mécanisme baptisé ARIA — Adaptive Rate Interleave Alignment, qui synchronise les tokens texte et audio de nature asymétrique) et la fluidité conversationnelle. Les benchmarks avancés par Alibaba — 8 tests de reconnaissance automatique de la parole, 156 tâches de traduction parole-texte dans des langues spécifiques, 43 tâches d'ASR ciblées — restent à valider par des évaluations indépendantes, mais positionnent déjà Qwen3.5-Omni comme un concurrent direct aux modèles les plus avancés du moment.

Impact France/UE

Les entreprises européennes sensibles à la souveraineté des données disposent d'une alternative crédible aux modèles américains pour leurs déploiements d'agents vocaux et visuels multimodaux en temps réel.

💬 Le point de vue du dev

L'architecture native, c'est vraiment ce qui change la donne ici. Pas un Whisper greffé sur un LLM avec du scotch, mais un seul pipeline qui ingère tout en même temps, avec 100 millions d'heures d'entraînement audio-vidéo derrière. Les benchmarks Alibaba, bon, à vérifier en conditions réelles — mais le socle technique, lui, a l'air solide.

À lire aussi

Microsoft AI lance Harrier-OSS-v1 : une nouvelle famille de modèles d'embeddings multilingues atteignant l'état de l'art sur Multilingual MTEB v2
1MarkTechPost 

Microsoft AI lance Harrier-OSS-v1 : une nouvelle famille de modèles d'embeddings multilingues atteignant l'état de l'art sur Multilingual MTEB v2

Microsoft a publié Harrier-OSS-v1, une famille de trois modèles d'embedding de texte multilingues qui décrochent les meilleurs scores du moment sur le benchmark Multilingual MTEB v2, la référence principale pour évaluer la qualité des représentations vectorielles de texte. La famille comprend trois variantes : un modèle de 270 millions de paramètres, un de 0,6 milliard, et un de 27 milliards. Tous trois partagent une fenêtre de contexte de 32 768 tokens — soit entre 32 et 64 fois celle des modèles classiques comme les dérivés de BERT — et produisent des embeddings de dimensions variables (1 024, 2 048 ou 5 376 selon la taille). Les modèles sont disponibles en open source sur HuggingFace. Ce lancement représente une rupture technique notable dans le domaine des embeddings. Contrairement aux architectures encodeur bidirectionnelles qui dominent ce secteur depuis BERT en 2018, Harrier repose sur une architecture décodeur-seulement, identique à celle des grands modèles de langage modernes. Pour obtenir un vecteur représentatif d'un texte entier, le modèle utilise le mécanisme de last-token pooling : l'état caché du dernier token de la séquence sert de représentation agrégée, puis est normalisé. La fenêtre de 32k tokens est particulièrement précieuse pour les systèmes RAG (Retrieval-Augmented Generation), où l'obligation de découper de longs documents en petits morceaux dégrade souvent la cohérence sémantique. Par ailleurs, les modèles plus petits (270M et 0,6B) ont été entraînés par distillation de connaissance à partir de modèles enseignants plus grands, leur permettant d'atteindre des performances supérieures à ce que leur taille laisserait espérer — un avantage concret pour les déploiements contraints en mémoire ou en latence. La course aux embeddings multilingues s'intensifie depuis que les applications RAG et la recherche sémantique sont devenues des composantes centrales des produits IA en entreprise. Microsoft entre sur ce terrain avec une approche instruction-tuned : pour obtenir les performances annoncées, chaque requête doit être précédée d'une instruction décrivant la tâche (par exemple, "Retrieve semantically similar text"), tandis que les documents sont encodés sans instruction. Ce design permet au modèle d'adapter dynamiquement son espace vectoriel selon le cas d'usage — recherche web, mining de traductions, classification. Face à des concurrents comme Cohere, Voyage AI ou les modèles E5 de Microsoft lui-même, Harrier-OSS-v1 se positionne comme une option open source sérieuse couvrant une gamme de tailles adaptée à des contraintes très différentes, du serveur embarqué au cluster GPU haute capacité.

UELes modèles open source multilingues couvrant les langues européennes permettent aux équipes R&D et entreprises de déployer des systèmes RAG performants sans dépendance à une API propriétaire.

LLMsActu
1 source
Claude Mythos : la prochaine IA surpuissante d’Anthropic vient de fuiter
2Le Big Data 

Claude Mythos : la prochaine IA surpuissante d’Anthropic vient de fuiter

Une fuite technique a exposé l'existence de Claude Mythos, le prochain grand modèle d'Anthropic, bien avant toute annonce officielle. Deux experts en cybersécurité ont découvert près de 3 000 fichiers internes accessibles librement en ligne, parmi lesquels un brouillon détaillant ce projet baptisé en interne « Capybara ». La publication Fortune a confirmé l'affaire, et Anthropic n'a pas nié : l'entreprise a elle-même qualifié Mythos de « bond de capacité » par rapport à Claude Opus 4.6, actuellement considéré comme l'un des modèles les plus puissants du marché. Les premiers benchmarks évoqués dans les documents montrent des gains significatifs en programmation, en raisonnement académique et surtout en cybersécurité, où l'écart avec Opus serait particulièrement marqué. Mythos s'inscrit au-delà de la gamme actuelle Haiku / Sonnet / Opus — un quatrième palier inédit, plus puissant et plus coûteux que tout ce qu'Anthropic a jamais déployé. Ce qui rend la situation délicate, c'est qu'Anthropic refuse pour l'instant tout déploiement grand public. La raison avancée en interne est claire : le modèle est jugé trop risqué pour une diffusion ouverte, en particulier à cause de ses capacités en cybersécurité, qui dépassent les protocoles de sécurité habituels de la firme. L'accès est donc limité à un cercle restreint de clients professionnels triés sur le volet, sans calendrier de lancement public annoncé. À cela s'ajoute un coût d'infrastructure sans précédent — faire tourner Mythos consomme des ressources massives, ce qui rend son déploiement à grande échelle à la fois risqué et économiquement complexe. Pour Anthropic, entreprise qui a construit toute sa réputation sur la sécurité responsable de l'IA, la fuite est doublement embarrassante : elle expose non seulement un produit non finalisé, mais aussi les tensions internes autour de la gestion du risque. La fuite survient à un moment particulièrement sensible pour Anthropic. L'entreprise est en pleine offensive commerciale en Europe, avec un sommet privé prévu au Royaume-Uni réunissant des dirigeants européens, en présence de Dario Amodei lui-même — signal fort d'une stratégie d'expansion assumée sur le marché professionnel continental. L'objectif est de s'imposer comme fournisseur d'automatisation intelligente de référence face à OpenAI et Google, en misant sur des standards de fiabilité stricts. En arrière-plan, une introduction en bourse (IPO) serait dans les plans, ce qui rend toute controverse publique particulièrement mal venue. La question que pose désormais Claude Mythos dépasse la performance pure : jusqu'où une entreprise peut-elle retenir un modèle qu'elle juge elle-même trop capable, et qui décide des conditions de son accès ?

UELe sommet privé d'Anthropic au Royaume-Uni réunissant des dirigeants européens en présence de Dario Amodei signale une offensive commerciale directe sur le marché professionnel continental, susceptible d'accélérer l'adoption de l'automatisation IA dans les entreprises européennes.

💬 C'est la première fois qu'Anthropic dit publiquement qu'un de leurs modèles est trop risqué pour le marché, et c'est pas rien. La fuite est gênante pour eux, surtout avec l'IPO en vue, mais le vrai sujet c'est ce palier au-dessus d'Opus qu'on n'attendait pas si tôt. Reste à voir si le "trop dangereux" c'est du marketing safety ou une vraie ligne rouge.

LLMsActu
1 source
Une fuite révèle Claude Mythos, le nouveau modèle Anthropic aux scores nettement supérieurs à tous ses prédécesseurs
3The Decoder 

Une fuite révèle Claude Mythos, le nouveau modèle Anthropic aux scores nettement supérieurs à tous ses prédécesseurs

Anthropic a involontairement exposé l'existence de son modèle d'intelligence artificielle le plus puissant à ce jour à cause d'une faille de sécurité élémentaire. Le modèle, baptisé Claude Mythos, afficherait des scores « nettement supérieurs » à tous les modèles précédents de la société sur les benchmarks d'évaluation standards. La fuite, survenue début 2026, n'était pas une annonce planifiée mais bien une erreur technique — un accès non sécurisé ayant laissé filtrer des informations internes sur la prochaine génération de modèles Anthropic. Cet incident intervient à un moment particulièrement sensible pour l'entreprise : OpenAI prépare également le lancement de sa propre génération suivante de modèles. Pour les deux sociétés, qui cherchent à consolider leur position sur un marché de plus en plus compétitif, la capacité à démontrer une supériorité technique avant une éventuelle introduction en bourse représente un enjeu considérable. La fuite involontaire d'Anthropic pourrait ainsi accélérer la communication officielle autour de Claude Mythos, sous peine de laisser le narratif se construire sans contrôle. Anthropic, fondée en 2021 par d'anciens membres d'OpenAI dont Dario et Daniela Amodei, a levé plusieurs milliards de dollars ces dernières années auprès d'Amazon et Google notamment. La société a bâti sa réputation sur une approche centrée sur la sécurité des systèmes d'IA avec sa méthodologie « Constitutional AI ». Une annonce officielle autour de Claude Mythos est désormais attendue prochainement, la fuite ayant de facto brûlé l'effet de surprise que l'entreprise réservait probablement pour un événement marketing soigneusement orchestré.

UEL'arrivée prochaine d'un modèle potentiellement de référence influencera les choix technologiques des développeurs et entreprises européens adoptant des solutions d'IA générative.

LLMsActu
1 source
Claude Mythos : la nouvelle IA d’Anthropic va faire trembler la concurrence et pourrait bouleverser tout internet
4Presse-citron 

Claude Mythos : la nouvelle IA d’Anthropic va faire trembler la concurrence et pourrait bouleverser tout internet

Anthropic prépare une nouvelle génération de modèle d'intelligence artificielle baptisée « Claude Mythos », qui représenterait un bond technologique significatif par rapport aux versions actuelles Claude Opus et Claude Sonnet. Selon les informations disponibles, ce modèle serait nettement plus puissant que ses prédécesseurs, positionnant Anthropic dans une course directe avec OpenAI, Google DeepMind et Meta pour la domination du marché des grands modèles de langage. L'enjeu est considérable : un modèle de cette envergure pourrait redéfinir les standards de l'industrie et accélérer l'adoption de l'IA dans des secteurs critiques — droit, médecine, ingénierie logicielle. Mais Anthropic elle-même s'inquiète des risques que ce lancement ferait peser sur la cybersécurité, notamment la capacité du modèle à faciliter des attaques informatiques sophistiquées ou à automatiser des opérations malveillantes à grande échelle. Cette tension entre puissance et sécurité est au cœur de la philosophie d'Anthropic, fondée en 2021 par d'anciens cadres d'OpenAI précisément pour développer une IA « constitutionnelle » et alignée sur les valeurs humaines. Avec Claude Mythos, la startup — valorisée à plus de 60 milliards de dollars après ses dernières levées de fonds — devra arbitrer entre impératif commercial et responsabilité, dans un contexte réglementaire international de plus en plus scrutateur.

UEUn modèle aussi puissant sera soumis à l'AI Act européen, notamment aux obligations de transparence et d'évaluation des risques pour les systèmes à haut risque.

LLMsOpinion
1 source