Aller au contenu principal
Qwen3.5-Omni a appris à coder à partir d'instructions vocales et vidéo sans y avoir été entraîné
LLMsThe Decoder2h

Qwen3.5-Omni a appris à coder à partir d'instructions vocales et vidéo sans y avoir été entraîné

1 source couvre ce sujet·Source originale ↗·

Alibaba a publié Qwen3.5-Omni, un nouveau modèle d'intelligence artificielle omnimodal capable de traiter simultanément du texte, des images, de l'audio et de la vidéo. Selon l'entreprise, le modèle surpasse Gemini 2.5 Pro sur les tâches de compréhension audio. Mais c'est une capacité émergente, non prévue lors de l'entraînement, qui a le plus retenu l'attention : Qwen3.5-Omni est capable d'écrire du code à partir d'instructions orales combinées à des entrées vidéo, une compétence que personne ne lui a explicitement enseignée.

Ce phénomène d'émergence spontanée illustre une tendance de fond dans les grands modèles multimodaux : en apprenant à connecter plusieurs modalités sensorielles, ces systèmes développent des compétences transversales imprévues qui dépassent leurs objectifs d'entraînement initiaux. Pour les développeurs, cela ouvre des perspectives concrètes — imaginer un assistant capable de regarder un écran, d'écouter une demande vocale et de produire directement le code correspondant, sans interaction textuelle intermédiaire.

Alibaba positionne Qwen3.5-Omni dans une course multimodale qui oppose désormais directement les acteurs chinois aux laboratoires américains. La série Qwen a déjà produit plusieurs modèles qui ont surpris par leurs performances, notamment sur des benchmarks de code et de raisonnement. Face à Google avec Gemini, OpenAI avec GPT-4o et ses variantes vocales, et Meta avec ses modèles ouverts, Alibaba cherche à s'imposer comme un acteur de référence sur le segment des modèles capables de percevoir et d'agir sur l'ensemble des modalités humaines. La publication de Qwen3.5-Omni renforce cette ambition.

À lire aussi

Le passage à la personnalisation des modèles d'IA est une nécessité architecturale
1MIT Technology Review 

Le passage à la personnalisation des modèles d'IA est une nécessité architecturale

Les grands modèles de langage (LLM) généralistes ont connu leur âge d'or : des bonds de performance spectaculaires à chaque nouvelle version. Cette ère touche à sa fin. Les progrès s'accumulent désormais de façon incrémentale sur les benchmarks généraux, tandis qu'une exception subsiste — l'intelligence de domaine. Mistral AI, la startup française spécialisée en IA, documente plusieurs déploiements concrets de modèles sur mesure : un fabricant d'équipements réseau a entraîné un modèle sur ses propres langages et bases de code propriétaires, obtenant une maîtrise que les modèles standards ne pouvaient atteindre ; un grand constructeur automobile a automatisé l'analyse comparative entre simulations numériques et tests physiques de crash, réduisant à quelques minutes ce qui mobilisait autrefois des journées entières de travail spécialisé ; enfin, une agence gouvernementale en Asie du Sud-Est a commandité un modèle fondation calibré sur les langues régionales et les contextes culturels locaux pour créer une infrastructure d'IA souveraine, indépendante des modèles occidentaux. L'enjeu central est la création d'un avantage concurrentiel durable. Lorsqu'un modèle est entraîné sur les données propriétaires d'une organisation — ses processus internes, sa terminologie métier, son historique décisionnel —, il encode la logique de l'entreprise directement dans ses poids. Cela va bien au-delà du fine-tuning classique : c'est l'institutionnalisation de l'expertise dans un système automatisé. Pour l'industrie automobile, cela signifie un copilote capable de proposer des ajustements de conception en temps réel. Pour le secteur public, c'est la garantie que des données sensibles restent sous gouvernance nationale tout en alimentant des services citoyens efficaces. La customisation transforme l'IA d'outil générique en actif stratégique différenciant. Ce changement de paradigme intervient alors que les organisations réalisent les limites des approches expérimentales menées en silos. Les pilotes isolés produisent des pipelines fragiles, une gouvernance improvisée et une portabilité réduite. La vraie rupture exige de traiter l'IA comme une infrastructure d'entreprise — au même titre qu'une base de données ou un système ERP — et non comme un projet ponctuel. Mistral AI se positionne comme partenaire de cette transition en intégrant l'expertise métier dans ses écosystèmes d'entraînement. La course à la personnalisation redéfinit les rapports de force : les entreprises capables d'encoder leur savoir institutionnel dans un modèle construisent une barrière à l'entrée que les acteurs généralistes ne peuvent pas répliquer, car ce fossé se creuse à mesure que le modèle apprend et s'affine avec les données nouvelles de l'organisation.

UEMistral AI, startup française de référence, se positionne comme partenaire stratégique pour les entreprises et institutions européennes souhaitant développer des modèles sur mesure garantissant la souveraineté de leurs données.

LLMsActu
1 source
Mémoire infinie, rêves nocturnes, Master Claude, frustration et Tamagotchi : ce que cache le code fuité de Claude Code
2Numerama 

Mémoire infinie, rêves nocturnes, Master Claude, frustration et Tamagotchi : ce que cache le code fuité de Claude Code

Anthropic a involontairement rendu public le code source de Claude Code, son assistant de développement intégré aux environnements de programmation, exposant ainsi des projets internes qui n'étaient pas destinés à être vus. Des internautes ont rapidement exploré les fichiers accessibles et mis au jour plusieurs fonctionnalités en développement, dont certaines révèlent une vision ambitieuse — et surprenante — de ce que pourrait devenir l'outil. Parmi les découvertes les plus marquantes figurent un concept de « mémoire infinie » permettant à Claude de se souvenir de l'intégralité des échanges passés avec un utilisateur, un mécanisme de « rêves nocturnes » où le modèle consoliderait ses apprentissages pendant les périodes d'inactivité, ainsi qu'un système hiérarchique baptisé « Master Claude ». Plus inattendu encore : une référence à un concept de Tamagotchi, suggérant qu'Anthropic expérimente des formes d'attachement ou de continuité émotionnelle entre l'IA et ses utilisateurs. Le code mentionnerait également des indicateurs liés à la « frustration » de l'agent. Cette fuite survient dans un contexte de compétition acharnée entre les grands laboratoires d'IA — OpenAI, Google, Meta et Anthropic se disputant le marché des assistants pour développeurs. Exposer accidentellement sa feuille de route interne représente un revers stratégique non négligeable pour Anthropic, qui a depuis retiré les fichiers concernés. L'incident soulève aussi des questions sur la direction prise par les assistants IA : vers des agents dotés de persistance mémorielle, de cycles d'apprentissage continus et de dimensions quasi-affectives, brouillant davantage la frontière entre outil et entité autonome.

UELes fonctionnalités révélées — notamment la mémoire infinie et les cycles d'apprentissage nocturnes — pourraient soulever des questions de conformité RGPD en Europe si elles venaient à être déployées.

LLMsOpinion
1 source
Google dévoile la révolution TurboQuant sans partager le code : un développeur seul le recrée en 7 jours grâce à l’IA
3Frandroid 

Google dévoile la révolution TurboQuant sans partager le code : un développeur seul le recrée en 7 jours grâce à l’IA

Google a présenté TurboQuant, une méthode de quantification avancée capable de réduire drastiquement l'empreinte mémoire des grands modèles de langage, sans dévoiler le code source. Face à cette rétention, un développeur indépendant a décidé d'agir seul : en sept jours seulement, en s'appuyant sur l'assistant IA Claude d'Anthropic, il a réimplémenté la technique à partir des seules informations disponibles dans l'article scientifique de Google. Le résultat est fonctionnel et permet de faire tourner des modèles de plusieurs dizaines de milliards de paramètres sur un MacBook Air standard. Cet exploit illustre un changement de paradigme majeur dans l'accès à l'IA. Jusqu'ici, les modèles les plus puissants exigeaient des GPU professionnels avec des dizaines de gigaoctets de VRAM, réservant leur usage aux entreprises ou aux chercheurs disposant d'infrastructure lourde. TurboQuant contourne cette contrainte en compressant les poids des modèles avec une précision inédite, préservant les performances tout en divisant l'occupation mémoire. Si la méthode se généralise, elle pourrait démocratiser l'inférence locale pour des millions d'utilisateurs. La situation s'inscrit dans une tension croissante entre les laboratoires qui publient des recherches sans ouvrir le code — pratique de plus en plus courante chez Google, OpenAI ou Anthropic — et une communauté open source réactive, capable de combler les lacunes à vitesse record. Ce cas rappelle celui de llama.cpp ou d'autres réimplémentations communautaires qui ont précédé des publications officielles. La prochaine étape sera d'intégrer cette technique dans des outils grand public comme Ollama ou LM Studio, accélérant encore la course vers l'IA locale accessible à tous.

LLMsPaper
1 source
L'équipe Qwen d'Alibaba publie Qwen3.5 Omni : un modèle multimodal natif pour le texte, l'audio, la vidéo et l'interaction en temps réel
4MarkTechPost 

L'équipe Qwen d'Alibaba publie Qwen3.5 Omni : un modèle multimodal natif pour le texte, l'audio, la vidéo et l'interaction en temps réel

L'équipe Qwen d'Alibaba a publié Qwen3.5-Omni, un modèle multimodal natif capable de traiter simultanément du texte, des images, de l'audio et de la vidéo au sein d'un seul pipeline computationnel. Disponible en trois variantes — Plus (raisonnement complexe), Flash (faible latence) et Light (efficacité) — le modèle phare Qwen3.5-Omni-Plus revendique des résultats de pointe sur 215 sous-tâches de compréhension et de raisonnement audio et audiovisuel, dépassant selon Alibaba le Gemini 3.1 Pro de Google sur la compréhension audio générale, la reconnaissance vocale et la traduction. Son encodeur audio natif (Audio Transformer) a été pré-entraîné sur plus de 100 millions d'heures de données audio-visuelles, et l'architecture supporte des fenêtres contextuelles de 256 000 tokens — soit plus de 10 heures d'audio continu ou 400 secondes de contenu vidéo 720p. Ce lancement marque un tournant dans la conception des modèles multimodaux : on passe des architectures « en patchwork », où des encodeurs spécialisés (comme Whisper pour l'audio) sont greffés sur un socle textuel, à des systèmes entièrement natifs et unifiés. Pour l'industrie, cela signifie des agents vocaux et visuels capables d'interaction en temps réel sans les pénalités de latence propres aux pipelines en cascade. L'architecture Thinker-Talker, couplée à un mécanisme Hybrid-Attention Mixture of Experts (MoE), permet au modèle d'allouer dynamiquement ses ressources selon la modalité dominante — favorisant les tokens visuels lors d'une analyse vidéo, par exemple — tout en conservant un débit compatible avec les services de streaming. Concrètement, les développeurs d'applications vocales, de systèmes de sous-titrage automatique ou d'assistants multimodaux disposent d'un socle technique plus robuste et moins coûteux à exploiter. La course aux modèles omnimodaux s'est accélérée depuis que Google a démontré avec Gemini la viabilité des architectures nativement multimodales, forçant les acteurs comme OpenAI, Meta et Alibaba à répondre. Qwen3.5-Omni s'inscrit dans la stratégie offensive d'Alibaba pour s'imposer comme alternative crédible aux modèles occidentaux, notamment sur les marchés asiatiques et auprès des entreprises sensibles à la souveraineté des données. Deux problèmes d'ingénierie spécifiques à l'interaction temps réel ont été adressés : la stabilité du flux de parole (via un mécanisme baptisé ARIA — Adaptive Rate Interleave Alignment, qui synchronise les tokens texte et audio de nature asymétrique) et la fluidité conversationnelle. Les benchmarks avancés par Alibaba — 8 tests de reconnaissance automatique de la parole, 156 tâches de traduction parole-texte dans des langues spécifiques, 43 tâches d'ASR ciblées — restent à valider par des évaluations indépendantes, mais positionnent déjà Qwen3.5-Omni comme un concurrent direct aux modèles les plus avancés du moment.

UELes entreprises européennes sensibles à la souveraineté des données disposent d'une alternative crédible aux modèles américains pour leurs déploiements d'agents vocaux et visuels multimodaux en temps réel.

💬 L'architecture native, c'est vraiment ce qui change la donne ici. Pas un Whisper greffé sur un LLM avec du scotch, mais un seul pipeline qui ingère tout en même temps, avec 100 millions d'heures d'entraînement audio-vidéo derrière. Les benchmarks Alibaba, bon, à vérifier en conditions réelles — mais le socle technique, lui, a l'air solide.

LLMsOpinion
1 source