Alibaba lance Qwen4-Max : un modèle MoE de 2,4 billions de paramètres (71 milliards actifs) et 1 million de tokens de contexte
Alibaba a dévoilé Qwen4-Max, premier modèle de sa génération Qwen4, un modèle propriétaire de type mélange d'experts (MoE) parcimonieux doté d'un squelette de 2,4 billions de paramètres, dont 71 milliards sont actifs par token, auxquels s'ajoutent 328 milliards de paramètres d'embeddings N-gram. Il accepte le texte, l'image et la vidéo, gère un contexte d'un million de tokens et peut produire jusqu'à 393 000 tokens en sortie. Sur 16 benchmarks comparant Qwen3.8-Max, Claude Opus 5.5, GPT-6.1 Sol, GPT-6 Astra et Kimi K3.1, il arrive premier sur quatre : HLAB-Vals-1.1 (agents juridiques) avec 21,3 contre 11,7 pour Kimi K3.1, Agents' Last Exam v1.1 avec 46,7, BioMysteryBench avec 85,0 et DeepSWE v1.1 avec 75,7. Il reste nettement en retrait en programmation et en vision : 31,5 contre 65,0 pour Opus 5.5 sur ProgramBench, 48,5 contre 67,2 pour Kimi K3.1 sur Terminal-Bench 4.0, et 51,7 contre 59,8 sur Humanity's Last Exam. Sur le benchmark interne Work360, il passe de 47,74 à 52,69. Plusieurs scores proviennent de classements tiers et aucun n'a été reproduit de façon indépendante au lancement.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de MarkTechPost. Lire l'article original →
L'argument économique est central. La consommation de tokens baisse d'environ 24 % à effort « Xhigh » et 35 % à effort « High » sur Work360, et d'environ 48 à 49 % sur Terminal-Bench 4.0. Le coût moyen par tâche Work360 chute ainsi de 4,43 à 1,67 dollar, soit 62 % de moins. Les tarifs publics reculent aussi : 1,50 dollar par million de tokens en entrée (contre 2 dollars), 4,50 dollars en sortie (contre 6 dollars), et 0,075 dollar pour les lectures de cache implicite (contre 0,25 dollar, soit 70 % de moins). À ce niveau, il est nettement moins cher qu'Opus 5.5 (4 dollars en entrée, 20 en sortie) ou que GPT-6.1 Sol et Kimi K3.1 Pro (2 et 10 dollars). Pour les entreprises qui déploient des agents sur des tâches longues, la combinaison de contextes très larges, de sorties volumineuses et de coûts réduits peut peser dans le choix d'un fournisseur, surtout dans des domaines comme le juridique où Qwen4-Max prend une avance marquée.
Sur le plan technique, Qwen4 modifie l'architecture MoE à trois endroits. L'attention associe chaque couche d'attention parcimonieuse Qwen (QSA) à trois couches Gated DeltaNet qui compressent l'historique en états de taille fixe, un indexeur léger sélectionnant le contexte pertinent par micro-blocs. Les connexions résiduelles gagnent quatre branches parallèles à portes de lecture et d'écriture dynamiques, pour améliorer la stabilité de l'entraînement. Les embeddings N-gram ajoutent de la capacité à faible coût de calcul. Alibaba affirme n'avoir observé aucun pic de perte pendant le pré-entraînement et mesure, sur ses tests internes, 5 à 13 % de bits par octet en moins que Qwen3.8-Max-Base avec 25 % de paramètres actifs en moins. Contrairement à Kimi K3.1 Pro, distribué sous licence ouverte, Qwen4-Max reste uniquement accessible via QwenCloud (identifiant qwen4-max, API compatible OpenAI et Anthropic, limite par défaut de 5 millions de tokens par minute), le Token Plan, Qwen Studio, QwenWork et Qoder. Une préversion réservée au Token Plan avait ouvert plus tôt ce mois-ci.