Quel routage chaque modèle MoE utilise-t-il ? Comparatif de DeepSeek, Qwen, Mixtral, Llama 4 et gpt-oss
Une comparaison de dix grands modèles Mixture-of-Experts (MoE) ouverts, établie à partir de leurs fichiers config.json, fiches de modèle et rapports techniques (vérifiés le 7 novembre 2026), montre qu'ils partagent un principe mais divergent sur presque tous les détails du routage. Tous utilisent un routage « token-choice », où chaque token choisit ses propres experts. Le nombre d'experts routés va de 8 (Mixtral 8x7B, top-2) à 384 (DeepSeek-V4-Pro et Kimi K2), et le top-k de 1 (Llama 4 Maverick) à 8. DeepSeek-V3 note 256 experts avec une sigmoïde, en retient 8 et ajoute un expert partagé. Il organise les experts en 8 groupes, dont 4 sont gardés d'abord, si bien qu'un token touche au plus 4 nœuds. DeepSeek-V4 passe à 384 experts pour la version Pro (1,6T de paramètres, 49B actifs) mais abaisse le top-k à 6, adopte la fonction sqrtsoftplus et utilise un routage par hachage, une table fixe token-expert, dans ses 3 premières couches MoE. Qwen3 (128 experts, top-8) a abandonné l'expert partagé de Qwen2.5-MoE, que Qwen3.6-35B-A3B réintroduit avec 256 experts. Llama 4 Maverick alterne couches denses et MoE, avec un expert partagé et 1 expert parmi 128. gpt-oss-120b route vers 4 experts sur 128, sans expert partagé.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de MarkTechPost. Lire l'article original →
Ces choix pèsent sur le coût réel de l'inférence et sur le matériel requis. Les étiquettes du type « 17B actifs » masquent des routeurs très différents. La parcimonie des experts routés varie d'un facteur 4 pour Mixtral à 128 pour Llama 4 Maverick. gpt-oss-120b (117B au total, 5,1B actifs) tient sur un seul GPU de 80 Go grâce à ses poids MoE en MXFP4. DeepSeek-V4-Pro et Kimi K2 exigent en revanche du parallélisme d'experts sur plusieurs GPU. Kimi K2 apporte aussi un résultat chiffré : à perte de validation égale, une parcimonie de 48 demande 1,69 fois moins de calcul qu'une parcimonie de 8. Côté transparence, les configurations rendent l'essentiel du routage vérifiable, mais Llama 4 Maverick et gpt-oss ne publient pas leur méthode d'équilibrage de charge, et les fiches de Qwen3.6 et Llama 4 omettent la fonction de score.
Le paysage se structure autour de deux familles. Kimi K2 utilise la classe d'architecture DeepseekV3ForCausalLM et le même équilibrage par biais « noaux_tc », sans perte auxiliaire, avec 384 experts pour le même top-8. GLM-4.5 (355B au total, 32B actifs, 160 experts, top-8, un expert partagé) suit lui aussi une sigmoïde avec un équilibrage sans perte. L'autre famille s'appuie sur des pertes auxiliaires classiques : Mixtral avec un coefficient de 0,02, Qwen3 avec une perte à l'échelle du lot global et un coefficient de 0,001. Le top-1 de Llama 4 rappelle le Switch Transformer. Le sens de l'évolution reste ouvert : DeepSeek réduit son top-k tout en augmentant le nombre d'experts, tandis que Qwen revient à un expert partagé.
Mixtral (Mistral AI, France) et les modèles ouverts comparés servent de référence aux équipes européennes pour choisir une architecture MoE et dimensionner leur matériel d'inférence.