Stratégies de routage MoE : Top-K, Expert-Choice, gating sigmoïde et routage dynamique (guide 2026)
Chaque token traité par un modèle Mixture-of-Experts (MoE) déclenche la même décision : quels experts doivent le prendre en charge. C'est le rôle du routeur, dont la stratégie influence la qualité, l'équilibre de charge et le coût de service des grands modèles ouverts. Selon un guide publié par MarkTechPost en 2026, sept stratégies dominent en production. Le routage top-k avec softmax, utilisé par Mixtral (2 experts sur 8), gpt-oss-120b (4 sur 128) et Qwen3-235B-A22B (8 sur 128), conserve les k meilleurs scores et pondère leurs sorties, avec une perte auxiliaire pour équilibrer la charge. Le routage Switch envoie chaque token vers un seul expert, avec un tampon limité par un facteur de capacité, les tokens excédentaires passant par la connexion résiduelle. Llama 4 Maverick adopte un expert routé plus un expert partagé. DeepSeek-V3 combine 1 expert partagé et 256 experts routés, dont 8 activés, un schéma repris par Kimi K2, GLM-4.5 et Qwen3.6. DeepSeek-V3 score les experts par sigmoïde et ajoute un biais par expert, ajusté après chaque étape, sans perte auxiliaire. DeepSeek-V4 passe à une fonction sqrtsoftplus. Enfin, le routage limité par groupes ou nœuds plafonne à 4 nœuds par token chez DeepSeek-V3, tandis que le routage « expert choice » de Google inverse la logique : chaque expert sélectionne ses tokens.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de MarkTechPost. Lire l'article original →
L'enjeu est d'abord économique. Les routeurs choisissent parmi 8 experts (Mixtral) jusqu'à 384 (DeepSeek-V4-Pro), en activant de 1 à 8 par token. Mixtral 8x7B donne accès à 47 milliards de paramètres mais n'en active que 13 milliards par token. Sur plusieurs GPU, chaque choix de routage devient du trafic réseau « all-to-all », si bien que la stratégie pèse directement sur le coût d'entraînement et d'inférence. La recette dominante en 2026 pour les grands modèles MoE ouverts associe un score sigmoïde à un équilibrage par biais sans perte auxiliaire. Le gain est mesurable : cet équilibrage a ramené l'indicateur de déséquilibre MaxVio de 0,72 à 0,04 sur un modèle de 1 milliard de paramètres, avec une perplexité plus faible. Son avantage est de n'ajouter aucun gradient parasite. Le guide rappelle toutefois qu'aucun routeur ne dispense de correctifs de répartition de charge au moment du service.
Ces choix reflètent une course à l'efficacité entre laboratoires. DeepSeek a introduit les experts partagés, qui captent les connaissances communes pour laisser les experts routés se spécialiser, et limite chaque token à 4 nœuds parmi 8 groupes d'experts afin de recouvrir presque entièrement calcul et communication pendant l'entraînement. Kimi K2 abandonne ce regroupement (n_group égal à 1), et Qwen3 a retiré les experts partagés, preuve que les pratiques divergent. Le routage « expert choice » illustre les compromis : il promet une convergence plus de deux fois plus rapide à l'entraînement et un remplissage uniforme des experts, mais dans un modèle causal, le choix d'un expert peut dépendre de tokens futurs. Des chercheurs de DeepSeek ont mesuré une baisse de perte anormale d'environ 10 % due à cette fuite d'information, ce qui limite son usage en génération de texte.
Mixtral, modèle du français Mistral AI, figure parmi les architectures MoE comparées, ce qui éclaire les choix techniques des acteurs européens des modèles ouverts.