Prime Intellect lance Prime Mega MoE : un kernel MoE fusionné entraînable, passe avant 3,11 fois plus rapide
Prime Intellect a publié Prime Mega MoE, une extension d'entraînement du noyau fusionné Mega MoE de DeepSeek, qui n'exécutait jusqu'ici que la passe avant. L'entreprise a écrit la passe arrière manquante, elle aussi à recouvrement entre calcul et communication, ce qui rend le noyau utilisable pour l'entraînement et plus seulement pour l'inférence. Il fonctionne sur les GPU NVIDIA Hopper (FP8 par blocs) et Blackwell (MXFP8), ainsi qu'en BF16 sur les deux. Les chiffres, auto-déclarés, ont été mesurés sur des nœuds 8×H200, avec 32 à 128 GPU, des séquences de 16 384 tokens et un checkpointing complet des activations. Dans le moteur d'entraînement prime-rl, un pas d'entraînement complet passe de 2,78 à 2,08 secondes sur Qwen3-30B-A3B (32 GPU, soit 34 % de gain) et de 12,72 à 9,65 secondes sur Qwen3-235B-A22B (128 GPU, soit 32 %). Face à TorchTitan en FP8, les gains atteignent 48 % et 55 %, avec un débit de 5 337 à 7 886 tokens par seconde et par GPU sur le 30B, et de 1 094 à 1 697 sur le 235B. Sur une seule couche MoE, la passe avant est jusqu'à 3,11 fois plus rapide (12,0 à 3,9 ms sur le 30B), tandis que la passe arrière progresse moins, de 1,24 fois sur le 235B (30,5 à 24,6 ms) à 1,87 fois sur le 30B.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de MarkTechPost. Lire l'article original →
Pour les équipes qui entraînent des modèles à mélange d'experts, ces gains se traduisent directement en heures de GPU économisées. Le chiffre de 3,11 fois ne concerne que la passe avant, et le gain réaliste sur un entraînement complet se situe autour d'un tiers par rapport à une base déjà optimisée. L'écart est notable sur le plus gros modèle, où la passe arrière, plus difficile à accélérer, limite le bénéfice. Le noyau fonctionne aussi bien sur Hopper que sur Blackwell, ce qui élargit son usage au parc de machines réellement déployé. Prime Intellect propose en outre un mode fp8_bwd, qui combine une passe avant en BF16 et une passe arrière en FP8, pour arbitrer entre précision et vitesse.
Le goulot d'étranglement vient de la nature même des MoE : chaque token est routé vers un petit sous-ensemble d'experts répartis sur plusieurs GPU, ce qui impose à chaque couche d'envoyer les tokens, de calculer, puis de rapatrier les résultats, dans les deux passes. Dans une implémentation classique, ces étapes sont des opérations séparées entre lesquelles le GPU attend. Le noyau Mega MoE, ajouté à la bibliothèque open source DeepGEMM de DeepSeek en avril 2026, fusionne la répartition en parallélisme d'experts, les deux couches linéaires, SwiGLU et la recombinaison en un seul appel, et calcule un groupe de tokens pendant qu'un autre est en transit. Il existe des approches concurrentes : TorchTitan avec DeepEP, qui garde des noyaux de dispatch séparés, ou Primus MegaMoE d'AMD pour les GPU MI355X. La publication de Prime Intellect, dont les résultats restent à confirmer de façon indépendante, prolonge ainsi le travail de DeepSeek vers l'entraînement.
Pas d'impact direct sur la France/UE