IA entièrement ouverte AMD Instella-MoE-16B-A3B : mélange d'experts avec 2,8 milliards de paramètres actifs, entraîné sur GPU Instinct

AMD a dévoilé Instella-MoE-16B-A3B, un modèle de langage à mélange d'experts entièrement ouvert et entraîné à partir de zéro sur ses GPU Instinct MI300X et MI325X. Le modèle compte 16 milliards de paramètres au total mais n'en active que 2,8 milliards par token, grâce à une architecture décodeur de 27 couches, une taille cachée de 2048, 16 têtes d'attention et un vocabulaire de 128 896 tokens. Chaque couche MoE combine 2 experts partagés et 6 experts routés sélectionnés parmi 64. AMD publie les poids de chaque étape d'entraînement, les mélanges de données, les configurations et le code d'inférence. Deux choix techniques structurent ce modèle : l'attention latente multi-têtes à porte (Gated MLA), qui ajoute une porte apprise avant la projection de sortie, et la connectivité FarSkip-Collective, qui superpose la communication entre experts et le calcul en transmettant des activations partielles. Résultat, un gain de vitesse de 12,7% à l'entraînement et jusqu'à 39,2% de réduction du temps avant premier token en service. L'entraînement a mobilisé 7,1 mille milliards de tokens issus de corpus ouverts comme Nemotron-CC-v2, MegaMath et RefineCode, suivi d'un pré-entraînement intermédiaire sur Dolma3 Dolmino, puis d'une extension du contexte de 4K à 64K tokens.

Cette annonce compte parce qu'elle prouve qu'un acteur du matériel comme AMD peut désormais livrer une recette complète et documentée d'entraînement de grand modèle de langage sur ses propres puces, du pré-entraînement jusqu'au post-entraînement par apprentissage par renforcement, sans dépendre de l'écosystem CUDA de Nvidia. Sur les benchmarks, le modèle de base atteint une moyenne de 76,7, la meilleure parmi les modèles entièrement ouverts, devançant Moonlight-16B-A3B (76,2) et OLMo-3-7B (70,1), mais restant derrière Qwen3.5-4B-Base (79,5). Après post-entraînement, la version Think grimpe à 73,22, au-dessus d'Olmo3-7B-Think et de Gemma-4-E4B. Pour les laboratoires de recherche et les équipes R&D disposant de capacité GPU en centre de données, cela ouvre un cas d'usage concret : reproduire un pipeline MoE de bout en bout, étudier le service en parallélisme d'experts, ou expérimenter le post-entraînement par renforcement. En revanche, la licence ResearchRAIL qui encadre les poids limite l'usage à la recherche académique, écartant les startups qui chercheraient un modèle commercial prêt à déployer. Seul le code d'entraînement, sous licence MIT, reste pleinement réutilisable commercialement.

Ce lancement s'inscrit dans la stratégie plus large d'AMD pour crédibiliser sa pile logicielle ROCm face à l'écosystème Nvidia, en démontrant qu'elle peut porter un entraînement complexe impliquant apprentissage par renforcement et distillation multi-enseignants via son framework Miles. Le post-entraînement a suivi un parcours en plusieurs étapes : un ajustement supervisé sur les jeux Dolci-Think-SFT-7B et Nemotron, une optimisation directe des préférences avec désactivation de la perte d'équilibrage de charge pour éviter toute dégradation, puis 1 400 étapes de renforcement suivant les instructions, avant une distillation sur politique multi-enseignants pour consolider les gains sans perdre en capacités mathématiques ou de code. En matière de déploiement, un modèle de 16 milliards de paramètres en BF16 nécessite environ 32 Go de mémoire, ce qui le rend accessible à un seul accélérateur haut de gamme, et AMD fournit du code d'inférence compatible SGLang. Les prochaines étapes attendues concernent l'adoption de cette recette par d'autres laboratoires souhaitant s'affranchir de Nvidia, ainsi que l'évolution éventuelle de la licence vers un usage commercial plus large.