Baidu lance ERNIE 5.5 Flash Base, un modèle de base MoE de 280 milliards de paramètres dont 14 milliards actifs
Baidu a publié ERNIE 5.5 Flash Base, le point de contrôle brut de pré-entraînement de son nouveau modèle de langage à mélange d'experts (MoE) clairsemé. Ce modèle textuel compte 280 milliards de paramètres au total, dont 14 milliards activés par token. Il a été pré-entraîné de zéro sur 33,5 billions de tokens avec l'optimiseur Muon, et ses poids s'arrêtent à la fin de cette phase, sans entraînement intermédiaire ni post-entraînement. Il compte 43 couches pour une taille cachée de 4096, et son contexte d'entraînement atteint 128K tokens, avec 1 million de tokens pour l'affinage et l'inférence. Son attention est hybride : 37 couches utilisent une attention fortement compressée (HCA), qui ne conserve qu'une entrée de cache pour 128 tokens, et 6 couches combinent attention latente multi-têtes et attention clairsemée. Chaque couche MoE comprend 512 experts routés (10 sélectionnés) et un expert partagé, avec plusieurs routeurs sigmoïdes indépendants. Le modèle intègre aussi ECHO, une couche qui sert de brouillon pour le décodage spéculatif et ajoute 0,36 milliard de paramètres. Les poids sont proposés en FP8 et BF16.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de MarkTechPost. Lire l'article original →
Également couvert par The Decoder.
Sur 30 benchmarks de modèles de base, évalués par Baidu avec un pipeline unifié face à trois concurrents, ERNIE 5.5 Flash Base obtient le meilleur score sur 24 d'entre eux. Ces résultats sont déclarés par Baidu lui-même. Le modèle affiche 93,3 à MMLU, 78,4 à MMLU-Pro (contre 69,2 pour DeepSeek-V4-Flash-Base), 60,2 à GPQA, 82,3 à HumanEval+, 40,1 à LiveCodeBench et 91,7 à RepoQA. Il cède sur six tâches : DeepSeek-V4-Flash-Base l'emporte sur ChineseSimpleQA, INCLUDE-lite, HELMET-Rerank (60,0 contre 56,2) et InfiniteBench, tandis que Hy3-preview-Base de Tencent mène sur BBH CoT et FullStackBench. Pour les équipes de recherche, l'intérêt est de disposer d'un point de départ neutre afin de comparer des méthodes d'affinage, de réglage par instructions ou d'apprentissage par renforcement à partir d'un même checkpoint. Le déploiement exige des serveurs multi-GPU, les configurations de référence utilisant un parallélisme à quatre voies dans SGLang et vLLM, sans précision sur le GPU ni la mémoire requis.
Ce lancement s'inscrit dans la course aux modèles MoE ouverts entre acteurs chinois. Face à DeepSeek-V4-Flash-Base (284 milliards de paramètres, 13 milliards actifs, contexte de 1 million), Hy3-preview-Base de Tencent (295 milliards, 21 milliards actifs, 256K) et MiMo-V2.5-Base de Xiaomi (310 milliards, 15 milliards actifs, 256K), Baidu mise sur un équilibre entre calcul activé, taille du cache KV et coût du long contexte, traités comme un budget unique. Son pré-entraînement a privilégié le code à l'échelle de dépôts et les données longues, difficiles à ajouter ensuite. Les chiffres des concurrents mesurés par Baidu diffèrent légèrement de ceux publiés par leurs auteurs : DeepSeek annonce 68,3 à MMLU-Pro contre 69,2 mesuré par Baidu, et Tencent 65,76 pour Hy3 contre 66,9. Le modèle est publié sous une licence propre, l'ERNIE 5.5 Flash Base License v1.0, et la validation indépendante de ces résultats reste à venir.
Pas d'impact direct sur la France/UE
Baidu publie le brut de pré-entraînement, sans post-training, et c'est ça qui est intéressant : on te donne le moteur, pas la voiture. Les 24 victoires sur 30 benchmarks, c'est Baidu qui les compte avec son propre pipeline (et ses chiffres sur DeepSeek diffèrent déjà de ceux de DeepSeek), donc je garde ça à distance. Selon moi, la vraie bataille des modèles ouverts chinois ne se joue plus au nombre de paramètres mais au coût du long contexte : qui tient 1 million de tokens sans faire exploser le cache KV. Reste à voir si ça tient en prod.