Meta publie Muse Spark en open source : un MoE de 816 milliards de paramètres, contexte de 1 million de tokens
Meta Superintelligence Labs a publié Muse Spark Open, la version à poids ouverts de son modèle Muse Spark. Il s'agit d'un modèle de type mélange d'experts (MoE) de 816 milliards de paramètres au total, dont 42 milliards sont activés par token. Il compte 256 experts, dont 8 sont sollicités à chaque token, et 62 couches. Il accepte du texte, des images, de la vidéo et de l'audio en entrée, produit du texte et gère une fenêtre de contexte d'un million de tokens. Un encodeur de perception distinct de 1,8 milliard de paramètres traite la vision. Les poids sont disponibles sur Hugging Face en BF16 (environ 1,6 To) et en NVFP4 (environ 530 Go, seuls les experts étant quantifiés). Meta revendique le titre de modèle ouvert américain le plus performant à ce jour. Sur les benchmarks, le modèle brille en usage d'outils et en fiabilité des connaissances : 89,2 sur MCP-Atlas (devant Qwen3.8 à 84,5 et GLM 5.3 à 84,2), 26,1 sur HLE-Diamond sans outils (contre 22,2 pour Kimi K3) et 50,0 sur ZeroBench avec outils (contre 41,0). Le code reste son point faible : 76,4 sur Terminal-Bench 2.1, loin de Kimi K3 (85,0), GLM 5.3 (83,9) et Qwen3.8 (82,0).
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de MarkTechPost. Lire l'article original →
Également couvert par The Decoder.
L'enjeu concret tient au déploiement. La version NVFP4 tourne sur deux Mac Studio équipés de puces M5 Ultra et de 512 Go de mémoire chacun, reliés en Thunderbolt 5 avec RDMA, grâce au parallélisme tensoriel de MLX. En centre de données, quatre GPU Blackwell Ultra ou huit H200 suffisent. Les versions GGUF 2 bits d'Unsloth tiennent dans environ 300 Go de mémoire. Un modèle de cette taille devient ainsi accessible à de petites équipes et à des laboratoires qui ne disposent pas d'un cluster. L'écosystème est prêt dès le premier jour : SGLang, vLLM, TensorRT-LLM, Transformers, MLX et llama.cpp le prennent en charge, et des API hébergées existent chez Baseten, Fireworks, Groq, Modal, Nebius, OpenRouter et Together AI. OpenRouter facture 1,25 dollar par million de tokens en entrée et 4,25 dollars en sortie. Deux modèles brouillons accélèrent le décodage, et Meta annonce un débit multiplié par 3,7 avec DFlash V2 sur AMD MI355X. Le réglage fin passe par TorchTitan, TRL ou NeMo AutoModel.
Le contexte est celui d'une course à l'ouverture dominée par les laboratoires chinois. Sur l'indice d'intelligence d'Artificial Analysis, Muse Spark Open obtient 39, derrière GLM 5.3 (45), Kimi K3 (44) et Qwen3.8 (40). Le qualificatif de meilleur modèle ouvert américain tient donc, mais les modèles chinois gardent l'avantage global, et certains scores des concurrents sont auto-déclarés. Meta a ajouté une phase de post-entraînement dédiée à la sécurité, censée rendre le modèle plus robuste sans garde-fous au niveau du système. La licence Muse Model autorise l'usage, le réglage fin, la distillation et la redistribution, avec deux conditions principales. Les produits doivent afficher la mention « Built with Muse Spark Open », et les fournisseurs de modèle en service dépassant 20 millions de dollars de revenus sur douze mois sont soumis à des obligations supplémentaires. La raideur de cette licence, comme la capacité de Meta à rattraper son retard en programmation, déterminera l'adoption du modèle par les développeurs.
Les équipes et laboratoires français et européens peuvent déployer ce modèle à poids ouverts en local ou via des API hébergées, sous réserve des conditions de la licence Muse Model.