
Meta AI lance Muse Glimmer, un modèle open source de 30 milliards de paramètres exécutable sur un seul GPU grand public
Meta a mis en ligne Muse Glimmer, un modèle multimodal de 30 milliards de paramètres distillé à partir de Muse Spark et publié sous licence ouverte Apache 2.0. Techniquement, il s'agit d'un transformeur causal dense associé à un encodeur de perception dédié d'environ 1,8 milliard de paramètres (ViT-G/14), capable de traiter jusqu'à 4 096 tokens visuels par image. L'attention repose sur un mécanisme de type "grouped-query" avec 32 têtes de requête et 2 têtes clé-valeur, une fenêtre glissante de 2 048 tokens et un encodage RoPE. Le modèle affiche une fenêtre de contexte supérieure à 131 000 tokens, un vocabulaire de 202 048 tokens, et une date de connaissance arrêtée au 4 janvier 2026. L'entraînement s'est déroulé en trois phases : pré-entraînement par distillation des logits de Muse Spark, entraînement intermédiaire enrichi en données agentiques longues, puis post-entraînement combinant apprentissage supervisé et renforcement sur le raisonnement, le code et les tâches d'agent. La collection Hugging Face associée propose des poids BF16, des versions quantifiées GGUF et des builds ExecuTorch.
L'enjeu principal tient à la compression : alors qu'un modèle de cette taille nécessite habituellement plus de 55 Go de mémoire en pleine précision, Meta le ramène à environ 4 bits, faisant passer le modèle de langage sous les 20 Go, ce qui le rend exploitable sur un seul GPU grand public de 24 ou 32 Go, voire sur un Mac, sans appel réseau. Deux versions quantifiées sont proposées, l'une ciblant 32 Go de VRAM avec une dégradation moyenne de 0,2 %, l'autre 24 Go avec 1 % de perte. Un mécanisme de décodage spéculatif nommé DFlash, qui prédit des blocs de 16 tokens par passe, triple quasiment la vitesse de génération : sur une RTX 5090, le débit passe de 74,9 à 233,4 tokens par seconde. Cette capacité à tourner localement, sans facturation au token et potentiellement en environnement isolé du réseau, ouvre la voie à des déploiements dans la santé, le secteur juridique, la finance, la défense ou l'industrie, là où la résidence des données ou la latence excluent le recours au cloud.
Sur les benchmarks, Muse Glimmer devance Gemma4-31B et Qwen3.6-27B sur l'orchestration agentique et le raisonnement, avec par exemple 75,5 sur MCP Atlas contre 54,2 et 62,5, ou 94,7 sur AIME 2026. Il reste en revanche derrière Qwen3.6-27B sur des tâches d'usage d'ordinateur comme OSWorld-Verified ou le codage via terminal. Côté sécurité, le taux de réussite d'attaques mesuré sur Siren AgentDojo s'établit à 28,4 % pour une utilité de 94 %, ce qui pousse Meta à recommander l'ajout de garde-fous applicatifs plutôt qu'un déploiement du modèle en accès direct.
La possibilite de deploiement local sans appel reseau interesse les secteurs europeens soumis a des exigences de residence des donnees comme la sante, la finance ou la defense.
Dans nos dossiers
Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.




