Le consortium Soofi publie Soofi S 30B-A3B, un modèle hybride Mamba-Transformer MoE ouvert pour l'allemand et l'anglais
Souveraineté numérique allemande et européenne en IA : un consortium mené par la fédération professionnelle KI Bundesverband, avec le soutien du ministère fédéral allemand de l'Économie et de l'Énergie, vient de publier le rapport de pré-entraînement de Soofi S 30B-A3B, un nouveau modèle de fondation ouvert bilingue allemand-anglais. Développé avec Fraunhofer IAIS, le DFKI, l'université technique de Darmstadt, ellamind et Merantix Momentum, l'entraînement s'est déroulé intégralement sur l'Industrial AI Cloud de Deutsche Telekom à Munich, entre le 24 mars et le 13 mai 2026, mobilisant jusqu'à 512 GPU NVIDIA B200 pour un total d'environ 253 000 heures de calcul. Les poids en préversion sont disponibles sur Hugging Face. Techniquement, il s'agit d'un modèle hybride Mamba-Transformer à mélange d'experts (MoE), totalisant 31,6 milliards de paramètres dont seulement 3,2 milliards activés par token. Son architecture reprend sans modification le design de référence Nemotron 3 Nano de Nvidia : 52 couches réparties entre 23 couches Mamba-2, 23 couches MoE et seulement 6 couches d'attention GQA, ces dernières étant les seules à conserver un cache clé-valeur. Chaque couche MoE dispose de 128 experts routés, dont 6 sont activés par token, complétés par 2 experts partagés. Le modèle a ingéré environ 26 680 milliards de tokens en trois phases, avec une part de l'allemand passant de 7,2% à 15,32% des tokens entre les deux premières phases, contre à peine 5% pour toutes les langues non anglaises réunies dans la référence Nemotron, notamment grâce à Genios, qui fournit 193 millions d'articles issus de 916 archives de presse et de titres spécialisés sous licence commerciale.
Résumé et traduction réalisés par Le Fil IA à partir de MarkTechPost. Lire l'article original →
Cette approche paie sur les benchmarks : testé face à 16 autres modèles de base ouverts avec le même protocole d'évaluation, Soofi S affiche les meilleurs scores agrégés en anglais (70,1%) et en allemand (79,1%) parmi les modèles entièrement ouverts, devançant Olmo 3 32B, Apertus 70B, EuroLLM 22B et Alia 40B, avec des écarts particulièrement marqués en programmation, en mathématiques et en compréhension de texte allemand. Comparé à une version Nemotron 3 Nano entraînée sur les données de référence habituelles, le gain net attribuable uniquement à la recette de données allemande est de 1,8 point en anglais, 4,2 points en allemand et 6,7 points sur les tâches inédites en anglais, ce qui démontre que la performance vient bien du corpus et non de l'architecture. Pour l'industrie européenne de l'IA, ce résultat est significatif : il prouve qu'un modèle entraîné avec des ressources publiques et une gouvernance souveraine peut rivaliser avec des modèles bien plus gros comme Apertus 70B ou Alia 40B, tout en restant totalement ouvert et reproductible.
Soofi S s'inscrit dans une dynamique plus large de modèles de fondation souverains, portée en réaction à la dépendance de l'Europe envers les modèles américains et chinois. Face aux meilleurs modèles ouverts toutes tailles confondues, il reste toutefois derrière Qwen3.5 35B-A3B, et se situe au coude à coude avec Gemma 3 27B et Ministral 3 14B en anglais, tout en les dépassant en allemand. S'agissant d'un modèle de base sans alignement ni réglage d'instructions, son usage direct reste réservé aux équipes techniques : les poids sont distribués en accès restreint avec un code de modélisation personnalisé, pensé pour être déployé sur des infrastructures comme vLLM. Les prochaines étapes attendues incluent probablement des versions instruites et alignées, ainsi qu'une adoption par des acteurs industriels allemands soucieux de disposer d'une alternative locale aux grands modèles propriétaires.
Ce modèle souverain germano-européen, développé avec le soutien d'institutions publiques allemandes et de Deutsche Telekom, illustre une alternative crédible à la dépendance de l'UE envers les modèles américains et chinois, sans concerner directement une entreprise ou institution française.
Ce qui est intéressant ici, c'est que le gain vient à 100% de la recette de données allemande, pas de l'architecture (ils ont juste repris Nemotron 3 Nano tel quel). Autrement dit : la souveraineté en IA, ça se joue sur le corpus et les accords de licence presse, pas sur un exploit d'ingénierie exotique. Reste que c'est un modèle de base sans instruction, en accès restreint, donc pour l'instant c'est une preuve de concept pour labos et industriels allemands, pas un outil qu'on branche demain.