ZAYA1-8B : modèle de raisonnement open source très efficace, entraîné sur GPU AMD Instinct MI300

Zyphra lance ZAYA1-8B : un modèle de raisonnement MoE entraîné sur matériel AMD aux performances bien supérieures à sa taille

Zyphra AI a publié ZAYA1-8B, un petit modèle de langage de type Mixture of Experts (MoE) comptant 760 millions de paramètres actifs pour 8,4 milliards de paramètres au total. Entraîné intégralement sur des processeurs AMD, un cluster de 1 024 cartes AMD Instinct MI300x interconnectées via AMD Pensando Pollara, construit en partenariat avec IBM, le modèle est désormais disponible sous licence Apache 2.0 sur Hugging Face et en endpoint serverless sur Zyphra Cloud. Malgré sa taille modeste, ZAYA1-8B affiche des performances compétitives avec des modèles bien plus grands sur les benchmarks de mathématiques et de code : il surpasse Claude 4.5 Sonnet et GPT-5-High sur le HMMT'25, une compétition de mathématiques avancées (89,6 points contre 88,3), et se rapproche des meilleurs modèles open-weight comme DeepSeek-V3.2. Cette efficacité repose sur une méthode inédite de calcul à l'inférence baptisée Markovian RSA, ainsi que sur une architecture MoE++ combinant trois innovations techniques : une attention convolutive compressée réduisant le KV-cache d'un facteur 8, un routeur basé sur un réseau de neurones MLP avec équilibrage de charge par contrôleur PID, et un mécanisme de mise à l'échelle résiduelle apprise pour stabiliser l'entraînement en profondeur. La distinction entre paramètres actifs et paramètres totaux est au coeur de l'intérêt du modèle. Dans un modèle classique, tous les paramètres s'activent à chaque token traité ; dans un MoE, seule une fraction des experts est sollicitée à chaque inférence. Avec seulement 760 millions de paramètres actifs par passe, ZAYA1-8B peut tourner en local sur des appareils grand public, s'intégrer dans des pipelines à calcul augmenté et servir des requêtes avec une latence réduite, tout en maintenant des performances proches de modèles dix fois plus grands. Pour les développeurs et entreprises qui cherchent à déployer des capacités de raisonnement avancées sans infrastructure lourde, ce rapport coût-performance représente une avancée concrète. ZAYA1-8B s'inscrit dans une tendance de fond qui voit plusieurs laboratoires challenger, DeepSeek en tête depuis début 2025, démontrer que l'architecture et la méthode d'entraînement comptent autant que la taille brute des modèles. Zyphra, encore peu connu du grand public, affirme avoir bâti un pipeline d'entraînement en cinq étapes post-préentraînement, intégrant notamment un échauffement au raisonnement, du reinforcement learning en cascade, et des étapes spécifiques de calcul augmenté à l'inférence. L'entraînement entièrement réalisé sur AMD est également un signal politique : dans un secteur dominé par Nvidia, valider une chaîne de production complète sur hardware concurrent ouvre la voie à une diversification des infrastructures IA. Les prochains modèles de Zyphra, selon ses propres communications, viseront des tailles supérieures avec la même philosophie d'efficacité par paramètre.

Quelqu'un a affiné MiniCPM5-1B d'OpenBMB sur des traces de Claude Fable 5 pour un modèle de raisonnement local de 657 Mo

Un développeur communautaire connu sous le pseudonyme GnLOLot a publié un modèle de langage d'un milliard de paramètres capable de fonctionner entièrement en local, sans clé API ni appel vers le cloud. Baptisé MiniCPM5-1B-Claude-Opus-Fable5-Thinking, il est distribué au format GGUF pour les moteurs compatibles llama.cpp. Il s'appuie sur MiniCPM5-1B, un modèle de base publié par le laboratoire chinois OpenBMB, doté de 1,08 milliard de paramètres, d'une architecture LlamaForCausalLM classique à 24 couches avec attention par groupes de requêtes, et d'une fenêtre de contexte de 131 072 tokens. OpenBMB revendique déjà le meilleur score open source de sa catégorie sur ce modèle de base, qui intègre nativement un mode de raisonnement activable via le paramètre enablethinking, offrant un choix entre mode "Think" et mode "No Think". GnLOLot a ensuite affiné ce socle sur des données issues de Fable 5, le modèle Claude d'Anthropic, dans le but d'améliorer les capacités de codage et de suivi d'instructions. Le paquet GGUF propose quatre niveaux de quantification : Q4KM autour de 657 Mo, Q5KM autour de 751 Mo, Q80 autour de 1,1 Go recommandé par défaut, et F16 autour de 2,1 Go. Le modèle s'installe directement via Ollama, llama.cpp, LM Studio, Jan ou KoboldCpp, avec une commande d'une ligne pour Ollama et des réglages d'échantillonnage suggérés de température 0,9 et top_p 0,95 en mode réflexion. L'enjeu de cette publication tient moins à ses performances qu'à ce qu'elle révèle sur les limites du fine-tuning léger appliqué à des traces générées par un grand modèle propriétaire. La méthode employée n'est pas une distillation classique au sens technique du terme, puisque personne n'a accès aux poids ni aux logits internes de Claude. Il s'agit en réalité d'un ajustement supervisé effectué sur des conversations et des raisonnements produits en sortie par le modèle Anthropic, puis utilisés comme données d'entraînement pour le petit modèle. Cette distinction compte : un modèle d'un milliard de paramètres ne peut pas absorber la capacité de raisonnement d'un modèle frontière, il ne peut qu'imiter son style de réponse et son format d'expression. Pour les utilisateurs et développeurs qui cherchent des outils légers et embarquables, cela signifie que le modèle peut sembler produire des réponses au ton proche de Claude, sans pour autant en égaler la fiabilité ou la profondeur de raisonnement. Cette initiative s'inscrit dans une tendance plus large de la communauté open source consistant à capturer le style de sortie des grands modèles fermés pour l'injecter dans des architectures compactes et gratuites. OpenBMB, de son côté, utilise une véritable distillation par politique entre ses propres modèles enseignant et élève, une approche méthodologiquement différente et documentée. Aucun benchmark ni jeu de données d'entraînement n'a été publié pour ce dérivé, ce qui rend les affirmations de performance actuellement invérifiables. La question reste également ouverte sur le plan juridique : la licence Apache 2.0 couvre les poids du modèle de base, mais l'entraînement sur des sorties générées par Claude soulève une interrogation sur les conditions d'utilisation qu'Anthropic impose à ses propres résultats, un point que la fiche du modèle laisse sans réponse.

💬 C'est pas de la distillation, c'est du copiage de style. Personne n'a accès aux poids ni aux logits de Claude, donc GnLOLot a juste entraîné son 1,08 milliard de paramètres à imiter le ton de Fable 5, pas sa capacité de raisonnement, et c'est toute la nuance que le nom du modèle fait oublier. Reste la question qu'on esquive à chaque fois dans ce genre de projet: entraîner un modèle sur les sorties d'un labo propriétaire sans base claire dans ses conditions d'utilisation, c'est un pari juridique déguisé en projet open source.

OpenMOSS publie MOSS-Audio, un modèle open source pour la parole, le son, la musique et le raisonnement audio temporel

L'équipe OpenMOSS, en collaboration avec MOSI.AI et le Shanghai Innovation Institute, a publié MOSS-Audio, un modèle de fondation open source conçu pour unifier dans un seul système toutes les tâches de compréhension audio. Disponible en quatre variantes, MOSS-Audio-4B-Instruct, 4B-Thinking, 8B-Instruct et 8B-Thinking, il repose sur les modèles de langage Qwen3-4B et Qwen3-8B, atteignant respectivement environ 4,6 et 8,6 milliards de paramètres. Le modèle est capable de transcrire de la parole avec alignement temporel au niveau du mot, d'identifier les caractéristiques d'un locuteur, d'analyser ses émotions, de détecter des événements acoustiques, d'interpréter des sons d'ambiance, d'analyser des contenus musicaux et de répondre à des questions précisément ancrées dans le temps, du type "qu'a dit l'intervenant à la deuxième minute". Les variantes Instruct sont optimisées pour des sorties structurées en production, tandis que les variantes Thinking sont conçues pour le raisonnement en plusieurs étapes, grâce à un entraînement par chaîne de pensée et par apprentissage par renforcement. Jusqu'ici, accomplir l'ensemble de ces tâches nécessitait d'assembler plusieurs systèmes spécialisés distincts, chacun dédié à une modalité précise. MOSS-Audio supprime ce besoin d'orchestration en offrant un seul modèle polyvalent utilisable sans commutation. Pour les développeurs et les entreprises qui traitent des flux audio complexes, des réunions enregistrées ou des podcasts, cela représente un gain d'infrastructure significatif. Les capacités de raisonnement temporel, c'est-à-dire la possibilité de répondre à des questions référencées dans le temps sur un enregistrement, ouvrent aussi des cas d'usage qui n'étaient pas accessibles avec des architectures séparées, notamment l'analyse automatisée de contenus longs. L'architecture de MOSS-Audio repose sur trois composants : un encodeur audio, un adaptateur de modalité et un grand modèle de langage. L'encodeur, entraîné de zéro plutôt qu'emprunté à une solution existante, produit des représentations temporelles continues à 12,5 Hz. Une innovation clé baptisée DeepStack permet d'injecter des caractéristiques issues des couches intermédiaires de l'encodeur directement dans le modèle de langage, en plus de la couche finale, ce qui préserve les informations acoustiques de bas niveau comme la prosodie ou les événements transitoires. Le modèle s'inscrit dans une dynamique d'open source audio qui s'accélère depuis 2024, portée par des acteurs chinois cherchant à combler l'écart avec les laboratoires occidentaux dans le domaine du traitement multimodal. Le code source est disponible sur GitHub sous licence publique.

IA entièrement ouverte AMD Instella-MoE-16B-A3B : mélange d'experts avec 2,8 milliards de paramètres actifs, entraîné sur GPU Instinct

AMD a dévoilé Instella-MoE-16B-A3B, un modèle de langage à mélange d'experts entièrement ouvert et entraîné à partir de zéro sur ses GPU Instinct MI300X et MI325X. Le modèle compte 16 milliards de paramètres au total mais n'en active que 2,8 milliards par token, grâce à une architecture décodeur de 27 couches, une taille cachée de 2048, 16 têtes d'attention et un vocabulaire de 128 896 tokens. Chaque couche MoE combine 2 experts partagés et 6 experts routés sélectionnés parmi 64. AMD publie les poids de chaque étape d'entraînement, les mélanges de données, les configurations et le code d'inférence. Deux choix techniques structurent ce modèle : l'attention latente multi-têtes à porte (Gated MLA), qui ajoute une porte apprise avant la projection de sortie, et la connectivité FarSkip-Collective, qui superpose la communication entre experts et le calcul en transmettant des activations partielles. Résultat, un gain de vitesse de 12,7% à l'entraînement et jusqu'à 39,2% de réduction du temps avant premier token en service. L'entraînement a mobilisé 7,1 mille milliards de tokens issus de corpus ouverts comme Nemotron-CC-v2, MegaMath et RefineCode, suivi d'un pré-entraînement intermédiaire sur Dolma3 Dolmino, puis d'une extension du contexte de 4K à 64K tokens. Cette annonce compte parce qu'elle prouve qu'un acteur du matériel comme AMD peut désormais livrer une recette complète et documentée d'entraînement de grand modèle de langage sur ses propres puces, du pré-entraînement jusqu'au post-entraînement par apprentissage par renforcement, sans dépendre de l'écosystem CUDA de Nvidia. Sur les benchmarks, le modèle de base atteint une moyenne de 76,7, la meilleure parmi les modèles entièrement ouverts, devançant Moonlight-16B-A3B (76,2) et OLMo-3-7B (70,1), mais restant derrière Qwen3.5-4B-Base (79,5). Après post-entraînement, la version Think grimpe à 73,22, au-dessus d'Olmo3-7B-Think et de Gemma-4-E4B. Pour les laboratoires de recherche et les équipes R&D disposant de capacité GPU en centre de données, cela ouvre un cas d'usage concret : reproduire un pipeline MoE de bout en bout, étudier le service en parallélisme d'experts, ou expérimenter le post-entraînement par renforcement. En revanche, la licence ResearchRAIL qui encadre les poids limite l'usage à la recherche académique, écartant les startups qui chercheraient un modèle commercial prêt à déployer. Seul le code d'entraînement, sous licence MIT, reste pleinement réutilisable commercialement. Ce lancement s'inscrit dans la stratégie plus large d'AMD pour crédibiliser sa pile logicielle ROCm face à l'écosystème Nvidia, en démontrant qu'elle peut porter un entraînement complexe impliquant apprentissage par renforcement et distillation multi-enseignants via son framework Miles. Le post-entraînement a suivi un parcours en plusieurs étapes : un ajustement supervisé sur les jeux Dolci-Think-SFT-7B et Nemotron, une optimisation directe des préférences avec désactivation de la perte d'équilibrage de charge pour éviter toute dégradation, puis 1 400 étapes de renforcement suivant les instructions, avant une distillation sur politique multi-enseignants pour consolider les gains sans perdre en capacités mathématiques ou de code. En matière de déploiement, un modèle de 16 milliards de paramètres en BF16 nécessite environ 32 Go de mémoire, ce qui le rend accessible à un seul accélérateur haut de gamme, et AMD fournit du code d'inférence compatible SGLang. Les prochaines étapes attendues concernent l'adoption de cette recette par d'autres laboratoires souhaitant s'affranchir de Nvidia, ainsi que l'évolution éventuelle de la licence vers un usage commercial plus large.

💬 Sur le papier, c'est du lourd : recette complète, poids ouverts, code d'entraînement en MIT. Mais la licence ResearchRAIL sur les poids ferme la porte aux startups, donc ça reste un coup de com technique pour ROCm plus qu'un outil déployable. Retiens ça : AMD prouve qu'on peut sortir de l'écosystème CUDA pour entraîner un LLM sérieux, mais tant que les poids restent verrouillés à la recherche académique, ça ne change rien pour qui veut lancer un produit demain.