Zyphra publie ZAYA1-8B-Diffusion-Preview : le premier modèle de diffusion MoE converti à partir d'un LLM autorégressif, avec une accélération jusqu'à 7,7x
Le laboratoire d'IA californien Zyphra a publié ZAYA1-8B-Diffusion-Preview, un modèle de langage à diffusion issu de la conversion de son modèle autorégressif ZAYA1-8B-base existant. La conversion a nécessité 600 milliards de tokens d'entraînement intermédiaire à une longueur de contexte de 32 000 tokens, suivis de 500 milliards de tokens pour étendre nativement ce contexte à 128 000, puis une phase de fine-tuning supervisé en mode diffusion. Le résultat est le premier modèle à diffusion de type MoE (Mixture of Experts) converti à partir d'un LLM autorégressif, et le premier modèle de ce type entraîné sur des GPU AMD. Les gains de vitesse atteignent jusqu'à 7,7x par rapport au décodage autorégressif classique, sans dégradation notable des performances sur les benchmarks standards, avec même des améliorations sur certains, comme LCB-v6.
Résumé et traduction réalisés par Le Fil IA à partir de MarkTechPost. Lire l'article original →
L'enjeu technique est de taille. Les modèles de langage classiques génèrent les tokens un par un, ce qui oblige le GPU à charger depuis la mémoire le cache KV (les représentations de tous les tokens précédents) à chaque étape. Ce mécanisme rend le système limité par la bande passante mémoire plutôt que par la puissance de calcul, un goulot d'étranglement croissant alors que les GPU modernes voient leur capacité de calcul progresser bien plus vite que leur bande passante mémoire. Le modèle à diffusion contourne ce problème en générant 16 tokens simultanément dans un même bloc, tous partageant le même cache KV. L'opération devient alors dominée par le calcul plutôt que par les transferts mémoire, ce qui permet d'exploiter le matériel beaucoup plus efficacement. Un mécanisme inspiré du décodage spéculatif sélectionne ensuite les tokens acceptés, avec l'avantage que le même modèle joue à la fois le rôle de spéculateur et de vérificateur, éliminant le coût d'exécution de deux modèles distincts comme dans des approches concurrentes telles qu'EAGLE.
La stratégie de Zyphra tranche avec les approches habituelles : plutôt que d'entraîner un modèle à diffusion de zéro, l'entreprise a converti un checkpoint existant, une décision motivée par deux raisons pratiques. L'entraînement from scratch en mode diffusion est techniquement difficile, avec peu de recettes établies. Surtout, la diffusion n'apporte aucun avantage à l'entraînement, la contrainte de bande passante mémoire n'existe qu'à l'inférence, ce qui permet de réutiliser entièrement les pipelines de préentraînement existants. Ce modèle s'inscrit dans une compétition plus large autour de l'efficacité à l'inférence, où plusieurs acteurs, dont Inception Labs et Mercury, explorent les modèles à diffusion comme alternative aux architectures autoregressives dominantes. La publication de ZAYA1-8B-Diffusion-Preview en accès ouvert sur Hugging Face, accompagnée d'une documentation technique détaillée, signale que Zyphra mise sur la transparence pour s'imposer dans ce domaine encore émergent.
Pas d'impact direct sur la France/UE.
7,7x plus rapide sans perte sur les benchmarks, c'est le genre de chiffre qu'on a du mal à ignorer. Ce qui est malin ici, c'est pas d'avoir choisi la diffusion, c'est d'avoir converti un checkpoint existant plutôt que de repartir à zéro, parce que le gain n'existe qu'à l'inférence, pas à l'entraînement. Reste à voir si ça tient en prod.