Google DiffusionGemma prouve qu'il n'est pas necessaire d'entrainer de zero pour creer un modele de diffusion textuelle

Google DeepMind a transformé son modèle Gemma 4 en système de diffusion textuelle sans le réentraîner depuis zéro, en utilisant moins de 10 % du budget d'entraînement initial. Baptisé DiffusionGemma, ce modèle génère 256 tokens en parallèle plutôt qu'un par un comme les modèles autorégressifs classiques, atteignant une vitesse d'environ 1 500 tokens par seconde. Sur le plan de la qualité, les benchmarks montrent que DiffusionGemma reste toutefois en retrait par rapport au modèle Gemma 4 original, en particulier sur les tâches de raisonnement complexe.

Cette approche représente une avancée pratique importante pour l'industrie de l'IA générative, car elle réduit drastiquement le coût de développement des modèles de diffusion textuelle, une architecture longtemps considérée comme nécessitant un entraînement complet et coûteux. En démontrant qu'un modèle autorégressif existant peut être converti plutôt que reconstruit, Google ouvre la voie à une adoption plus large de la génération parallèle de texte, particulièrement utile pour les applications nécessitant une latence réduite, comme les assistants conversationnels en temps réel ou les systèmes nécessitant des réponses rapides à grande échelle.

Les modèles de diffusion, popularisés initialement dans la génération d'images avec des outils comme Stable Diffusion, suscitent depuis peu un intérêt croissant pour le texte, en rupture avec le paradigme autorégressif dominant qui a porté des modèles comme GPT ou la lignée Gemini de Google. La contrainte de qualité sur le raisonnement souligne cependant que cette technique reste un compromis entre vitesse et performance plutôt qu'un remplacement pur et simple. Le succès de cette conversion à faible coût pourrait inciter d'autres laboratoires, notamment OpenAI ou Meta, à explorer des stratégies similaires de rétrofit plutôt que de développement de modèles de diffusion entièrement nouveaux.