Attention to Mamba : une méthode pour distiller des modèles entre architectures différentes
Des chercheurs proposent une méthode pour distiller un modèle de type Transformer, fondé sur le mécanisme d'attention, vers une architecture de type Mamba, c'est-à-dire un modèle à espace d'états (SSM). Leur objectif est d'identifier une recette efficace qui permette de transférer les connaissances d'un modèle Transformer préentraîné vers une architecture Mamba, sans repartir d'un entraînement complet. Le travail, intitulé « Attention to Mamba: A Recipe for Cross-Architecture Distillation », s'inscrit dans la continuité de travaux antérieurs sur la conversion entre architectures, que les auteurs cherchent à améliorer en précisant les choix qui comptent réellement.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de Apple Machine Learning. Lire l'article original →
L'enjeu est pratique. Les SSM comme Mamba consomment moins de mémoire et offrent un débit de génération plus élevé que leurs équivalents à attention, ce qui réduit les coûts d'inférence, notamment sur les longues séquences. Mais leur adoption est freinée par le fait que l'écosystème de l'entraînement s'est construit autour des Transformers. Pouvoir réutiliser les nombreux modèles préentraînés déjà disponibles permettrait aux équipes de bénéficier de l'efficacité des SSM sans supporter le coût d'un préentraînement à grande échelle. Une recette fiable de distillation abaisserait ainsi la barrière d'entrée pour les entreprises et les laboratoires qui souhaitent déployer des modèles plus économes.
Ce travail répond à une tension qui structure le domaine depuis l'apparition de Mamba. D'un côté, la communauté a accumulé une expertise considérable sur l'entraînement des Transformers, avec des modèles ouverts de grande qualité. De l'autre, les architectures alternatives promettent de meilleures performances à l'usage, mais manquent de modèles préentraînés comparables. La distillation inter-architectures apparaît comme un pont entre ces deux mondes. Reste à savoir si les modèles distillés peuvent égaler la qualité de leur modèle d'origine sur un large éventail de tâches, et à quel coût de calcul, des questions que les prochaines comparaisons et reproductions devront trancher.