Peut-on modifier l'architecture d'un modèle d'IA sans le réentraîner de zéro ?
Les modèles Transformer paient une « taxe mémoire » qui croît avec le nombre de jetons traités, un coût qui s'alourdit à mesure que les agents d'IA mènent des sessions plus longues et des raisonnements plus profonds. Pour y remédier, plusieurs architectures hybrides combinent attention parcimonieuse (qui ne retient qu'un sous-ensemble des jetons passés), attention à fenêtre glissante (qui ne conserve que les jetons les plus récents) et modèles à espace d'états (qui compressent tout l'historique dans un état de taille fixe). Jusqu'ici, comparer ces approches imposait d'entraîner chaque architecture de zéro, avec des milliers de milliards de jetons et des centaines de milliers d'heures de GPU. Une équipe d'Amazon Web Services publie « Priming : modèles hybrides à espace d'états issus de Transformers préentraînés », une méthode qui réutilise les poids d'un Transformer existant comme point de départ et réduit de plus de 99 % le coût de préentraînement d'un hybride. Les chercheurs ont comparé trois types de modèles à espace d'états : Gated KalmaNet (GKA), Gated DeltaNet (GDN) et Mamba-2. Dans des conditions contrôlées, GKA arrive en tête, suivi de GDN puis de Mamba-2. Les modèles à espace d'états surpassent systématiquement l'attention à fenêtre glissante, même lorsque celle-ci dispose d'un budget mémoire doublé. Un hybride de 32 milliards de paramètres basé sur GKA égale son Transformer d'origine sur des tests de raisonnement, tout en décodant jusqu'à deux fois plus vite avec 128 000 jetons de contexte et en atteignant la bonne réponse en seulement deux tiers du temps réel.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de Amazon Science. Lire l'article original →
L'enjeu est d'abord économique et scientifique. Quand chaque expérience coûte un entraînement complet, seuls quelques grands laboratoires peuvent explorer l'espace de conception des architectures, et les comparaisons rigoureuses restent rares. Avec le priming, les développeurs peuvent désormais tester des questions jusque-là inabordables à grande échelle : quelles couches d'attention remplacer par des couches plus efficaces, combien en remplacer sans perdre en qualité, quelle couche à espace d'états est la meilleure, et à quoi ressemble le compromis entre vitesse et précision. Les résultats livrent aussi un enseignement concret : un résumé approximatif de tout l'historique vaut mieux qu'un enregistrement parfait du passé récent. GKA offre en outre une particularité précieuse, un calcul d'inférence de longueur variable sans réentraînement, qui permet à l'utilisateur de choisir lui-même sa position sur la frontière vitesse-précision. Pour les entreprises qui déploient des agents à long contexte, cela se traduit par des réponses plus rapides et des coûts de serveur réduits.
Ces travaux s'inscrivent dans la multiplication des architectures hybrides, qui cherchent à contourner la limite structurelle de l'attention. Dans un Transformer, chaque jeton produit une requête, une clé et une valeur par multiplication avec des matrices de projection apprises. La pertinence se calcule en comparant la requête courante à la clé de chaque jeton précédent, et le contexte à conserver grandit avec chaque jeton généré. Les approches hybrides diffèrent par la manière dont elles retiennent et exploitent le passé. Pour encourager la recherche, l'équipe d'AWS publie sous licence Apache 2.0 un ensemble de modèles hybrides primés à 8 et 32 milliards de paramètres, destinés au raisonnement à long contexte et au suivi d'instructions, avec le code d'entraînement, des noyaux optimisés et un plugin de service pour vLLM. Reste à voir si la communauté s'emparera de ces outils pour confronter systématiquement les architectures.
Pas d'impact direct sur la France/UE