Les LLM rendus plus rapides sans sacrifier la précision
Des chercheurs ont présenté lors de la conférence internationale ICLR (International Conference on Learning Representations) un nouveau cadre mathématique permettant d'optimiser à la fois la vitesse d'inférence et la précision des grands modèles de langage. Leur constat de départ est frappant : deux modèles ayant exactement le même nombre de paramètres, entraînés sur les mêmes données et atteignant la même précision, peuvent afficher des différences de débit allant jusqu'à 40 % selon leurs choix architecturaux. Ces choix portent sur trois variables concrètes : la taille des représentations internes du modèle (le "hidden size"), le ratio de paramètres alloués aux couches MLP par rapport aux couches d'attention, et une technique appelée "grouped-query attention" (GQA) dans laquelle plusieurs têtes d'attention partagent des matrices clé-valeur. En jouant sur ces leviers sous un budget de paramètres fixe, il est possible de réduire significativement les calculs lors de la génération de texte et d'alléger le cache clé-valeur, principal goulot d'étranglement en mémoire.
Résumé et traduction réalisés par Le Fil IA à partir de Amazon Science. Lire l'article original →
L'enjeu est considérable pour toute l'industrie du logiciel en temps réel. Les applications web basées sur l'IA, chatbots, assistants, moteurs de recherche augmentés, ne peuvent pas se permettre des latences élevées même si le modèle sous-jacent est plus précis. Jusqu'ici, les équipes d'ingénierie devaient choisir empiriquement leur architecture, sans loi formelle pour guider ces arbitrages. Ce nouveau cadre leur offre une boussole quantitative : pour un budget computationnel donné, il devient possible de prédire quelle configuration architecturale maximisera le débit sans sacrifier la qualité des réponses.
Ce travail s'inscrit dans la lignée directe de la "loi Chinchilla", publiée par Google DeepMind en 2022, qui avait établi comment ajuster conjointement la taille d'un modèle et le volume de données d'entraînement pour minimiser la perte à budget fixe. Cette loi, fondatrice dans la discipline, ne disait cependant rien des choix internes d'architecture. Les auteurs comblent ce manque en intégrant ces variables structurelles dans l'équation de scaling, transformant l'architecture en un paramètre de premier rang au même titre que le nombre de paramètres ou les tokens d'entraînement. À mesure que les modèles continuent de grossir et que les coûts d'inférence grimpent, ce type de cadre pourrait devenir un outil de référence pour les équipes qui cherchent à déployer des LLMs performants sans exploser leur facture de calcul.
Les laboratoires européens comme Mistral AI pourraient directement appliquer ce cadre pour optimiser leurs choix architecturaux et réduire leurs coûts d'inférence sans sacrifier la précision.
C'est le chaînon manquant après Chinchilla. On savait calibrer la taille du modèle et le volume de données, mais les choix architecturaux restaient du bricolage guidé par l'instinct, sans cadre formel pour trancher. 40% de débit en plus sur le même budget de paramètres, c'est le genre de gain qui change vraiment la facture à l'échelle, et Mistral et consorts seraient bien avisés de s'y plonger.