Les propriétés de mise à l'échelle des métriques aval dans l'entraînement des grands modèles de langage

Une équipe de chercheurs remet en question une croyance bien ancrée dans le domaine des grands modèles de langage : la performance sur les tâches réelles serait imprévisible à partir du budget d'entraînement. Leur étude propose un cadre direct pour modéliser la progression des benchmarks en fonction des ressources investies, et les résultats sont convaincants.

L'enjeu est considérable pour l'industrie. Jusqu'ici, les équipes s'appuyaient sur des métriques intermédiaires comme la perte de pré-entraînement (pretraining loss) pour estimer les capacités futures d'un modèle, sans pouvoir prédire directement ce que ce modèle ferait sur des tâches concrètes. Cette incertitude complique les décisions d'investissement : faut-il entraîner un modèle plus grand, ou sur plus de données ? La réponse restait floue.

Les chercheurs démontrent que pour un ratio tokens/paramètres fixé, une simple loi de puissance (power law) suffit à décrire avec précision l'évolution du logarithme de l'accuracy sur plusieurs benchmarks populaires. Contrairement à la procédure en deux étapes proposée précédemment dans la littérature, qui consiste à prédire la loss, puis à convertir cette loss en performance, leur approche directe extrapole mieux et de façon plus fiable.

Ces résultats pourraient changer la façon dont les laboratoires planifient leurs runs d'entraînement. Pouvoir anticiper directement la performance sur des tâches aval (downstream tasks), sans passer par une métrique proxy, permettrait d'allouer les budgets de calcul avec plus de précision, de réduire les expériences coûteuses à l'aveugle, et d'accélérer les cycles de développement des futurs LLMs.