Goldilocks RL : ajuster la difficulté des tâches pour contourner les récompenses éparses en raisonnement

Le renforcement par apprentissage (RL) s'impose comme l'une des voies les plus prometteuses pour développer les capacités de raisonnement des grands modèles de langage — mais il se heurte à un obstacle fondamental : la rareté des récompenses. Lorsque les signaux de feedback sont trop clairsemés, les modèles doivent explorer des espaces de recherche immenses avec très peu de guidance, rendant l'entraînement extrêmement inefficace. C'est précisément ce problème que la méthode Goldilocks RL cherche à résoudre.

L'approche s'inscrit dans la tradition du curriculum learning — l'idée d'ordonner les données d'entraînement par niveau de complexité croissante — mais en pousse la logique bien plus loin. Plutôt que d'appliquer un ordre statique et générique, Goldilocks introduit un mécanisme dynamique piloté par un modèle « enseignant » qui prédit en temps réel la difficulté de chaque question pour le modèle élève en cours d'entraînement. L'enjeu est de toujours placer le modèle dans une zone d'apprentissage optimale : ni trop facile (aucun apprentissage), ni trop difficile (signal nul).

La métaphore de Boucles d'or (Goldilocks) est donc délibérée : il s'agit de trouver la température idéale. Le modèle enseignant joue le rôle d'un orchestrateur adaptatif, sélectionnant dynamiquement les tâches dont la difficulté est calibrée pour maximiser le signal d'apprentissage malgré la rareté des récompenses. Cette stratégie d'échantillonnage évite les deux écueils classiques du RL sur les LLMs : le gaspillage computationnel sur des tâches triviales et l'absence de gradient sur des tâches hors de portée.

La publication de Goldilocks RL s'inscrit dans une compétition intense autour de l'amélioration de l'efficacité du RL pour le raisonnement, après le succès de méthodes comme GRPO ou DAPO. Si la méthode tient ses promesses à plus grande échelle, elle pourrait réduire significativement les coûts d'entraînement des modèles de raisonnement avancés — un enjeu majeur pour les laboratoires cherchant à concurrencer les approches de OpenAI ou DeepSeek sans engager des ressources computationnelles massives.