Des chercheurs de Perplexity et NVIDIA présentent JOLT, une méthode d'apprentissage par renforcement conjoint enseignant-élève
Perplexity et des chercheurs de NVIDIA ont présenté JOLT (Joint On-policy Learning and Teaching), une méthode de post-entraînement pour modèles de langage qui entraîne un seul et même modèle dans deux rôles simultanés : un enseignant, qui accède à des informations privilégiées comme une solution vérifiée, et un élève, qui ne voit que la tâche. La nouveauté tient à ce que l'enseignant est lui aussi entraîné, à partir de récompenses de résultat et d'une pénalité KL qui le maintient proche de l'élève, afin que ses conseils restent exploitables. Testée sur Qwen3-0.6B, Qwen3-4B-Instruct, Qwen3-8B, Qwen3-30B-A3B-Instruct et DeepSeek-V2-Lite, la variante JOLT+ (qui ajoute la récompense de résultat propre à l'élève) obtient le meilleur score moyen dans les cinq configurations face à GRPO, OPSD et π-Distill. Elle gagne 1,5 point sur GSM8K, 4,2 sur MATH, 3,0 sur LiveCodeBench v6 et 9,9 sur AppWorld (72,09 % contre 62,20 %). Sur Terminal-Bench 2.1, elle atteint 10,96 % en pass@1 et 34,83 % en pass@32, contre 8,25 % et 30,34 % pour GRPO. Le JOLT simple, sans récompense élève, bat GRPO sur MATH (72,14 % contre 68,36 %), mais tombe à 51,92 % sur AppWorld, sous GRPO.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de MarkTechPost. Lire l'article original →
L'enjeu est d'abord financier. Sur MATH, pour atteindre 63,44 % de précision, le point de contrôle de GRPO a consommé 8,40 millions de tokens d'entraînement traités, contre 1,30 million pour la courbe ajustée de JOLT, soit 6,5 fois moins. En ne comptant que les tokens de complétion, l'écart grimpe à environ 13 fois, et sur des cibles de 55 % à 65 %, les économies vont de 4,3 à 7,4 fois. JOLT plafonne aussi plus haut, autour de 72 % contre environ 70 % pour GRPO. Pour les équipes qui font du post-entraînement par apprentissage par renforcement, c'est une question directe de budget de calcul. Comme un seul modèle joue les deux rôles, aucun enseignant externe n'est nécessaire. Les auteurs n'ont en revanche pas divulgué le matériel utilisé pour l'entraînement.
Cette approche répond à une limite connue de l'apprentissage par renforcement à récompense de résultat comme GRPO : un seul signal par tentative, qui ne dit pas quels tokens ont aidé. Sur des tâches d'agents longues, où les réussites sont rares, l'apprentissage est lent. La distillation on-policy corrige cette parcimonie en faisant noter chaque token de l'élève par un enseignant plus fort, et OPSD supprime l'enseignant séparé en donnant au même modèle un contexte privilégié. Mais les auteurs soulignent qu'un enseignant qui détient la réponse peut emprunter des raccourcis que l'élève ne peut pas suivre, et leurs mesures montrent que le désaccord entre les deux grandit au fil de l'entraînement sur MATH avec OPSD. JOLT vise donc un enseignant « cohérent avec la récompense », dont la mise à jour de distillation pointe dans la même direction que le gradient de récompense de l'élève, en favorisant les actions à fort avantage sans s'éloigner de la politique de l'élève. Les informations privilégiées varient selon les bancs d'essai : réponse vérifiée, solutions de référence, solutions voisines ou retours d'exécution, résumés de tentatives passées, fichiers de vérification privés.
Pas d'impact direct sur la France/UE