Alibaba Qwen présente QwenGyre : un apprentissage par renforcement élastique pour agents autonomes sur de très longues tâches
Alibaba Qwen a présenté QwenGyre, un framework d'apprentissage par renforcement élastique conçu pour entraîner des agents de codage sur des tâches « XLong-horizon », c'est-à-dire des exécutions de plusieurs heures qui mobilisent des centaines d'appels au modèle et à des outils, et traitent près d'un million de tokens (environ 700 000 par rollout dans les tests). Il ne s'agit pas d'un modèle mais d'un système d'entraînement en ligne qui fonctionne à travers des « harnesses » non modifiés, traités comme des boîtes noires, comme Claude Code 2.1.220 utilisé pour tous les essais. Il repose sur deux idées : déplacer les GPU inactifs entre la génération de rollouts et l'entraînement, et transformer les historiques d'agents ramifiés en échantillons d'entraînement bornés. Le framework a été testé sur Qwen 3.6 122B (24 à 32 nœuds) et sur le modèle phare Qwen 3.8 2.4T (192 nœuds répartis en 4 cellules de 48), avec Megatron pour l'entraînement et SGLang pour le service. Face aux approches Async, il est 1,38 à 1,78 fois plus rapide, et face à Colocate, 1,21 à 1,85 fois, à scores équivalents. Le meilleur gain, 1,85x sur TerminalBench, contraste avec le plus faible, 1,21x sur le 2.4T, où de nombreuses requêtes approchaient le délai maximal. Sur NL2RepoBench, le score passe de 52,5 % à 58,5 % en 48 étapes.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de MarkTechPost. Lire l'article original →
Ces résultats comptent parce que l'entraînement d'agents sur de longues séquences est aujourd'hui dominé par le gaspillage de calcul. Les rollouts ont de longues traînes : en mode Colocate, l'entraînement attend l'exécution la plus lente pendant que les GPU restent oisifs, tandis qu'en mode Async, des pools figés ne peuvent pas se prêter de capacité. QwenGyre récupère ces cycles perdus sans changer le harnais de l'agent, ce qui permet d'entraîner sur des outils réels plutôt que sur des environnements simplifiés. Les changements de rôle sont rapides, en moyenne 8,52 s du rollout vers l'entraînement et 3,46 s dans l'autre sens. Pour les laboratoires, cela signifie des itérations moins coûteuses sur des modèles de plusieurs billions de paramètres. Une réserve : le papier ne mentionne aucune publication de code, et le type de GPU n'est pas précisé, ce qui limite la reproductibilité.
Le contexte est celui d'une évolution des agents de codage, qui compactent leur contexte, lancent des sous-agents et réessaient des actions. Une exécution devient ainsi un arbre de branches et non une trajectoire unique, et développer chaque chemin dupliquerait les préfixes partagés et gonflerait les coûts. QwenGyre répond par deux composants. L'ordonnanceur élastique répartit les GPU en cellules : une cellule centrale détient les poids et l'état de l'optimiseur, des cellules satellites rejoignent l'entraînement quand le niveau d'eau des rollouts (exécutions en file ou en cours) le permet. Les appels passent par un proxy, les blocs de cache KV migrent par RDMA et les poids transitent par le Transfer Engine de Mooncake. Le processeur de trajectoires enregistre les identifiants exacts de tokens et les log-probabilités (TITO), conserve au plus 5 trajectoires par exécution, note les exécutions expirées sur leur espace de travail et exclut les échecs d'évaluation au lieu de leur donner une récompense nulle. Ce plafond de 5 a égalé les scores sans limite tout en réduisant de 25,2 % le temps aller-retour de calcul, avec un GSPO adapté et 16 rollouts par groupe.
Pas d'impact direct sur la France/UE