Aller au contenu principal
LLMs · Actu ·

Un nouvel adaptateur LoRA fait passer le taux de réussite de Qwen3.8 en programmation de 39 % à 65 %

L'équipe harness-hub de Hugging Face a publié Qwen3.8-27B-pi-adapted, un adaptateur LoRA de rang 32 (alpha 64) pour le modèle Qwen3.8-27B, entraîné par apprentissage par renforcement pour fonctionner dans l'agent de code pi. Le modèle de base est un transformeur dense hybride de 27 milliards de paramètres, doté d'un contexte natif de 262 144 tokens, qui alterne des blocs d'attention linéaire Gated DeltaNet et des blocs Gated Attention sur 64 couches. L'adaptateur, publié sous licence Apache-2.0, cible les projections q, k, v, o, gâté, up et down. Sur le benchmark SWE-bench Pro (sous-ensemble difficile de 51 tâches), avec la réflexion désactivée, le taux de réussite passe de 39,2 % à 64,7 %, soit un gain de 25,5 points. Sur Terminal-Bench 2.1 (86 tâches), il grimpe de 39,5 % à 55,8 %. L'adaptateur résout 15 nouvelles tâches SWE-bench Pro pour 2 perdues, et 16 gagnées pour 2 perdues sur Terminal-Bench. Le nombre médian de tours chute de 59 à 23 sur le premier, et de 18 à 8 sur le second.

3 min de lecture

Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie

Source

Résumé et traduction réalisés par Le Fil IA à partir de MarkTechPost. Lire l'article original →

Le point le plus notable est l'efficacité. Avec la réflexion activée, le modèle de base atteint déjà 64,7 % sur SWE-bench Pro et 54,2 % sur Terminal-Bench 2.1 : l'adaptateur égale donc cette précision en générant environ 4,5 fois moins de tokens, sans payer le coût de longues chaînes de raisonnement. Pour les développeurs qui font tourner des agents de code en local, cela signifie des sessions plus courtes et moins coûteuses. Ils conservent un modèle ouvert et y ajoutent un petit adaptateur spécifique à leur outil. Comme plusieurs adaptateurs partagent un même modèle de base, un seul serveur peut héberger côte à côte les versions pour pi et OpenCode. Le déploiement est possible avec vLLM (LoRA activé), avec llama.cpp via un adaptateur GGUF sur une base Q8_0, avec Llama.app sur macOS, ou après fusion via PEFT en un checkpoint BF16 d'environ 54 Go. Les besoins en mémoire vidéo à l'inférence ne sont pas précisés. Les réserves tiennent à des résultats auto-déclarés, obtenus sur de petits jeux de test, et limités au seul agent pi.

La méthode découle de l'approche des « adaptateurs de harnais » exposée par Hugging Face le 6 novembre : un adaptateur LoRA par couple modèle et outil, entraîné dans l'outil lui-même, sans modification, sur des tâches vérifiables. Ici, l'entraînement a utilisé AsyncGRPO de la bibliothèque TRL, avec 8 déroulés par tâche à température 0,8, sur 750 tâches scale800 mêlées à 300 tâches TermGrade. La récompense combine la validité vérifiée et un bonus d'efficacité d'outils pesant 0,1, avec un plafond de 50 étapes et 1 800 secondes par déroulé. Le checkpoint retenu correspond à l'étape 160, l'entraînement s'étant arrêté à l'étape 191 sur 1 000 prévues, sur deux GPU NVIDIA B200. Un proxy à règles, safeagents, bloque des appels comme la récupération des réponses de benchmarks sur le Hub, et les déroulés bloqués reçoivent un score nul, ce qui décourage le détournement de la récompense. Un adaptateur équivalent pour OpenCode affiche 51,0 % et 53,0 % sur les deux benchmarks, mais sur un autre harnais, ce qui exclut toute comparaison directe. Le modèle bytkim/Qwen3.8-27B-pi, issu d'un réglage complet suivi de GRPO, revendique environ 41 % de tokens de sortie en moins sur Terminal-Bench sans publier de scores. Une valeur de référence de 29,4 % avancée dans un message public a depuis été corrigée.

Impact France / UEChamp produit par Le Fil IA

Les développeurs européens peuvent tester gratuitement, sous licence Apache-2.0, un adaptateur ouvert qui réduit le coût des agents de code exécutés en local.

À lire ensuite

01Qwen3.8-Max affirme surpasser GPT-5.6 Sol Max et Fable 5 sur l'usage d'ordinateur à base d'agentsVentureBeat AILLMs 02Nous Research publie Arete-27B, qui réduit la propagande de Qwen3.8-27B de 22 % à 0,9 %MarkTechPostLLMs 03Alibaba dévoile Qwen3.8-Max, un modèle MoE de 2,4 billions de paramètres, le plus performant de la famille Qwen à ce jourMarkTechPostLLMs 
Dossier · Qwen3Suivi en continu par Le Fil IASuivre ce sujet →

Le brief du matin

L'essentiel de l'IA chaque jour. Gratuit, désinscription immédiate à tout moment.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription à tout moment

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.