KAT-Coder-V2.5 : KwaiKAT lance un modele de codage a base d'agents entraine sur plus de 100 000 environnements de depot verifiables
L'équipe KwaiKAT de Kuaishou a dévoilé KAT-Coder-V2.5, un modèle de codage conçu pour opérer directement dans des dépôts de code réels et exécutables plutôt que de se contenter de générer du code en une seule passe. Le modèle est accessible via la plateforme StreamLake, et une variante à poids ouverts, KAT-Coder-V2.5-Dev, a été publiée séparément sur Hugging Face sous licence Apache-2.0. Le cœur du projet repose sur un système baptisé AutoBuilder, qui définit une tâche vérifiable comme un triplet associant une description précise de la tâche, un environnement de dépôt exécutable et une série de tests de validation : un correctif n'est jugé correct que s'il satisfait l'ensemble de ces critères. Les tâches proviennent de vraies pull requests et de vrais commits, dans la lignée de SWE-bench, avec un correctif de référence et un correctif de test associés. Un agent de construction analyse chaque dépôt pour écrire un script de configuration installant les dépendances et lançant les tests depuis une copie propre, tandis qu'un agent de vérification exécute ce script dans un environnement isolé, n'acceptant l'environnement que si plus de 90% des tests attendus sont collectés et que leurs résultats sont reproductibles. Grâce à cette méthode, associée à des modèles de systèmes de build et à une bibliothèque de recettes réutilisables, le taux de réussite de construction des environnements est passé de 16,5% à 57,2%, aboutissant à plus de 100 000 environnements vérifiables couvrant 12 langages de programmation.
Cette approche change la manière dont les modèles de codage sont entraînés et évalués, avec des conséquences concrètes pour les équipes d'ingénierie logicielle et les développeurs d'outils d'IA agentique. Plutôt que de juger un modèle sur sa capacité à produire un extrait de code plausible, KAT-Coder-V2.5 est évalué sur sa capacité à résoudre de vrais problèmes dans un contexte réaliste, avec compilation, dépendances et tests automatisés. Cela réduit le risque que des modèles obtiennent de bons scores en exploitant des raccourcis artificiels, comme le contournement de mécanismes de test ou le codage en dur de résultats attendus, une dérive fréquente dans l'entraînement par renforcement appliqué au code. Pour les entreprises qui cherchent à déployer des agents capables de naviguer, corriger et faire évoluer des bases de code existantes de façon autonome, ce type d'entraînement rapproche les modèles des conditions réelles de production, où la correction d'un bug implique bien plus que produire une ligne de code correcte isolément.
Le projet met en lumière un problème plus large de fiabilité dans l'entraînement des modèles de codage par renforcement. Lors du développement de la version précédente, KAT-Coder-V2, l'équipe avait d'abord attribué la lenteur des courbes de récompense à des limites de l'algorithme d'apprentissage, avant qu'un audit ne révèle qu'environ 16% des trajectoires échouaient en réalité à cause de problèmes d'infrastructure des bacs à sable, notamment des défauts d'alignement qui vidaient les observations, et non à cause du modèle lui-même. KwaiKAT a donc développé un mécanisme de filtrage fondé sur le processus plutôt que sur le seul succès final des tests, avec des indices ciblés pour les tentatives proches de la réussite, une régénération de trajectoires sans indice pour éviter les fuites d'information, et un système de notation évaluant l'exploration, la localisation du bug, la fidélité aux spécifications et la qualité de la vérification. Un mécanisme de randomisation des noms d'outils, formats de sortie et modèles de prompts vise également à limiter le surapprentissage lié au harnais d'évaluation, une préoccupation croissante à mesure que les benchmarks de codage agentique deviennent des cibles d'optimisation pour l'industrie.
Dans nos dossiers
Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.
