ByteDance Seed et Tsinghua AIR présentent CUDA Agent, un système de RL à base d'agents pour générer des kernels CUDA
ByteDance Seed et le Tsinghua AIR ont publié un système baptisé CUDA Agent, conçu pour entraîner un grand modèle de langage à écrire des noyaux GPU (kernels CUDA) plus rapides que ceux générés par un compilateur classique. Le point de départ est révélateur : sur le benchmark KernelBench, le modèle de base Seed1.6 produit du code CUDA correct dans 74,0% des cas, mais ne dépasse la vitesse de torch.compile que dans 27,2% des tâches, avec un ralentissement moyen de 0,69x. CUDA Agent comble cet écart en plaçant le modèle dans un véritable environnement de développement CUDA, doté d'outils de profilage, de vérifications de correction et d'un bac à sable verrouillé par permissions, puis en l'entraînant par apprentissage par renforcement (PPO) sur 150 étapes avec un contexte de 131 072 tokens. Résultat: un taux de réussite de 98,8% et 96,8% des noyaux générés surpassent torch.compile, pour une accélération moyenne de 2,11x, soit environ 40 points d'avance sur Claude Opus 4.5 et Gemini 3 Pro sur le sous-ensemble le plus difficile du benchmark. L'entraînement du bac à sable de profilage a mobilisé 128 GPU NVIDIA H20. Cette avancée touche un point sensible de l'infrastructure IA: l'écriture manuelle de noyaux GPU optimisés reste un goulot d'étranglement coûteux en expertise humaine, alors que la moindre amélioration de vitesse se traduit directement par une baisse du coût par token et une meilleure latence pour l'inférence. Les secteurs concernés vont bien au-delà des laboratoires d'IA: cloud GPU, conduite autonome, trading algorithmique, imagerie médicale et systèmes de recommandation, partout où des séquences d'opérateurs fusionnées se trouvent sur un chemin critique en latence. Toutefois, le modèle entraîné lui-même n'est pas publié: il repose sur Seed1.6, un modèle propriétaire de type mélange d'experts avec 23 milliards de paramètres actifs sur 230 milliards au total, et l'article ne fournit aucun poids téléchargeable. Seuls sont rendus publics le jeu de données CUDA-Agent-Ops-6K, la spécification SKILL.md et les recettes de récompense et de préchauffage, ce qui limite la réplication complète aux laboratoires de pointe et grandes équipes d'infrastructure, tout en laissant aux équipes de taille moyenne la possibilité d'adopter ces briques sur un modèle ouvert. Sur le plan méthodologique, l'équipe a construit son jeu de données en assemblant jusqu'à cinq classes d'opérateurs PyTorch et transformers en couches fusionnées, filtrées pour ne garder que des échantillons déterministes et suffisamment différents des tâches de KernelBench, aboutissant à 6 000 exemples. L'agent suit une boucle de type ReAct inspirée des outils OpenHands, avec des garde-fous contre le "reward hacking": scripts de vérification verrouillés, interdiction de recourir à des solutions de repli PyTorch génériques, tests sur des entrées aléatoires et absence d'outil de recherche web. La récompense reste discrète plutôt que proportionnelle au gain de vitesse brut. Par niveau de difficulté, les résultats varient fortement: le niveau 2 (séquences d'opérateurs) atteint 100% de réussite avec un gain moyen de 2,80x, tandis que le niveau 3, le plus complexe, plafonne à 94,0% de réussite pour un gain de 1,52x. Les auteurs signalent eux-mêmes une incohérence entre les chiffres avancés en résumé (100%/100%/92%) et ceux détaillés dans leur tableau de résultats (97,0%/100,0%/90,0%), un écart qui invite à la prudence sur la lecture exacte de ces performances.
