Des chercheurs de Columbia et CertiK présentent TensorLean, un outil de vérification formelle des noyaux GPU
Des chercheurs de l'université Columbia et de la société de sécurité blockchain CertiK ont présenté TensorLean, un cadre de vérification formelle des noyaux GPU au niveau du PTX, le langage intermédiaire des processeurs graphiques Nvidia. Fondé sur l'assistant de preuve Lean, l'outil démontre qu'un noyau compilé respecte une spécification mathématique exprimée au niveau des tenseurs. Le développeur part du code source non modifié et écrit une spécification en Lean, avec des opérateurs calqués sur PyTorch (le symbole @ correspond par exemple à torch.matmul). TensorLean prouve alors quatre propriétés : absence de courses de données, terminaison, résultat correct dans une tolérance donnée, et absence de modification du reste de la mémoire. Sur 149 instances de noyaux, dont tous ceux de FlashAttention-2, -3 et -4 ainsi que DeepGEMM, 83 ont été prouvées correctes. Les 66 autres ont révélé 38 bugs de correction, tous signalés aux projets concernés : 23 dans FlashAttention, 7 dans Liger Kernel, 3 dans TileOPs, 2 dans TileLang, 2 dans DeepGEMM et 1 dans Triton.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de MarkTechPost. Lire l'article original →
L'intérêt tient d'abord à la nature des défauts détectés. Parmi eux figurent 19 erreurs d'accès mémoire, 13 bugs numériques, 7 courses de données, 5 lectures de mémoire non initialisée et 5 comportements indéfinis, un même bug pouvant relever de plusieurs catégories. L'outil a notamment repéré une course de données dans FlashAttention-4 qui ne s'était jamais manifestée au cours de 17 760 exécutions de test, ce qui illustre les limites des tests classiques face aux erreurs de concurrence. Sur les 102 instances de FlashAttention, 56 satisfont les quatre propriétés, tandis que les 46 autres échouent sur un objectif de preuve lié à un bug du code source. Ces noyaux étant au coeur de l'entraînement et de l'inférence des grands modèles, des erreurs silencieuses peuvent dégrader des résultats sans jamais provoquer de plantage visible.
Le coût d'adoption paraît raisonnable. Les spécifications totalisent 10 278 lignes pour 151 285 lignes de code source de noyaux, soit un rapport d'environ 1 pour 15, et l'analyseur PTX tient en 1,8 millier de lignes. Les vérifications tournent sur une station de travail à 16 coeurs, pour du PTX compilé pour les GPU A100, H100 et B200, avec un temps médian d'environ 10 minutes et un maximum de 50 minutes. Chaque spécification comporte cinq parties (specmath, specmut, speclayout, spectol et requires), qui séparent la logique mathématique de la disposition en mémoire. Le pipeline construit un graphe « happens-before » pour vérifier courses et terminaison, exécute symboliquement le noyau, abaisse la spécification au niveau de la mémoire PTX, puis délègue les preuves au noyau de Lean ainsi qu'aux solveurs Z3 et cvc5.
Ce travail s'inscrit dans un effort croissant pour fiabiliser le code GPU, devenu critique mais très difficile à valider à cause du parallélisme massif et des opérations asynchrones comme wgmma et TMA, que TensorLean prend en charge dans FlashAttention-3 et -4. Face aux approches concurrentes, il revendique une couverture de configurations plus large. Volta, développé par Microsoft Research India et Stanford, vérifie surtout des noyaux plus simples et exclut les opérations asynchrones. ProofWright, qui travaille au niveau CUDA, a établi des garanties de sécurité pour 74 % de KernelBench L1. Une autre piste, menée par Koska et ses collègues chez SF Tensor, formalise le PTX dans Lean mais sur trois noyaux simples. Là où les vérificateurs d'équivalence déroulent les boucles pour un cadre concret à la fois, TensorLean emploie des paramètres symboliques, appuyés sur des invariants de boucle sur des semi-anneaux, par exemple pour le softmax en ligne, ce qui ne demande qu'une requête SMT par boucle. Les erreurs d'arrondi sont bornées séparément des erreurs algébriques, puis combinées. Reste à savoir si les mainteneurs intégreront ces preuves dans leurs chaînes de développement.