Comment nous avons conçu TLX, un compilateur GPU adapté au matériel pour le machine learning en production à grande échelle
Meta a présenté TLX (Triton Low-Level Extensions), une extension du langage de programmation de noyaux GPU Triton qui donne aux ingénieurs un contrôle explicite sur l'exécution tout en conservant le modèle de programmation productif de Triton. TLX introduit une orchestration explicite au niveau des groupes de warps et des clusters, ce qui permet d'exploiter rapidement les nouvelles capacités matérielles. L'outil alimente déjà des charges de travail de production chez Meta, de l'entraînement et l'inférence de systèmes de recommandation jusqu'au pré-entraînement de grands modèles de langage, sur des GPU NVIDIA comme AMD. Selon Meta, la combinaison de noyaux de pointe, d'une orchestration explicite et d'une fusion adaptée aux modèles produit des gains de bout en bout que les bibliothèques autonomes n'atteignent pas. Sur une période de dix mois, le nombre de noyaux Triton déployés chez Meta a été multiplié par environ 3,8, contre environ 2 pour CUDA.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de Meta Engineering ML. Lire l'article original →
L'enjeu dépasse un simple outil de plus. Triton occupe désormais une place centrale dans la pile logicielle de Meta : une part importante des noyaux GPU de production, qu'ils soient générés par le compilateur ou optimisés à la main, y est écrite. Toute amélioration à ce niveau se propage donc largement aux charges d'entraînement et d'inférence, faisant de la performance des noyaux un levier majeur d'efficacité système. Cette évolution a aussi changé les profils des développeurs : l'optimisation de noyaux n'est plus réservée aux spécialistes GPU. Des ingénieurs en apprentissage automatique profilent leurs charges, identifient les goulots d'étranglement et optimisent les noyaux les plus sollicités par l'autotuning, la fusion, l'amélioration des agencements mémoire ou la restructuration algorithmique, avec des itérations qui se mesurent en heures plutôt qu'en jours. TLX vise à préserver cette vélocité face à un matériel de plus en plus exigeant.
Le contexte est celui d'une course entre l'évolution des architectures GPU et celle des modèles de programmation. L'architecture Hopper de NVIDIA a introduit la spécialisation des warps et le Tensor Memory Accelerator (TMA). Blackwell a poussé cette logique plus loin avec la mémoire tensorielle (TMEM), l'exécution au niveau des clusters, l'exécution par paires de CTA et des mécanismes de plus en plus asynchrones. Ces fonctions ne sont pas de simples instructions que le compilateur peut masquer : elles changent l'organisation même des noyaux performants. Un noyau FlashAttention moderne peut ainsi dédier un groupe de warps aux transferts TMA pendant qu'un autre exécute le calcul sur les tensor corés, et un noyau GEMM Blackwell doit coordonner plusieurs groupes de warps, des allocations TMEM et des ressources de cluster. Chez Meta, l'adoption de Hopper et Blackwell a révélé un dilemme constant : CUDA permettait d'exprimer ces structures, mais au prix de beaucoup de code d'orchestration spécifique à chaque architecture, tandis que Triton, plus productif, masquait derrière ses abstractions de nombreuses relations d'exécution nécessaires. TLX cherche à combler cet écart entre contrôle bas niveau et productivité.
Les développeurs et entreprises européennes qui écrivent des noyaux GPU peuvent évaluer cette extension de Triton pour optimiser leurs charges sur GPU NVIDIA et AMD.