Mégakernels : morts et de nouveau bien vivants

Une discussion animée sur les megakernels a marqué l'épisode de la veille du podcast Inference Engineering Masterclass, relayée par la newsletter AINews dans son édition du 3-4 août 2026, qui dépouille chaque jour une douzaine de subreddits et plus de 500 comptes Twitter liés à l'IA. Les megakernels désignent des noyaux de calcul GPU entièrement fusionnés en un seul bloc, une technique conçue pour réduire la latence de lancement et améliorer le chevauchement entre kernels lors de l'inférence des grands modèles de langage. Selon Ali, un des intervenants, l'approche atteint ses limites face au parallélisme tensoriel : quand une matrice est répartie sur plusieurs GPU, des opérations non linéaires comme le softmax exigent malgré tout une communication entre puces, ce qu'un kernel fusionné ne peut pas éviter. Le débat évoque aussi les nouvelles spécifications de l'architecture Rubin de Nvidia, présentées publiquement par un responsable technique du groupe, conçues pour limiter les effets des "straggler CTAs" (unités de calcul en retard) qui justifiaient historiquement le recours aux megakernels, notamment grâce à des "dependency triggers" décrits par l'ingénieur Nvidia Kyle Kranen. Le même jour, Stuart Sul, coauteur du projet megakernel original aux côtés de Ben Spector (créateur de ThunderKittens, dans le groupe de recherche de Dan Fu) et désormais responsable d'une équipe chez Cursor, a publié un megakernel open source baptisé Mixture of Kittens, revendiquant un gain de 41 % de tokens traités par seconde.

L'enjeu est directement financier. Les intervenants soulignent qu'à l'échelle des grands fournisseurs d'inférence, un tel gain de performance représenterait des économies de plusieurs milliards de dollars, le calcul GPU restant le principal poste de coût du secteur. Mais le consensus qui se dégage du débat reste prudent : aucun fournisseur d'inférence sérieux n'exploiterait en production un kernel fusionné à la main de 67 000 lignes de code, jugé trop complexe à maintenir et à optimiser face à des kernels modulaires comme ceux de TensorRT-LLM, qui permettent d'optimiser chaque composant séparément tout en les faisant tourner en parallèle. Plusieurs praticiens cités affirment que même les entreprises ayant investi dans des megakernels finissent souvent par ne pas les déployer en production, faute de gains suffisants au regard de la complexité d'ingénierie imposée.

Ce débat prolonge une tension plus ancienne entre deux philosophies d'optimisation de l'inférence : la fusion extrême, qui vise à éliminer tout surcoût de lancement, contre la modularité, qui privilégie la flexibilité et l'optimisation composant par composant. Des contraintes physiques persistantes, reconnues par les intervenants du podcast, expliquent pourquoi Nvidia ajuste la conception de ses futures puces Rubin en fonction des pratiques observées chez les concepteurs de kernels, sans pour autant faire des megakernels une direction dominante. La publication du projet Mixture of Kittens par l'équipe de Stuart Sul chez Cursor montre toutefois que la recherche sur la fusion de kernels reste active, même si elle est désormais perçue comme une niche plus expérimentale qu'industrielle. Cette édition d'AINews, qui fait maintenant partie de la newsletter Latent Space, couvre par ailleurs d'autres actualités de la semaine, dont le lancement par Alibaba de Qwen3.8-Max, présenté comme un modèle "meilleur et moins cher" rapidement intégré aux écosystèmes d'agents Hermes Agent et Nous Research, aux côtés d'autres sorties comme Alpamayo 2 Super, Pokee-Isaac, Maple-Preview et Shieldstral.