Voici qwenGPU : Qwen3.5-2B avec 45 couches GPU compilées qui exécutent du CUDA
qwenGPU est un modèle expérimental qui compile un GPU de type SIMT directement dans les poids de Qwen3.5-2B. Son développeur, Vixhal (@TheVixhal), l'a publié sur GitHub sous licence MIT le 1er novembre 2026. Le modèle ajoute 45 couches de transformeur compilées devant les 24 couches d'origine de Qwen, soit 69 au total, et exécute du vrai CUDA, compilé en PTX NVIDIA, au sein de ses propres passes avant. Aucune de ces couches n'est entraînée : un compilateur calcule chaque poids. Le GPU simulé compte 4 voies, 15 registres par voie, un pipeline à 4 étages, une ROM de 32 blocs et 126 mots mémoire. Il gère l'arithmétique entière, les prédicats, les branchements divergents, les boucles, la mémoire partagée, atomicAdd, __syncthreads() et les échanges entre threads d'un warp. Le truc central tient à l'état récurrent de l'attention linéaire Gated DeltaNet : la porte est maintenue ouverte, la force d'écriture vaut 1 et chaque clé est un vecteur unitaire, de sorte que chaque mise à jour écrase exactement une ligne, qui fait office de cellule mémoire. Lors d'un lancement, l'hôte compile le CUDA en PTX avec clang, le convertit en blocs machine et transmet programme et données sous forme de jetons. Chaque jeton EXEC(b, w) exécute le bloc b pour le warp w en une passe, et le modèle écrit lui-même le lancement : un produit scalaire de [1, 2, 3] et [4, 5, 6] renvoie 32 en 47 jetons.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de MarkTechPost. Lire l'article original →
Les mesures, toutes auto-déclarées et réalisées en bf16 sur puce Apple avec MPS, sont favorables. Chaque lancement a été exact en mode de vérification par rejeu, et l'interpréteur de référence a coïncidé avec un NVIDIA Tesla T4 sur 49 noyaux de test sur 49. Les textes ordinaires ne sont quasiment pas affectés, puisque le circuit est muet sur les jetons de texte et que les poids de Qwen restent inchangés : la divergence de distribution du jeton suivant reste autour de 7e-4 en KL. En mode normal, Qwen a répondu à 20 questions de chat échantillonnées sur 24 avec des nombres calculés par le GPU, en écrivant une expression comme [1, 2, 3] @ [4, 5, 6] pour des noyaux prêts à l'emploi. En mode avancé, il rédige le noyau CUDA lui-même et a réussi du premier coup 4 questions sur 5. Le README reconnaît toutefois que le CUDA produit par un modèle de 2 milliards de paramètres reste peu fiable.
L'intérêt est surtout conceptuel pour les développeurs : calculer de façon exacte à l'intérieur d'un LLM préentraîné plutôt qu'à côté, sans outil externe fiable à appeler pour l'arithmétique. Les limites sont nettes : environ 10 à 15 jetons par seconde sur Apple MPS, environ 16 Go de mémoire libre requis, aucune version quantifiée, et exécution possible sur Apple silicon, GPU NVIDIA ou CPU. Le contexte de 262 144 jetons est celui du modèle de base.
Le projet s'inscrit dans une série de travaux qui logent des machines de calcul dans des transformeurs. Il réutilise le compilateur de transformeur de Qwenputer, signé Divyansh Agrawal, qui compile un CPU RISC-V 32 bits dans Qwen3.5-4B. En mars 2026, Percepta avait pour sa part intégré un interpréteur WebAssembly dans un transformeur grâce à des têtes d'attention 2D. qwenGPU prolonge cette piste vers le parallélisme de type GPU, au prix d'une vitesse encore très limitée.
Pas d\'impact direct sur la France/UE