Aller au contenu principal
Infrastructure · Actu ·

180 milliards de paramètres sur 32 Go de RAM : faire tourner l'inférence MoE à la limite avec Transformers

Tarek Ziadé, qui cherche à dépendre moins des modèles en ligne, a testé plusieurs manières de faire tourner localement de gros modèles Mixture-of-Experts (MoE), notamment Qwen3.8-Flash-Next, un modèle de 180 milliards de paramètres. Il dispose d'un PC à deux RTX 4090 sous Windows 11 baptisé Orthrus, et d'un MacBook M5 doté de 32 Go de mémoire unifiée, qu'il préfère pour travailler en se déplaçant d'une pièce à l'autre. Son premier montage fait tourner Qwen 3.8 27B sur Orthrus, utilisé depuis le portable, avec un modèle en ligne comme Opus pour l'orchestration et la seconde carte pour l'autocomplétion dans Neovim. Une recommandation insistante l'a conduit vers Strata, un moteur d'inférence qui ne garde en VRAM que les experts les plus sollicités et relègue le reste en RAM ou sur disque. Un billet de blog montrait ainsi Qwen3.8-Flash-Next sur un Mac M4 de 32 Go à 13,5 tokens par seconde, plus vite que llama.cpp. Il a ensuite entrepris de faire fonctionner le même modèle avec Transformers, en s'aidant de l'IA pour écrire la PR, le paquet spécifique au modèle et les noyaux Metal. Sa première version, testée sur OLMoE-1B-7B avec experts sur disque, cache LRU sur l'appareil et boucle Python traitant un expert à la fois, atteignait 10,1 tok/s contre environ 32 pour la version standard, qui s'appuie sur grouped_mm pour traiter tous les experts d'une couche en un seul noyau.

3 min de lecture

Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie

Source

Résumé et traduction réalisés par Le Fil IA à partir de HuggingFace Blog. Lire l'article original →

L'enjeu est considérable : les experts représentent plus de 90 % des poids d'un modèle MoE, de sorte qu'un modèle de 180 milliards de paramètres peut tourner sur un GPU ou un portable disposant de bien moins de mémoire que sa taille totale. Toute une gamme de modèles qui ne tiennent pas dans la mémoire unifiée d'un MacBook pourrait ainsi devenir utilisable localement. Les moteurs actuels répondent toutefois très inégalement au problème. Sur un Mac, où CPU et GPU partagent la même mémoire, « décharger vers le CPU » ne libère rien, ce qui rend l'approche d'Accelerate inopérante. Les 13,5 tok/s de Strata restent trop lents pour des agents de code, mais l'expérience montre qu'une inférence locale à partir du SSD est à portée de main.

Les trois approches existantes ont chacune leurs limites. Llama.cpp mappe le fichier GGUF avec mmap et peut garder les experts sur CPU (--cpu-moe, --n-cpu-moe), ce qui est excellent tant qu'ils tiennent en RAM, mais le cache de pages s'effondre sinon ; son nouveau cache d'experts GPU fragmente le graphe, passant de 2 à 50 découpages par token, et coûte environ 10 % même quand tout tient en mémoire. vLLM, avec --cpu-offload-gb, lit les poids en place via PCIe sans cache ni niveau disque, de sorte qu'un expert populaire retraverse le bus à chaque token. Transformers, via Accelerate, copie à chaque token tous les experts de chaque couche déchargée pour n'en utiliser que 8 ou 10. Sur Qwen3.6-35B-A3B avec une A10G de 24 Go, ne décharger que les experts double la vitesse de vLLM, et le FP8 aide encore, tandis que son autre backend reste sous 1 tok/s. La conclusion de l'auteur : si les experts tiennent en RAM, llama.cpp est difficile à battre, sinon il faut ne transférer que ce que choisit le routeur, via un cache borné, au point que le SSD devienne le goulot d'étranglement plutôt que Python. Le code est publié dans l'espace tarekziade/moe-expert-streaming.

À lire ensuite

01Prime Intellect publie prime-rl 0.6.0 pour entraîner des modèles MoE à mille milliards de paramètres sur des tâches RL à base d'agentsMarkTechPostInfrastructure 02300 milliards de paramètres sans broncher : Intel annonce une carte graphique 480 Go pour l’IAFrandroidInfrastructure 03Microsoft veut faire tourner des IA géantes sur PC : prévoyez jusqu’à 60 Go de RAMFrandroidInfrastructure 
Dossier · Qwen3Suivi en continu par Le Fil IASuivre ce sujet →

Le brief du matin

L'essentiel de l'IA chaque jour. Gratuit, désinscription immédiate à tout moment.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription à tout moment

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.