FreeToken : un moteur MoE natif edge qui fait tourner GLM-5.2 (753 milliards de paramètres) sur un seul GPU de station de travail

Cette avancée cible d'abord les développeurs indépendants, les startups et les petites équipes d'ingénierie dont les factures de tokens pour agents dépassent déjà le coût d'un GPU qu'ils pourraient posséder. Pour les entreprises, l'outil se positionne comme une solution pour les charges de travail isolées ou réglementées plutôt que comme un remplacement de datacenter, avec une pertinence particulière dans la santé, le juridique, la défense, la finance et la recherche à forte propriété intellectuelle, où les données ne doivent jamais quitter la machine. Les usages typiques incluent les agents de code locaux, la revue de code privée, l'analyse de contrats hors ligne, la génération de données synthétiques et les évaluations par lots. Plus de cent millions de machines grand public disposent déjà d'un GPU dédié, ce qui change la donne économique pour l'inférence de modèles ouverts de pointe.

Des modèles comme Kimi-K3, GLM-5.2 ou DeepSeek-V4-Flash réduisent l'écart avec les systèmes propriétaires, mais leur exécution supposait jusqu'ici des clusters GPU de datacenter. Les chercheurs pointent trois limites des moteurs existants, comme llama.cpp, KTransformers, Ollama ou MoE-Infinity : le préremplissage (prefill) détruit la sparsité et force le transfert de tout le pool d'experts via PCIe, jusqu'à dix secondes sur les liaisons x8 de laptop ; le placement statique des tenseurs ignore les changements de routage à chaque token, laissant le GPU inactif ; et la bande passante mémoire d'un CPU grand public, autour de 80 à 90 Go/s en DDR5 double canal, reste très inférieure au 1 à 1,8 To/s d'un GPU comme la RTX 4090 ou 5090. FreeToken répond à cela par une exécution adaptative à la bande passante mesurée sur la machine (commande ft bench bw) et un système de cache sémantique avec double buffering par couche pendant le préremplissage.