Moonshot AI et des chercheurs de Tsinghua proposent PrfaaS : une architecture KVCache inter-datacenters qui repense le déploiement des LLM à grande échelle

Des chercheurs de Moonshot AI et de l'Université Tsinghua ont publié une architecture nouvelle baptisée PrfaaS (Prefill-as-a-Service), qui repense fondamentalement la manière dont les grands modèles de langage traitent les inférences à grande échelle. Le principe : délocaliser la phase de prefill, c'est-à-dire le traitement initial des tokens d'entrée, vers des clusters dédiés et bourrés de puissance de calcul, puis transférer le cache clé-valeur (KVCache) résultant via un réseau Ethernet classique vers des clusters locaux chargés du décodage. Les gains mesurés sont substantiels : dans une étude de cas portant sur un modèle interne hybride de 1 000 milliards de paramètres, PrfaaS affiche un débit 54 % supérieur à une architecture homogène classique, et 32 % supérieur à une configuration hétérogène naïve. À coût matériel égal, le gain net est d'environ 15 %, le reste de l'avantage provenant du choix de GPU plus puissants (H200) pour le prefill couplés à des H20 pour le décodage.

Ce que change cette architecture, c'est qu'elle lève une contrainte qui paralysait l'industrie depuis des années : la nécessité de co-localiser prefill et décodage dans le même datacenter, voire le même rack, en raison des débits colossaux imposés par les réseaux RDMA. Les modèles denses classiques avec attention groupée (GQA) génèrent des KVCache à environ 60 Gbps pour une requête de 32 000 tokens, un volume qui rend toute séparation inter-datacenter impraticable sans infrastructure réseau spécialisée extrêmement coûteuse. PrfaaS ouvre la voie à une mutualisation géographique des ressources de calcul, ce qui représente un levier majeur d'optimisation des coûts pour les opérateurs de LLM à l'échelle industrielle.

Ce qui rend cette approche viable aujourd'hui, c'est une évolution profonde au niveau des modèles eux-mêmes. Une nouvelle génération d'architectures hybrides, dont Kimi Linear, MiMo-V2-Flash, Qwen3.5-397B et Ring-2.5-1T, mêle des couches d'attention complète à des couches à complexité linéaire ou à fenêtre glissante. Seules les couches d'attention complète produisent un KVCache croissant avec la longueur du contexte ; les autres maintiennent des états de taille fixe. Résultat : MiMo-V2-Flash ne génère que 4,66 Gbps de débit KV à 32 000 tokens contre 59,93 Gbps pour un modèle dense comparable, soit une réduction de 13 fois. Pour le modèle interne de 1T paramètres, ce chiffre tombe à 3,19 Gbps, un niveau compatible avec une simple liaison Ethernet inter-datacenter. C'est cette convergence entre optimisation architecturale des modèles et disaggrégation géographique de l'inférence qui fait de PrfaaS une proposition concrète et non plus spéculative.