DeepSeek publie en open source DeepInfer, le framework d'inférence derrière DeepSeek-V4.1-Flash
DeepSeek a publié en open source DeepInfer, le moteur d'inférence qui fait tourner ses services en production et qui est au cœur de DeepSeek-V4.1-Flash. Le framework est distribué sous licence Apache 2.0, accompagné de deepseek-recipe, sa couche d'encodage et de décodage des tokens, sous licence MIT. Cette première version ne prend en charge qu'un seul modèle, DeepSeek-V4.1-Flash, doté d'une fenêtre de contexte d'un million de tokens, et tourne sur les GPU NVIDIA SM100 (Blackwell) ainsi que sur les NPU Huawei Ascend 950. DeepSeek affirme qu'un seul cluster traite 155 000 milliards de tokens par jour, pour un revenu global de 38 dollars par GPU-heure en tarification creuse. Les performances publiées, auto-déclarées et mesurées à 131 072 tokens de contexte avec 4 GPU en prefill et 64 en décodage, dépassent 25 000 tokens de sortie par seconde et par GPU à 256 requêtes par rang (EP64), avec près de 100 tokens/s par utilisateur. À 8 requêtes, la vitesse par utilisateur dépasse 300 tokens/s. En prefill, le moteur atteint environ 60 000 tokens non cachés par seconde et par GPU, et près de 90 000 à 65 536 tokens, pour environ 730 ms par étape.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de MarkTechPost. Lire l'article original →
Le moteur empile les noyaux maison de DeepSeek (FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect et des noyaux TileLang) sous cinq idées système. La première combine parallélisme de données pour l'attention et parallélisme d'experts étendu pour les couches MoE, avec un équilibreur de charge d'experts : le décodage tourne entre EP64 et EP128 dans un supernœud, le prefill entre EP2 et EP8. La deuxième, DSpark, est un décodage spéculatif piloté par la confiance : un modèle brouillon propose 5 tokens, une tête de confiance prédit leur taux d'acceptation et seul le préfixe le plus rentable est vérifié, ce qui réduit d'environ 30 % les tokens vérifiés pour une longueur acceptée quasi identique (3,29 contre 3,20). La vérification dynamique apporte 4 à 7 % de débit à environ 60 séquences par rang, mais devient 1,5 % plus lente qu'une vérification fixe à 16 séquences. Le « rejeu borné » de l'attention à fenêtre glissante ne recalcule que les 128 derniers tokens en cas de succès du cache, ce qui rend le coût constant quelle que soit la longueur du contexte et réduit presque de moitié le calcul de prefill dans les couches décodeur. S'y ajoutent un ordonnancement CPU asynchrone, une inférence déterministe (NVIDIA uniquement) et des sorties structurées (regex, schéma JSON, grammaires EBNF).
L'enjeu est rare : un laboratoire de pointe dévoile la pile de service réellement utilisée en production, et non une version de démonstration. Pour les développeurs et les fournisseurs d'inférence, c'est un modèle concret d'optimisation à grande échelle pour les architectures MoE à très long contexte, avec des chiffres de coût et de débit exploitables. La prise en charge d'Ascend 950 intéresse aussi l'écosystème chinois, qui cherche à réduire sa dépendance à NVIDIA. Les limites sont toutefois nettes : la version ne couvre que l'inférence hors ligne, sans système de cache KV, sans désagrégation prefill/décodage ni répartition de charge, soit les briques les plus critiques d'un déploiement réel. Elle reste donc loin de la polyvalence de vLLM, qui gère plus de 200 architectures, ou de SGLang et TensorRT-LLM.
DeepInfer a été construit à l'origine sur vLLM, avec des idées empruntées à SGLang et TensorRT-LLM, ce qui illustre la manière dont les laboratoires prolongent les projets ouverts avant de rendre leurs propres optimisations. Cette publication prolonge la stratégie d'ouverture de DeepSeek, qui avait déjà libéré FlashMLA, DeepGEMM et DeepEP, désormais réunis dans un moteur complet. Elle intervient dans un contexte de concurrence sur le coût par token, où l'efficacité d'inférence devient un avantage décisif face aux acteurs américains. La suite dépendra de l'éventuelle ouverture des composants manquants et de l'élargissement à d'autres modèles ; en attendant, la communauté pourra intégrer certaines idées, comme le rejeu borné ou DSpark, dans les moteurs existants.
Les fournisseurs d'inférence et développeurs européens peuvent réutiliser sous licence Apache 2.0 et MIT des optimisations MoE à long contexte pour réduire leur coût par token.