DeepSeek publie DeepSeek-V4.1-Flash avec contexte de 1M, cache KV en FP4 et réutilisation de l'attention inter-couches
DeepSeek AI a présenté DeepSeek-V4.1-Flash, un modèle multimodal à mélange d'experts doté d'une fenêtre de contexte d'un million de tokens. Il combine 552 milliards de paramètres de base et 196 milliards de paramètres additionnels dans un module nommé Engram, tout en n'activant que 8 milliards de paramètres par token au prefill et 16 milliards au décodage. Sa principale innovation est un cache KV réduit à 890 octets par token, soit environ quatre fois moins que DeepSeek-V4-Flash et 437 fois moins que DeepSeek-V1. Les poids sont publiés en licence MIT sur Hugging Face, compatibles avec vLLM, SGLang et Transformers, et une API publique propose trois niveaux de raisonnement, bas, élevé et maximal. L'entraînement a porté sur 45 000 milliards de tokens multimodaux selon un ratio de 7 pour 1 entre texte et multimodal, avant une extension du contexte à un million de tokens sur 34 000 milliards de tokens supplémentaires.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de MarkTechPost. Lire l'article original →
Cette réduction du cache KV s'attaque directement au principal goulot d'étranglement des agents IA à long horizon, dont les prefills répétés et les contextes de centaines de milliers de tokens saturent la mémoire HBM, le stockage et la bande passante des serveurs d'inférence. En abaissant ce coût, DeepSeek permet de servir des sessions massives à un prix matériel bien plus bas, ce qui réduit directement le coût de fonctionnement des agents de codage et de conversation longue durée. Le modèle de base égale les performances de DeepSeek-V4-Pro-Base en connaissances générales et en programmation tout en n'utilisant qu'un tiers des paramètres totaux et un quart des paramètres activés, un gain d'efficacité qui accentue la pression concurrentielle sur les laboratoires américains comme OpenAI, Anthropic ou Google, d'autant que les poids ouverts sous licence MIT facilitent une adoption immédiate par les développeurs.
Techniquement, le backbone de 40 couches est scindé en un encodeur causal et un décodeur de 20 couches chacun, inspirés de la méthode YOCO, ce qui réduit de près de moitié le calcul de prefill puisque le décodeur dérive son cache global de l'encodeur plutôt que de le recalculer. Le mécanisme d'attention CSA2 répartit les couches en trois modes, complet, réindexation et réutilisation, pour limiter les recalculs d'index, tandis que le cache principal est quantifié au format FP4, ce qui divise par deux son volume par rapport au cache FP8 de la version précédente. D'autres composants, comme le module mémoire Engram, le décodage spéculatif DSpark ou l'optimiseur Muon, complètent l'ensemble. Le post-entraînement s'appuie sur des tâches d'agents vérifiables à grande échelle, de l'apprentissage par renforcement mené via des environnements comme Claude Code, Codex ou OpenCode, et une distillation à partir de plus de 40 modèles enseignants, illustrant la course entre laboratoires chinois et américains pour des agents IA à contexte long et coût réduit.
La licence MIT permet aux développeurs et entreprises européennes de tester et d'adopter librement ce modèle sans dépendre des laboratoires américains, mais aucun acteur ni régulation française ou européenne n'est concerné directement.