Kimi K3 en poids ouverts : le pari chinois de l'IA mise sur la mémoire, pas sur la puissance de calcul
Moonshot AI a dévoilé le 16 juillet 2026 Kimi K3, un modèle open-weight de 2,8 billions de paramètres, le plus grand jamais publié en accès ouvert. Ce volume le fait entrer dans la catégorie dite "3T", jamais atteinte par un modèle ouvert auparavant, et dépasse largement le précédent modèle phare de Moonshot, un peu plus de 1 billion de paramètres, ainsi que le V4 Pro de DeepSeek, qui culmine à 1,6 billion. K3 propose une fenêtre de contexte d'un million de tokens et une architecture nativement multimodale. Moonshot met en avant deux innovations techniques : l'attention Kimi Delta, qui accélère le décodage jusqu'à 6,3 fois sur des contextes d'un million de tokens, et les Attention Residuals, qui améliorent l'efficacité d'entraînement d'environ 25 % pour moins de 2 % de coût supplémentaire. Le modèle repose sur une architecture mixture of experts divisée en 896 sections spécialisées, dont seulement 16 sont activées à chaque calcul, soit environ 1,8 % du total. Autre choix marquant, K3 a été entraîné à une précision de 4 bits par paramètre au lieu des 16 bits habituels, une technique appliquée dès la phase de fine-tuning. Résultat, selon des analyses indépendantes : environ 1,4 To de mémoire nécessaire dans ce format, contre 5,6 To en pleine précision. Moonshot a aussi contribué du code de mise en cache au projet open-source vLLM et recommande de faire tourner K3 sur au moins 64 accélérateurs étroitement interconnectés, avec des tests réalisés sur des puces Nvidia H200 et sur un GPGPU d'un fournisseur alternatif non identifié.
Ce choix de conception traduit une réponse directe aux restrictions américaines sur l'exportation de puces vers la Chine. Plutôt que de contourner la contrainte de calcul, Moonshot la déplace vers la mémoire, une ressource qui peut être assemblée à partir d'un grand nombre de puces individuellement modestes, contrairement à la puissance de calcul nécessaire à l'entraînement de modèles de cette taille. En réduisant drastiquement l'empreinte mémoire du modèle, l'entreprise affirme pouvoir proposer des prix compétitifs malgré la taille de K3, une promesse cruciale pour les entreprises qui veulent déployer des modèles ouverts sans dépendre exclusivement du matériel Nvidia. Pour l'industrie, cela signifie qu'un modèle de pointe peut désormais tourner sur une infrastructure mixte ou alternative, ce qui élargit le choix des fournisseurs de cloud et des opérateurs de datacenters. Cette stratégie interroge aussi la solidité des restrictions américaines sur les semi-conducteurs : si la mémoire peut compenser le manque de puissance de calcul dédiée, la barrière technologique censée freiner les laboratoires chinois s'avère plus poreuse que prévu.
Kimi K3 s'inscrit dans une compétition intense entre laboratoires chinois pour la publication de modèles ouverts toujours plus grands, face à DeepSeek et d'autres acteurs du secteur, dans un contexte où les Etats-Unis limitent depuis plusieurs années l'accès de la Chine aux puces d'intelligence artificielle les plus avancées. L'approche de Moonshot, qui consiste à répartir la charge mémoire sur des grappes de 64 accélérateurs ou plus étroitement interconnectés, rappelle la logique des systèmes CloudMatrix développés par Huawei, un signe que l'industrie chinoise mise sur l'agrégation de matériel moins performant plutôt que sur l'accès à des puces de pointe individuelles. Reste une zone d'ombre : Moonshot n'a pas précisé si ses tests incluaient du silicium chinois, se contentant de mentionner un fournisseur alternatif sans le nommer, ce qui laisse planer le doute sur la nature exacte du matériel utilisé en interne. À mesure que d'autres laboratoires observeront les performances réelles de K3 en production, la question centrale restera de savoir si cette architecture axée sur la mémoire plutôt que sur le calcul brut peut être répliquée à grande échelle, et si elle annonce une nouvelle norme pour les modèles ouverts entraînés hors des Etats-Unis.
Dans nos dossiers
Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

