Aller au contenu principal

Dossier DeepSeek V4

9 articles

DeepSeek V4 Pro et Flash : architecture MoE 1,6T paramètres, fenêtre 1M tokens, compatibilité puces Huawei Ascend, licence MIT.

DeepSeek V4 Pro (1.6T-A49B) et Flash (284B-A13B), Base et Instruct, compatibles avec les puces Huawei Ascend
1Latent Space LLMsActu

DeepSeek V4 Pro (1.6T-A49B) et Flash (284B-A13B), Base et Instruct, compatibles avec les puces Huawei Ascend

DeepSeek a publié les 23 et 24 avril 2026 deux nouveaux modèles d'intelligence artificielle, DeepSeek V4 Pro et DeepSeek V4 Flash, marquant la première mise à jour majeure de l'architecture depuis DeepSeek V3 en décembre 2024 et DeepSeek R1 en janvier 2025. Le modèle phare, V4 Pro, embarque 1 600 milliards de paramètres au total dont 49 milliards actifs simultanément via une architecture de type Mixture of Experts (MoE), tandis que V4 Flash reste plus compact avec 284 milliards de paramètres et 13 milliards actifs. Les deux modèles ont été entraînés sur 32 à 33 000 milliards de tokens en précision FP4 et atteignent une fenêtre contextuelle d'un million de tokens, contre 128 000 pour V3.2. DeepSeek a publié sous licence MIT à la fois les versions Base et Instruct, et livre un rapport technique de 58 pages salué par de nombreux chercheurs comme l'un des mieux documentés de l'année. Cette publication représente une avancée significative pour l'écosystème des modèles open-weights. V4 Pro se classe autour de la deuxième position parmi les modèles à poids ouverts, dans une fourchette comparable à Kimi K2.6 et GLM-5.1, et rivalise selon les benchmarks avec des modèles fermés de la gamme Claude Sonnet à Opus. La fenêtre d'un million de tokens, rendue possible par deux nouvelles techniques maison nommées Compressed Sparse Attention (CSA) et Heavily Compressed Attention (HCA), est l'élément le plus commenté : à cette longueur, le modèle ne consomme que 27 % des opérations flottantes et 10 % de la mémoire KV cache comparé à DeepSeek V3.2. Les performances en codage agentique et en traitement de documents longs sont particulièrement relevées. La licence MIT et la publication des poids de base ouvrent par ailleurs la voie à des variantes spécialisées et, potentiellement, à un futur DeepSeek R2 orienté raisonnement. La sortie intervient dans un contexte géopolitique tendu autour des semi-conducteurs. DeepSeek a conçu V4 pour fonctionner sur les puces Huawei Ascend via la pile CANN, réduisant explicitement sa dépendance aux GPU Nvidia soumis aux restrictions américaines à l'export. Une étape symbolique forte : les Ascend représentent encore environ un quart des volumes d'H100, mais leur compatibilité avec un modèle de cette envergure signale une trajectoire vers une autonomie technologique chinoise complète. Sur le plan technique, le rapport documente aussi l'intégration de Muon, l'optimiseur développé par Moonshot, ainsi que des hyper-connexions contraintes par variété (mHC), publiées en janvier 2025. La complexité architecturale du modèle suscite un débat dans la communauté : certains chercheurs estiment que peu de laboratoires ouverts disposent des moyens pour reproduire ou affiner une telle infrastructure, relativisant ainsi la portée réelle de la "démocratisation" annoncée.

UELa compatibilité avec les puces Huawei Ascend illustre la trajectoire vers l'autonomie technologique chinoise, renforçant indirectement les débats européens sur la souveraineté numérique et la dépendance aux semi-conducteurs américains.

1 source
GPT-5.5 vs DeepSeek V4 : quelle IA va dominer la prochaine révolution tech ?
2Le Big Data 

GPT-5.5 vs DeepSeek V4 : quelle IA va dominer la prochaine révolution tech ?

Le 24 avril 2026, OpenAI a lancé GPT-5.5 tandis que DeepSeek publiait son modèle V4 le lendemain, créant une confrontation directe entre les deux architectures les plus attendues de l'année. GPT-5.5 positionne OpenAI dans une logique d'agent autonome : le modèle peut gérer des tâches multi-étapes, planifier ses actions, utiliser des outils externes et avancer sans supervision constante. Ses quatre domaines de prédilection sont le codage agentique, l'interaction avec les systèmes informatiques, les tâches de bureau et la recherche scientifique. Sur le benchmark du codage agentique, il atteint 82,7 % de précision. De son côté, DeepSeek V4 se décline en deux versions : la Pro, avec 49 milliards de paramètres actifs et 1,6 billion de paramètres au total, et la Flash, plus légère à 13 milliards de paramètres actifs sur 284 milliards au total. Le modèle est open-source, intègre une fenêtre de contexte d'un million de tokens, et s'interface nativement avec des environnements comme Claude Code d'Anthropic. La confrontation entre ces deux modèles dessine une séparation nette selon les usages. GPT-5.5 domine sur les tâches qui exigent enchaînement logique, planification et autonomie prolongée, notamment dans les workflows en ligne de commande multi-étapes. DeepSeek V4, avec un score autour de 67,9 % sur le même benchmark, marque un écart de près de 15 points mais compense par une efficience économique et énergétique nettement supérieure. Pour les développeurs et entreprises qui cherchent à déployer des agents à grande échelle sans coûts prohibitifs, DeepSeek V4 Flash représente une option sérieuse. Cette bifurcation change concrètement les décisions d'architecture pour les équipes d'ingénierie : choisir entre puissance brute et rapport performance/coût devient un arbitrage stratégique, pas seulement technique. Ce duel s'inscrit dans une course à l'autonomie qui redéfinit le marché des LLM depuis mi-2025, quand OpenAI a commencé à pivoter vers les agents avec GPT-5 puis GPT-5.4. DeepSeek, laboratoire chinois soutenu par High-Flyer Capital, a déjà démontré sa capacité à bousculer les références du secteur début 2025 avec DeepSeek R1, qui avait provoqué une chute temporaire des valeurs tech américaines. Avec V4, il franchit une nouvelle étape en s'ancrant dans les outils des développeurs occidentaux, brouillant la frontière géopolitique que certains tentaient de tracer entre IA américaine et IA chinoise. Les prochaines semaines de benchmark indépendant seront déterminantes : si DeepSeek V4 Pro confirme ses performances sur les tâches d'inférence complexe, OpenAI pourrait se retrouver contraint d'accélérer la sortie de GPT-6 pour maintenir sa position de référence incontestée.

UELes équipes d'ingénierie européennes font face à un arbitrage stratégique immédiat entre puissance brute et rapport performance/coût pour leurs déploiements d'agents IA autonomes à grande échelle.

💬 15 points d'écart sur le benchmark agentique, GPT-5.5 gagne cette manche sans discussion. Mais DeepSeek V4 qui s'intègre nativement à Claude Code en restant open-source, c'est le genre de posture maligne qu'on n'attendait pas aussi vite : ils viennent chercher les devs occidentaux sur leur propre terrain. La frontière géopolitique que certains voulaient tracer, elle fond à vue d'oeil.

LLMsOpinion
1 source
DeepSeek publie DeepSeek-V4 : deux mécanismes d'attention compressée permettent des contextes d'un million de tokens
3MarkTechPost 

DeepSeek publie DeepSeek-V4 : deux mécanismes d'attention compressée permettent des contextes d'un million de tokens

DeepSeek-AI a publié en version préliminaire la série DeepSeek-V4, composée de deux modèles de langage à architecture Mixture-of-Experts (MoE) conçus pour rendre practicables les fenêtres contextuelles d'un million de tokens. Le premier modèle, DeepSeek-V4-Pro, totalise 1 600 milliards de paramètres dont 49 milliards activés par token, et a été pré-entraîné sur 33 000 milliards de tokens. Le second, DeepSeek-V4-Flash, compte 284 milliards de paramètres au total avec 13 milliards activés, entraîné sur 32 000 milliards de tokens. Les quatre variantes de la série -- Pro, Pro-Base, Flash et Flash-Base -- sont disponibles librement sur Hugging Face. Pour atteindre cette capacité d'un million de tokens, les ingénieurs ont combiné quatre innovations architecturales majeures : un mécanisme d'attention hybride inédit, un nouveau design de connexions résiduelles, un optimiseur alternatif et un entraînement avec quantification FP4. L'enjeu central est l'efficacité à l'inférence, un problème longtemps considéré comme rédhibitoire pour les très longs contextes. Dans un Transformer standard, la complexité de l'attention est quadratique par rapport à la longueur de la séquence : doubler le contexte quadruple la mémoire et le calcul requis. DeepSeek-V4 résout cela via deux mécanismes d'attention compressée, CSA (Compressed Sparse Attention) et HCA (Heavily Compressed Attention), intercalés entre les couches du modèle. CSA compresse le cache clé-valeur de m tokens en une seule entrée, puis sélectionne de façon sparse les entrées les plus pertinentes pour chaque requête. HCA est encore plus agressif : il consolide un bloc encore plus large de tokens en une unique entrée dense. Résultat : DeepSeek-V4-Pro ne consomme que 27 % des opérations flottantes et 10 % de la taille de cache KV de son prédécesseur DeepSeek-V3.2 pour un contexte d'un million de tokens. DeepSeek-V4-Flash descend à 10 % des FLOPs et 7 % du cache. Ces chiffres s'inscrivent dans une course technologique où la longueur de contexte est devenue un axe de différenciation majeur entre les grands laboratoires. Google, Anthropic et OpenAI ont tous étendu leurs fenêtres contextuelles ces derniers mois, mais le coût d'inférence à grande échelle reste un frein commercial décisif. DeepSeek, laboratoire chinois financé par le hedge fund High-Flyer, s'est imposé depuis début 2025 comme un concurrent sérieux avec ses modèles open-weights performants et économes. L'introduction des connexions résiduelles contraintes par polytope de Birkhoff (mHC) et de l'optimiseur Muon -- qui orthogonalise les mises à jour de gradients avant application -- témoigne d'une recherche fondamentale poussée, au-delà de la simple course aux paramètres. La version préliminaire suggère que des annonces plus complètes, avec benchmarks détaillés, sont à prévoir prochainement.

UELes quatre variantes open-weights DeepSeek-V4 disponibles sur Hugging Face permettent aux développeurs et chercheurs européens d'exploiter des contextes d'un million de tokens à coût d'inférence fortement réduit, sans dépendance à une API propriétaire.

LLMsOpinion
1 source
DeepSeek-V4 : performances proches du meilleur niveau pour un sixième du coût d'Opus 4.7 et GPT-5.5
4VentureBeat AI 

DeepSeek-V4 : performances proches du meilleur niveau pour un sixième du coût d'Opus 4.7 et GPT-5.5

DeepSeek, la startup chinoise d'intelligence artificielle issue du fonds de trading quantitatif High-Flyer Capital Management, a publié DeepSeek-V4, un modèle de langage aux capacités proches des meilleurs systèmes mondiaux. Avec 1 600 milliards de paramètres organisés selon une architecture Mixture-of-Experts (MoE), ce modèle est disponible gratuitement sous licence MIT commercialement permissive, sur la plateforme Hugging Face et via l'API de DeepSeek. Son tarif d'accès : 1,74 dollar par million de tokens en entrée et 3,48 dollars par million en sortie, soit environ 5,22 dollars pour une utilisation combinée standard. Avec les entrées mises en cache, ce coût descend à 3,63 dollars. À titre de comparaison, GPT-5.5 d'OpenAI coûte 35 dollars pour la même transaction, et Claude Opus 4.7 d'Anthropic 30 dollars. Une version allégée, DeepSeek-V4-Flash, est proposée à seulement 0,42 dollar combiné, au prix d'une baisse de performance. Deli Chen, chercheur chez DeepSeek, a décrit cette sortie sur X comme "un travail d'amour", réalisé 484 jours après le lancement du V3, avec cette formule : "L'AGI appartient à tout le monde." L'impact économique est immédiat et brutal pour les acteurs américains du secteur. DeepSeek-V4-Pro coûte environ six fois moins cher que Claude Opus 4.7 et sept fois moins que GPT-5.5 en conditions normales, et jusqu'à dix fois moins avec les entrées en cache. La version Flash, elle, revient à moins de 1 % du tarif des modèles premium américains. Pour les entreprises traitant de gros volumes de requêtes, cette différence de coûts transforme radicalement le calcul de rentabilité : des tâches d'automatisation jugées trop onéreuses avec les modèles fermés américains deviennent soudainement viables. Développeurs et directions techniques sont contraints de réévaluer leurs choix d'infrastructure, et les fournisseurs positionnés sur le haut de gamme voient leur argument tarifaire sérieusement fragilisé. Ce lancement s'inscrit dans la continuité du "moment DeepSeek" de janvier 2025, quand le modèle R1 avait stupéfait la communauté internationale en rivalisant avec les meilleurs systèmes propriétaires américains à une fraction de leur coût de développement. Depuis, la startup avait publié plusieurs mises à jour de ses séries R1 et V3, mais la communauté attendait un successeur de grande envergure. Ce DeepSeek-V4 est d'ores et déjà qualifié de "deuxième moment DeepSeek", et il ravive les débats sur la pérennité commerciale des modèles fermés face aux alternatives open source chinoises. Il soulève également des questions sur la capacité de DeepSeek à maintenir cette trajectoire malgré les restrictions américaines sur l'exportation de puces haut de gamme, contraintes que l'entreprise semble contourner avec une efficacité croissante grâce à des optimisations architecturales poussées.

UEL'écart de prix, jusqu'à six fois inférieur aux modèles premium américains, permet aux entreprises européennes de rentabiliser des projets d'automatisation IA jusqu'ici jugés trop coûteux.

💬 Six fois moins cher qu'Opus 4.7, performances comparables, licence MIT. C'est exactement le scénario que les équipes produit chez OpenAI et Anthropic essayaient de ne pas avoir à gérer, et il arrive quand même. "L'AGI appartient à tout le monde", dit DeepSeek, bon, sur le papier c'est beau, mais le vrai truc c'est que des automatisations qu'on refusait de budgéter il y a six mois deviennent rentables dès ce soir.

LLMsOpinion
1 source
7 fois moins cher que Claude Opus 4.7 : la Chine dégaine DeepSeek-V4, un modèle open source conçu pour vous détourner des États-Unis
5Numerama 

7 fois moins cher que Claude Opus 4.7 : la Chine dégaine DeepSeek-V4, un modèle open source conçu pour vous détourner des États-Unis

DeepSeek vient de publier DeepSeek-V4-Preview, une famille de deux modèles open weight conçus pour rivaliser avec les meilleurs systèmes d'IA propriétaires américains. Le laboratoire chinois annonce un coût d'utilisation sept fois inférieur à celui de Claude Opus 4.7 d'Anthropic, ce qui en fait l'un des modèles les plus compétitifs du marché en termes de rapport performance-prix. Les poids sont accessibles librement, permettant à n'importe quelle entreprise ou développeur de les déployer sans dépendre des API américaines. L'impact est immédiat pour les équipes techniques et les entreprises qui cherchent à réduire leurs coûts d'inférence. Un modèle open weight de ce niveau de performance signifie qu'on peut l'héberger soi-même, adapter les poids, et s'affranchir des conditions d'utilisation imposées par OpenAI, Anthropic ou Google. Pour les marchés émergents et les entreprises européennes soucieuses de souveraineté numérique, c'est une alternative concrète aux géants américains. Ce lancement s'inscrit dans la continuité directe du coup de tonnerre de janvier 2025, lorsque DeepSeek-R1 avait provoqué un effondrement boursier des valeurs tech américaines en démontrant qu'on pouvait former des modèles de pointe à moindre coût. La Maison-Blanche surveille désormais de près les pratiques des laboratoires chinois, notamment sur les questions d'accès aux puces et de transfert technologique. Avec V4, DeepSeek confirme une stratégie délibérée : rendre l'open source suffisamment attractif pour décrocher les utilisateurs mondiaux des écosystèmes américains.

UELes entreprises européennes soucieuses de souveraineté numérique disposent d'une alternative open weight auto-hébergeable aux API américaines, réduisant leur dépendance aux conditions d'utilisation imposées par OpenAI, Anthropic ou Google.

💬 Sept fois moins cher que Claude Opus 4.7, open weight, que tu peux héberger toi-même sans dépendre d'une API américaine : on est loin du coup de com'. DeepSeek ne construit pas juste un modèle compétitif, ils construisent une porte de sortie pour toutes les boîtes qui en ont marre des conditions d'utilisation qui changent et des prix qui grimpent. Reste à tester si ça tient en prod.

LLMsOpinion
1 source
Oubliez GPT-5.5 : DeepSeek-V4 est là et il est terrifiant
6Le Big Data 

Oubliez GPT-5.5 : DeepSeek-V4 est là et il est terrifiant

DeepSeek, la startup chinoise fondée en 2023, a lancé ce 24 avril 2026 une version préliminaire de son nouveau grand modèle de langage, baptisé DeepSeek-V4. Comme ses prédécesseurs, ce modèle est open source et librement téléchargeable. Il se décline en deux variantes : V4-Pro, avec 1,6 billion de paramètres totaux et 49 milliards de paramètres actifs, et V4-Flash, plus léger avec 284 milliards de paramètres totaux et 13 milliards actifs. Selon DeepSeek, la version Pro rivalise avec les meilleurs modèles propriétaires mondiaux en mathématiques et en programmation, et n'est dépassée que par Gemini 3.1-Pro de Google sur les connaissances générales. Les deux versions supportent une fenêtre de contexte d'un million de tokens et ont été optimisées pour fonctionner avec des outils comme Claude Code d'Anthropic. La version Flash, moins puissante, se distingue par sa rapidité et son coût d'API réduit. Ce lancement confirme la capacité de DeepSeek à maintenir une cadence de développement rapide face aux géants américains, tout en restant dans la sphère open source. Pour les développeurs et les entreprises, l'accès à un modèle de cette envergure, modifiable et exécutable localement, représente une alternative crédible aux solutions fermées d'OpenAI ou Google, généralement plus coûteuses. La compétitivité annoncée sur les tâches d'agents intelligents et d'inférence est particulièrement stratégique : ce sont précisément les cas d'usage qui alimentent les déploiements en production dans les entreprises technologiques. Si les benchmarks se confirment dans des conditions réelles, V4 pourrait accélérer l'adoption de modèles open source dans des environnements où la confidentialité des données ou la maîtrise des coûts sont prioritaires. DeepSeek avait fait irruption sur la scène internationale en janvier 2025 avec son modèle de raisonnement R1, développé en moins de deux mois pour un coût revendiqué inférieur à six millions de dollars, un chiffre qui avait ébranlé les certitudes de la Silicon Valley sur la nécessité d'investissements massifs. Ce coup d'éclat avait déclenché des interrogations profondes sur la domination américaine dans l'IA, mais aussi des doutes de la part d'analystes sceptiques quant aux ressources réellement mobilisées. Parallèlement, plusieurs pays avaient ouvert des enquêtes sur le traitement des données personnelles par les services de DeepSeek. Avec V4, la startup s'inscrit dans une continuité stratégique claire : publier rapidement, rester open source, et afficher des performances comparables aux modèles fermés les plus avancés. La prochaine étape sera de voir si ces performances tiennent à l'épreuve d'évaluations indépendantes, notamment face à GPT-5.5 qu'OpenAI vient de déployer.

UELa nature open source de DeepSeek-V4 offre aux entreprises et institutions européennes une alternative déployable localement, réduisant la dépendance aux modèles fermés américains et facilitant la conformité RGPD grâce au traitement des données en interne.

LLMsOpinion
1 source
[AINews] Moonshot Kimi K2.6 : le meilleur modèle open source du monde se met à jour pour rivaliser avec Opus 4.6 (avant DeepSeek v4 ?)
7Latent Space 

[AINews] Moonshot Kimi K2.6 : le meilleur modèle open source du monde se met à jour pour rivaliser avec Opus 4.6 (avant DeepSeek v4 ?)

Moonshot AI a lancé Kimi K2.6 le 18 avril 2026, une mise à jour majeure de son modèle de langage open-weight qui consolide la position du laboratoire chinois en tête des modèles ouverts mondiaux. Ce modèle de type Mixture-of-Experts (MoE) totalise 1 000 milliards de paramètres, avec 32 milliards actifs à la fois, 384 experts, une fenêtre de contexte de 256 000 tokens, la multimodalité native et une quantification INT4. Disponible dès le jour de lancement sur vLLM, OpenRouter, Cloudflare Workers AI, Baseten et MLX, il revendique des records open source sur plusieurs benchmarks de référence : 54,0 sur HLE with tools, 58,6 sur SWE-Bench Pro, 76,7 sur SWE-Bench Multilingual et 83,2 sur BrowseComp. Moonshot revendique également des capacités d'exécution longue durée inédites : plus de 4 000 appels d'outils enchaînés, des sessions continues de plus de 12 heures, et jusqu'à 300 sous-agents parallèles via un système baptisé "Claw Groups". Simultanément, Alibaba a publié Qwen3.6-Max-Preview, un avant-goût de son prochain modèle phare, qui a atteint la 7e place dans le classement Code Arena, propulsant Alibaba au 3e rang des laboratoires dans cette catégorie. Ces sorties illustrent une accélération concrète des modèles ouverts chinois dans les domaines du code et des agents autonomes, deux terrains jusqu'ici dominés par des acteurs américains comme Anthropic, OpenAI et Google. La communauté des développeurs a rapidement adopté K2.6 comme alternative crédible à Claude ou GPT-4 pour des tâches d'infrastructure : des utilisateurs rapportent une exécution autonome sur cinq jours, des réécritures de noyaux système, et un moteur d'inférence en Zig surpassant LM Studio de 20 % en débit. K2.6 tient également tête à Gemini 3.1 Pro sur les tâches de design frontend avec un taux de victoire et d'égalité de 68,6 %, un terrain considéré comme le point fort de Google. Le contexte est celui d'une course ouverte et intense entre laboratoires. Depuis le lancement de K2.5 en janvier 2026, Moonshot occupe la première place parmi les labs chinois open source, dans un silence relatif de DeepSeek depuis la version v3.2, dont une v4 reste attendue. Moonshot est par ailleurs l'un des trois laboratoires chinois que l'équipe d'Anthropic a cités en février pour avoir potentiellement utilisé ses données d'entraînement sans autorisation. En parallèle, Hermes Agent, la pile d'agents open source la plus en vue du moment, a dépassé 100 000 étoiles sur GitHub en moins de deux mois, détrônant OpenClaw en croissance hebdomadaire. L'ensemble du tableau suggère que les modèles ouverts, portés par des labs asiatiques bien dotés, ne jouent plus dans une catégorie inférieure aux modèles propriétaires occidentaux.

UELes développeurs européens peuvent désormais déployer localement un modèle open-weight de niveau frontier, réduisant leur dépendance aux API propriétaires américaines soumises au Cloud Act.

LLMsActu
1 source
Deepseek v4 tournerait entièrement sur des puces Huawei, une avancée majeure pour l'indépendance de la Chine en IA
8The Decoder 

Deepseek v4 tournerait entièrement sur des puces Huawei, une avancée majeure pour l'indépendance de la Chine en IA

DeepSeek prépare le lancement de sa quatrième génération de modèle d'intelligence artificielle, attendue dans les prochaines semaines, et celui-ci tournera exclusivement sur des puces Huawei. Selon des sources citées par The Decoder, les grands groupes technologiques chinois auraient déjà passé des commandes portant sur des centaines de milliers d'unités de ces processeurs. Nvidia, le fabricant américain qui domine habituellement le marché de l'entraînement et de l'inférence IA, a été écarté des phases de test préliminaires. C'est un signal fort pour l'autonomie technologique chinoise en matière d'IA. Jusqu'ici, les puces Huawei Ascend étaient perçues comme inférieures aux GPU Nvidia H100 et H800, rendant leur adoption à grande échelle difficile pour des modèles de pointe. Si DeepSeek v4 tourne efficacement sur cette infrastructure domestique, cela validerait la montée en puissance de l'écosystème matériel chinois et réduirait concrètement la dépendance vis-à-vis des fabricants américains, une vulnérabilité stratégique majeure depuis les restrictions à l'export imposées par Washington. Ce développement s'inscrit dans un contexte de guerre technologique larvée entre les États-Unis et la Chine. Depuis 2022, les restrictions américaines sur l'exportation de semi-conducteurs avancés vers la Chine ont contraint Huawei et ses partenaires à accélérer massivement leurs efforts de R&D sur les puces Ascend. DeepSeek avait déjà surpris le monde en janvier 2025 avec des modèles très performants entraînés à moindre coût. Si v4 confirme la viabilité des puces Huawei à cette échelle, cela pourrait remodeler les équilibres du secteur mondial de l'IA.

UESi les puces Huawei Ascend s'avèrent compétitives pour l'IA de pointe, cela accélère la fragmentation du marché mondial des semi-conducteurs et renforce la pression sur l'Europe pour développer sa propre souveraineté en matière de hardware IA.

InfrastructureOpinion
1 source
9Ahead of AI 

Un printemps pour les LLMs open-weight : 10 architectures (jan-fév 2026)

Entre janvier et février 2026, une vague exceptionnelle de modèles de langage open-weight a déferlé sur la communauté IA, avec dix architectures majeures publiées en l'espace de trois semaines. Parmi les sorties les plus remarquées : Trinity Large d'Arcee AI (27 janvier), Kimi K2.5 de Moonshot AI (27 janvier), Step 3.5 Flash de StepFun (1er février), Qwen3-Coder-Next (3 février), GLM-5 de z.AI et MiniMax M2.5 (12 février), Nanbeige 4.1 3B (13 février), Qwen 3.5 (15 février), les modèles Ling 2.5 et Ring 2.5 à 1 000 milliards de paramètres d'Ant Group (16 février), et enfin Tiny Aya de Cohere (17 février). Le modèle phare de cette période reste Trinity Large d'Arcee AI : un Mixture-of-Experts de 400 milliards de paramètres, dont seulement 13 milliards sont activés à chaque inférence, accompagné de deux variantes plus légères — Trinity Mini (26B/3B actifs) et Trinity Nano (6B/1B actifs). Arcee AI a publié les poids du modèle ainsi qu'un rapport technique détaillé, d'abord sur GitHub puis sur arXiv à partir du 18 février. Cette effervescence illustre une démocratisation accélérée des modèles de grande taille : des entreprises jusqu'ici discrètes, comme Arcee AI, publient désormais des architectures compétitives avec les géants comme z.AI et son GLM-4.5 (355 milliards de paramètres). Sur le plan technique, Trinity Large rivalise avec GLM-4.5 en performances sur les modèles de base — une parité remarquable pour une start-up américaine encore peu connue. Ces modèles open-weight permettent à des équipes de recherche, des entreprises et des développeurs indépendants de déployer des LLMs puissants sans dépendre des API commerciales fermées, ce qui réduit les coûts et augmente la souveraineté technologique. Sur le plan architectural, cette génération de modèles converge vers plusieurs innovations communes. L'attention à fenêtre glissante (sliding window attention, SWA) — qui réduit le coût computationnel de O(n²) à O(n·t) en limitant chaque token à une fenêtre locale fixe — est adoptée par Trinity, Gemma 3, OLMo 3 ou encore Xiaomi MiMo. Trinity opte pour un ratio local:global de 3:1 avec une fenêtre de 4 096 tokens. L'architecture intègre également le QK-Norm (normalisation des clés et requêtes pour stabiliser l'entraînement), l'absence d'encodage positionnel dans les couches d'attention globale (NoPE), et un mécanisme de gating sur l'attention qui réduit les "attention sinks" et améliore la généralisation sur les longues séquences. Ces choix architecturaux convergents signalent une forme de consensus émergeant dans la communauté open-weight sur les meilleures pratiques pour les modèles à très long contexte — une tendance qui devrait s'accentuer avec les prochaines sorties, dont DeepSeek V4, attendu prochainement.

UELes équipes de recherche et entreprises européennes peuvent déployer ces modèles open-weight puissants sans dépendre des API commerciales fermées, réduisant les coûts et renforçant leur souveraineté technologique.

LLMsActu
1 source