Aller au contenu principal
L'IA atteint le mur de la mémoire : il lui faut un nouveau niveau de contexte
InfrastructureVentureBeat AI · 2 min de lecture

L'IA atteint le mur de la mémoire : il lui faut un nouveau niveau de contexte

Source originale ↗·

L'intelligence artificielle fait face à un nouveau goulot d'étranglement en 2026, et ce n'est plus la puissance de calcul des GPU. Selon Jeff Harthorn, responsable de la recherche appliquée en IA chez Solidigm, le vrai frein est désormais la gestion du contexte, la mémoire persistante qui doit survivre entre les sessions d'inférence. "Les GPU sont devenus bien moins chers par FLOP, les architectures de modèles et les moteurs d'inférence sont plus efficaces. Mais ce qui a crû plus vite que tout, c'est le contexte", explique-t-il. Les fenêtres de contexte ont explosé en taille, les systèmes d'IA agentiques enchaînent désormais des dizaines voire des centaines d'appels de modèles successifs, et les entreprises exigent que les états d'inférence persistent entre les sessions à des fins d'audit, de gouvernance et de réutilisation. Ces trois tendances se cumulent et propulsent les volumes de données contextuelles bien au-delà de ce que les architectures mémoire existantes peuvent absorber.

Cette évolution a des conséquences directes sur les coûts et le retour sur investissement des infrastructures d'IA en entreprise. Quand les données de cache KV (Key-Value), les informations qui permettent à un modèle de retrouver et réutiliser le contexte d'une interaction, ne sont pas disponibles dans un tier de stockage rapide, le système est obligé de les recalculer à chaque session. Ce processus de "re-prefill" mobilise des cycles GPU entiers sans produire aucun nouveau token, autrement dit sans créer aucune valeur. "Si votre stockage n'est pas à la hauteur, votre ROI en souffre directement", souligne Ace Stryker, directeur marketing IA chez Solidigm. L'architecture de stockage héritée de l'ère de l'entraînement, séquentielle, dominée par les grandes écritures en bloc, n'est tout simplement pas adaptée aux accès fins et latence-sensibles que requiert l'inférence moderne.

La réponse qui émerge est une nouvelle couche dédiée, baptisée CMX par Nvidia, qui s'intercale entre la mémoire HBM des GPU et le stockage réseau en masse. Ce tier intermédiaire, constitué de SSD haute performance et haute densité optimisés pour les charges d'inférence, est conçu pour héberger et servir rapidement le cache KV ainsi que les données de récupération utilisées dans les architectures RAG. Solidigm fait partie des fabricants de stockage qui développent des produits SSD spécifiquement taillés pour cette architecture. Jusqu'ici, le stockage était traité comme une commodité dans les plans d'infrastructure IA, on cherchait simplement le meilleur prix au gigaoctet. Ce paradigme est en train de changer en profondeur, à mesure que les systèmes agentiques persistants font du stockage un composant critique de la chaîne de performance des grands modèles de langage.

Dans nos dossiers

Cet article vous a été utile ?

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

SK Hynix en Bourse aux États-Unis : la mémoire HBM devient le nouvel or noir de l’IA
1Le Big Data 

SK Hynix en Bourse aux États-Unis : la mémoire HBM devient le nouvel or noir de l’IA

SK Hynix a déposé une demande de cotation aux États-Unis visant à lever environ 28 milliards de dollars, soit près de 43 000 milliards de wons, selon des documents réglementaires cités par Reuters. L'opération porte sur 17,79 millions de nouvelles actions représentées par des certificats de dépôt négociés au Nasdaq. Plusieurs grands investisseurs ont déjà manifesté un intérêt qui pourrait atteindre 7 milliards de dollars. Ce serait l'une des plus importantes levées de fonds mondiales par émission d'actions de l'année. Le groupe coréen s'est imposé comme un fournisseur clé de mémoire à large bande passante, la HBM, utilisée dans les infrastructures d'intelligence artificielle de Nvidia et de Google. Les capitaux récoltés doivent financer la construction de nouvelles usines en Corée du Sud ainsi que l'achat d'équipements de fabrication de puces de pointe, dont des systèmes de lithographie ultraviolette extrême produits par ASML. L'action SK Hynix affiche une progression d'environ 260% depuis le début de l'année 2026, portée par l'essor de la demande en IA malgré la volatilité récente des valeurs du secteur mémoire. Cette opération illustre un basculement stratégique dans l'industrie de l'IA, où la puissance de calcul des processeurs ne suffit plus à elle seule. Pour entraîner et exécuter de grands modèles, les accélérateurs doivent déplacer d'énormes volumes de données à très grande vitesse, et c'est précisément ce que permet la HBM en rapprochant plusieurs couches de mémoire pour démultiplier la quantité de données accessible aux processeurs. Ce composant est devenu aussi stratégique que difficile à remplacer, au point que les clients cherchent désormais à sécuriser leurs approvisionnements sur plusieurs années. Pour les entreprises qui investissent massivement dans l'IA, le coût d'une infrastructure ne dépend plus seulement du nombre de GPU achetés : la disponibilité de la mémoire, son débit et sa capacité à alimenter les accélérateurs pèsent directement sur le prix et le calendrier des projets de data centers. Cette envolée s'inscrit dans un contexte de tensions plus larges sur le marché mondial de la mémoire. La concentration des investissements sur les produits HBM les plus avancés tend l'équilibre sur d'autres segments, la demande des data centers stimulant aussi la DRAM pour serveurs et les solutions NAND destinées au stockage d'entreprise, ce qui a déjà fait grimper les prix des puces mémoire et commence à affecter d'autres marchés, des smartphones aux PC. Face à ces enjeux, Séoul a dévoilé un programme de 576 milliards de dollars consacré aux semi-conducteurs, signe que la Corée du Sud considère désormais la chaîne d'approvisionnement en mémoire comme un enjeu de souveraineté industrielle autant que commercial, dans une course mondiale où Samsung et Micron cherchent eux aussi à accélérer leurs propres capacités de production HBM.

InfrastructureActu
1 source
Des tokens moins chers, des factures plus élevées : la nouvelle économie de l'infrastructure IA
2VentureBeat AI 

Des tokens moins chers, des factures plus élevées : la nouvelle économie de l'infrastructure IA

Le coût d'une inférence IA a chuté d'environ un facteur dix en deux ans, porté par des gains d'efficacité sur les modèles et la concurrence acharnée entre fournisseurs cloud. Pourtant, les factures d'infrastructure des entreprises ne baissent pas : elles augmentent. C'est le paradoxe que décrit Anindo Sengupta, vice-président produits chez Nutanix : si le coût par token diminue d'un ordre de grandeur, la consommation, elle, a bondi de plus de 100 fois sur la même période. Résultat, les équipes IT se retrouvent à gérer des volumes d'inférence que rien ne laissait prévoir il y a deux ans, et des budgets GPU qui s'envolent malgré des prix unitaires en chute libre. Ce que les économistes appellent le paradoxe de Jevons se matérialise ici très concrètement : une ressource moins chère incite à en consommer davantage, jusqu'à dépasser les économies réalisées. L'essor de l'IA agentique amplifie le phénomène. Chaque assistant IA déployé en entreprise, chaque workflow automatisé, chaque pipeline d'agents génère en continu des milliers de requêtes d'inférence courtes et imprévisibles, très éloignées des gros jobs de training planifiés à l'avance. Ces flux bombardent les GPU, saturent les interconnexions réseau et sollicitent des systèmes de stockage conçus pour des charges stables. Le coût par token et le taux d'utilisation GPU deviennent ainsi des métriques opérationnelles de premier plan, au même titre que la disponibilité ou le débit. Les optimiser reste complexe : les variables sont trop nombreuses pour être gérées intuitivement, modèles, localisation des workloads, structure des prompts. Cette rupture expose les limites structurelles des datacenters traditionnels, pensés pour des charges prévisibles et des cycles d'approvisionnement longs. L'infrastructure agentique exige une topologie GPU spécifique, des interconnexions haute vitesse, un stockage parallèle pour les caches KV et la mémoire des agents. Quand GPU, réseau et stockage sont gérés en silos distincts, les inefficacités s'accumulent : les assets GPU coûteux se retrouvent sous-utilisés pendant que le réseau ou le stockage constituent les goulets d'étranglement. Face à cette réalité, les grands acteurs de l'infrastructure, Nutanix en tête, poussent vers des plateformes full-stack intégrées et validées de bout en bout, capables d'optimiser simultanément le calcul, le réseau et le stockage pour les workloads IA en production. L'enjeu n'est plus simplement de déployer de l'IA, mais de la faire tourner à l'échelle sans que les coûts d'infrastructure ne neutralisent les gains de productivité.

UELes DSI européens déployant de l'IA agentique subissent le même effet Jevons : la baisse du coût par token est annulée par l'explosion des volumes d'inférence, rendant l'optimisation de l'infrastructure GPU une priorité budgétaire immédiate.

InfrastructureActu
1 source
Les agents IA ont besoin de contexte partout, même là où le cloud ne peut pas les suivre
3VentureBeat AI 

Les agents IA ont besoin de contexte partout, même là où le cloud ne peut pas les suivre

Couchbase a annoncé mardi son AI Data Plane, une plateforme opérationnelle unifiée qui combine mémoire persistante pour agents IA, récupération de contexte en temps réel et serveur MCP géré en entreprise. L'annonce positionne la société comme un acteur central dans la bataille pour le contrôle du contexte des agents IA en entreprise, un terrain où s'affrontent déjà des géants comme Databricks, AWS et Redis. L'AI Data Plane regroupe trois composants : une couche de persistance unifiée pour le contexte conversationnel, les données opérationnelles structurées et les embeddings vectoriels ; un serveur MCP auto-géré livré nativement dans la plateforme ; et un catalogue d'outils agents appelé Agent Catalog. La plateforme tourne de manière identique sur le cloud, en on-premises et dans des environnements edge déconnectés, grâce à Couchbase Lite, le moteur embarqué qui exécute SQL, recherche plein texte et recherche vectorielle localement sans connexion réseau. L'enjeu concret est celui de l'efficacité opérationnelle et de la souveraineté des données. Pour les secteurs réglementés, les déploiements industriels ou le retail en mobilité, l'impossibilité d'envoyer des données vers le cloud n'est pas un détail technique mais une contrainte légale ou physique. En cachant le contexte partagé localement, la plateforme évite que chaque agent récupère et traite les mêmes données indépendamment, réduisant la consommation de tokens pour les sessions concurrentes. Couchbase cite l'exemple concret d'une chaîne hôtelière où plusieurs agents servent simultanément des clients, chacun puisant dans un contexte local via recherche vectorielle on-device, la mémoire de session se synchronisant ensuite de manière bidirectionnelle vers le cloud dès que la connectivité est rétablie. Agora, une plateforme d'intégration d'IA conversationnelle pour les entreprises, utilise Couchbase en production depuis février 2024. Couchbase arrive à ce problème avec une architecture distincte : la société était un système de cache avant de devenir une base de données, ce que son CTO Gopi Duddi présente comme un avantage structurel. Écrire en mémoire est dix fois plus rapide qu'écrire sur disque, argue-t-il, séparant Couchbase des bases NoSQL qui superposent des workloads mémoire sur un stockage disque. Redis, qui partage ces racines dans le cache, a également annoncé récemment une couche de contexte pour agents IA, mais Duddi souligne que Couchbase maintient une conformité ACID, atomicité, cohérence, isolation, durabilité, essentielle pour les charges de travail transactionnelles. La vraie bataille qui se joue ici est celle du substrat de mémoire des agents : quelle plateforme de données va devenir le système d'enregistrement de l'intelligence artificielle en production, y compris là où le cloud ne peut pas suivre.

UEPour les entreprises européennes soumises au RGPD ou à des réglementations sectorielles imposant la localisation des données, la capacité de déploiement on-premises et edge constitue une alternative concrète aux architectures cloud-first pour les agents IA en production.

💬 Ce que fait Couchbase ici, c'est mettre la main sur la mémoire de travail des agents, et tout le monde comprend que c'est là que se joue la prochaine bataille d'infrastructure. Leurs racines dans le cache leur donnent un avantage structurel sur des bases NoSQL qui ont bricolé une couche mémoire par-dessus du disque. Pour les boîtes européennes entre RGPD et réseaux capricieux, un système qui tourne pareil offline et sur le cloud, c'est pas anodin.

InfrastructureOpinion
1 source
Comment regarder le keynote de Jensen Huang à la GTC 2026 de Nvidia — et ce qu'il faut en attendre
4TechCrunch AI 

Comment regarder le keynote de Jensen Huang à la GTC 2026 de Nvidia — et ce qu'il faut en attendre

Nvidia tient sa conférence annuelle phare, la GTC 2026, avec au programme le keynote très attendu de son PDG Jensen Huang. Cet événement constitue le rendez-vous incontournable du secteur où le géant des semi-conducteurs dévoile traditionnellement ses nouvelles architectures, ses partenariats stratégiques et sa vision de l'avenir du calcul. La GTC (GPU Technology Conference) est devenue au fil des années bien plus qu'un simple salon produits, c'est désormais la tribune depuis laquelle Nvidia dicte l'agenda technologique de l'industrie de l'intelligence artificielle. Dans un contexte de compétition intense avec AMD, Intel et les puces maison des grands acteurs du cloud, chaque annonce de Jensen Huang est scrutée par les investisseurs, les chercheurs et les ingénieurs du monde entier. Le discours de Jensen Huang devrait se concentrer sur le rôle de Nvidia dans l'avenir du calcul et de l'IA. Les éditions précédentes ont été marquées par des annonces majeures : nouvelles générations de GPU, plateformes pour l'IA générative, extensions de l'écosystème CUDA, et partenariats avec les hyperscalers. L'événement est regardé en direct par des milliers de professionnels à travers le monde. Les attentes restent élevées pour cette édition 2026, alors que Nvidia consolide sa position dominante dans l'infrastructure IA mondiale. Les annonces de la GTC ont systématiquement influencé les orientations des entreprises technologiques pour les mois suivants, faisant de ce keynote un moment structurant pour l'ensemble de l'industrie.

UELe marché européen des infrastructures IA sera indirectement concerné par les annonces de nouveaux produits Nvidia, qui équipent la majorité des datacenters européens.

InfrastructureActu
1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription en un clic