Plus de performance par octet : comment la co-conception complète (matériel et logiciel) répond au défi de la mémoire pour l'IA
Nvidia affirme que la réponse à la pénurie de mémoire dans l'IA ne consiste pas à empiler toujours plus de mémoire sur les GPU, mais à concevoir conjointement GPU, CPU, réseau, stockage et logiciels. Le groupe rappelle avoir été le premier à intégrer la HBM3e puis la HBM4 dans une pile de calcul accéléré. Il met en avant un chiffre : entre Blackwell Ultra et la plateforme Vera Rubin, la capacité de HBM par GPU n'a progressé que d'environ 3 %, alors que le débit agentique par dollar a augmenté jusqu'à 30 fois sur le benchmark AgentX de SemiAnalysis. Cette pression vient de modèles de pointe qui comptent désormais des milliers de milliards de paramètres, et d'un cache KV (le contexte que le modèle conserve pour chaque requête active sans avoir à le retraiter) qui enfle. Les trajectoires d'agents transportent le contexte d'appel en appel et peuvent atteindre 3 millions de jetons, tandis que la génération augmentée par récupération (RAG) ajoute encore du contexte à retenir. Parmi les techniques citées, le format NVFP4 réduit l'espace occupé par les poids par rapport au FP8, la précision la plus basse disponible sur Hopper, et ces poids sont répartis sur le domaine NVL72.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de NVIDIA AI Blog. Lire l'article original →
L'enjeu est économique autant que technique. La HBM est le niveau de mémoire le plus rapide, le plus cher et le plus disputé, car les poids du modèle et le cache KV s'y font concurrence. Nvidia compare la HBM à un entrepôt et la bande passante à ses quais de chargement : un entrepôt plus grand stocke davantage, mais ce sont les quais qui limitent ce qui entre et sort à chaque instant. Chaque utilisateur supplémentaire partage le même calcul et la même bande passante. Quand chacun exige des réponses rapides, la bande passante ne parvient plus à alimenter le calcul, et c'est ce que les ingénieurs appellent le mur de la mémoire. Au-delà, la capacité de HBM ajoutée ne peut plus être exploitée, mais elle continue de coûter de l'argent et de consommer de l'énergie. Pour les opérateurs d'usines d'IA, le rendement de chaque octet compte donc plus que le volume total installé.
Ce discours s'inscrit dans un marché où l'offre de mémoire se tend et où les prix montent, une tendance que Nvidia juge appelée à durer à court terme. Le constructeur travaille étroitement avec ses partenaires mémoire pour adopter rapidement les nouvelles générations de HBM, mais il insiste sur la hiérarchie complète d'une usine d'IA : HBM du GPU, mémoire du CPU, SSD locaux et stockage partagé, chaque niveau sacrifiant de la vitesse pour davantage de capacité à moindre coût par bit. La performance dépend alors de la capacité à réduire ce qu'il faut stocker, à le placer sur le bon niveau et à le ramener vers le GPU avant qu'il ne soit nécessaire. Cette approche de codesign vertical, qui s'appuie sur la maîtrise de toute la chaîne par Nvidia, vise à défendre sa position face à des concurrents tentés de rivaliser sur la seule capacité mémoire par puce.
Pas d'impact direct sur la France/UE