NVIDIA Vera Rubin NVL72 affiche les meilleures performances au premier passage de MLPerf Inference v6.1

Ces gains pèsent directement sur l'économie de l'inférence : un débit plus élevé signifie davantage de tokens générés par rack, donc plus d'utilisateurs servis et de revenus, à coût par token réduit. L'efficacité de mise à l'échelle quasi linéaire garantit que chaque GPU ajouté apporte une capacité proportionnelle, sans ressources superflues. Les optimisations logicielles continues permettent de tirer davantage de valeur du matériel déjà déployé, un enjeu majeur face à l'envolée des coûts d'infrastructure IA. Pour les entreprises qui arbitrent leurs achats, performance, efficacité de mise à l'échelle et rythme logiciel deviennent ainsi des critères déterminants, d'autant que la montée des agents IA impose de nouveaux standards de mesure.

Ces résultats reposent sur une conception conjointe du matériel et du logiciel : les Tensor Cores et le Transformer Engine de Vera Rubin accélèrent le prefill et le décodé, tandis que la précision NVFP4 réduit l'empreinte mémoire des poids et du cache KV avec une perte de qualité minimale. Les soumissions ont largement utilisé le disaggregated serving et le parallélisme d'experts à grande échelle, techniques clés pour les modèles à mélange d'experts comme DeepSeek-R1 et Qwen3-VL, rendues efficaces par l'interconnexion NVLink Switch de sixième génération, dix fois plus rapide et trois fois moins latente que l'Ethernet classique. L'ensemble illustre la stratégie de fongibilité de plateforme de NVIDIA, où une même infrastructure exécute tout type de modèle, de l'entraînement à l'inférence. MLPerf Inference, benchmark maintenu par le consortium MLCommons, reste l'un des rares points de comparaison indépendants dans une concurrence croissante sur les infrastructures d'IA.