Accélérez l'IA à base d'agents avec les modèles NVIDIA Nemotron sur Amazon EKS et SageMaker HyperPod EKS
NVIDIA Nemotron 3.5 Super VL rejoint les modèles Nemotron déjà disponibles sur AWS : Nemotron 3 Nano, Nano Omni, Super, Ultra et Nemotron 3.5 Lightning. Il s'agit d'un modèle multimodal ouvert de 120 milliards de paramètres, distillé à partir de Nemotron 3 Ultra, qui repose sur une architecture de mélange d'experts (MoE) n'activant que 12 milliards de paramètres par token. Il accepte en entrée du texte, des images, des documents et de la vidéo, et produit du texte, avec une fenêtre de contexte pouvant atteindre un million de tokens. NVIDIA le propose en points de contrôle BF16 et NVFP4 et publie les poids, les jeux de données d'entraînement et les recettes de post-entraînement. L'éditeur annonce 63,44 % sur Hermes Bench, 87,05 % sur les évaluations d'agents LangChain et 80,8 % sur le test de raisonnement sur graphiques CharXiv. Avec vLLM, le déploiement en BF16 exige au minimum 8 GPU B200 ou GB200, 4 B300 ou GB300, 8 H200 ou 16 H100. En NVFP4, ces minimums tombent respectivement à 2, 1, 4 et 8.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de AWS ML Blog. Lire l'article original →
Pour les équipes qui construisent des agents, l'intérêt tient à l'unification : un seul modèle gère le raisonnement, l'appel d'outils et la compréhension visuelle, là où il fallait souvent combiner plusieurs systèmes. Les cas d'usage cités vont du code (test, analyse d'erreurs, correctifs) à la recherche web avec vérification croisée des sources, en passant par l'analyse de documents (tableaux, graphiques, mises en page), la cybersécurité (détection de vulnérabilités, tri des menaces) et l'analyse vidéo. Le caractère ouvert permet en outre de personnaliser le modèle pour des charges métier spécifiques et de l'exécuter sur une infrastructure que l'entreprise contrôle. L'architecture hybride entrelace des couches Mamba-2, d'attention et d'experts, avec un encodeur visuel RADIO. Les couches Mamba-2 conservent un état de taille constante, si bien que leur mémoire ne croît pas avec la longueur de séquence comme le cache KV, ce qui rend les contextes très longs abordables. Le routage parcimonieux ramène le coût de calcul par token à celui d'un modèle bien plus petit, même si la mémoire GPU doit toujours contenir l'ensemble des poids. Une tête de prédiction multi-tokens partagée de façon récursive permet en outre un décodage spéculatif natif.
Côté déploiement, l'implémentation de référence du projet aws-do-eks fonctionne sur Amazon EKS standard, EKS Auto Mode et SageMaker HyperPod EKS, avec les mêmes manifestes Kubernetes dans les trois cas. En mode Auto, AWS gère à la place du client la montée en charge ainsi que la prise en charge des GPU et d'EFA. Chaque cluster comprend un plan de contrôle hébergeant l'API Kubernetes et un plan de données mêlant nœuds CPU, pour les pods système et de test, et nœuds GPU, qui exécutent le modèle. Amazon ECR stocke les images de conteneurs, un volume Amazon FSx for Lustre partagé conserve les poids et Elastic Fabric Adapter relie les nœuds GPU. NVIDIA Dynamo assure le service du modèle. Le guide détaille la création du cluster, le téléchargement des poids, les tests, les mesures de performance et le nettoyage, et le même schéma peut s'appliquer aux autres modèles de la famille Nemotron. Cette publication s'inscrit dans le rapprochement entre NVIDIA et AWS autour de l'IA agentique et dans la montée en puissance des modèles ouverts face aux offres propriétaires.
Pas d'impact direct sur la France/UE