NVIDIA Nemotron 3.5 Super VL est désormais disponible dans Amazon SageMaker JumpStart
Amazon a annoncé la disponibilité de NVIDIA Nemotron 3.5 Super VL dans Amazon SageMaker JumpStart. Le modèle se déploie en quelques étapes dans SageMaker Studio ou avec quelques lignes du SDK Python de SageMaker. C'est le modèle vision-langage de la famille Nemotron 3.5. Il accepte en entrée des images, des vidéos et du texte, et produit du texte. Il repose sur un modèle de langage hybride à mélange d'experts (MoE) de 120 milliards de paramètres, dont 12 milliards actifs par token, associé à un encodeur visuel C-RADIO. Il gère des contextes allant jusqu'à 1 million de tokens et intègre une tête de prédiction multi-token (MTP) pour le décodage spéculatif, que la configuration JumpStart n'active toutefois pas. Le raisonnement se règle requête par requête via le paramètre enable_thinking, activé par défaut. Le socle de langage compte 88 couches qui alternent Mamba-2 et MoE (512 experts routés, 22 actifs par token), plus 8 couches d'attention. Il a été initialisé à partir de Nemotron 3 Super Base et distillé depuis Nemotron 3 Ultra Base. JumpStart propose deux variantes. La première est NVFP4, d'environ 75 Go, quantifiée depuis le BF16 par distillation sensible à la quantification et exécutée en 4 bits sur GPU Blackwell, sur des instances ml.g7.24xlarge (par défaut) ou ml.g7.48xlarge. La seconde est BF16, d'environ 249 Go, avec les poids de référence en pleine précision, sur ml.p5en.48xlarge.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de AWS ML Blog. Lire l'article original →
Ce modèle cible les applications agentiques qui doivent voir et lire : analyse de documents (reconnaissance de caractères, graphiques, tableaux, documents de plusieurs pages), compréhension d'interfaces graphiques pour des agents qui pilotent un ordinateur, questions-réponses sur vidéo et agents multimodaux. Pour les entreprises, l'intérêt est de disposer sur l'infrastructure AWS d'un modèle ouvert, sous licence OpenMDW 1.1, qui combine raisonnement, code, appel d'outils et sortie en schéma JSON. La variante NVFP4 vise la latence et le débit en production. La variante BF16 sert de base pour personnaliser le modèle : fine-tuning supervisé, apprentissage par renforcement, distillation, adaptation à un domaine ou quantification sur mesure. Le modèle couvre sept langues : anglais, français, allemand, italien, japonais, espagnol et chinois. Les configurations de service de JumpStart utilisent toutefois des contextes de 520 à 15 600 tokens seulement, très loin du million de tokens théorique, et ne prennent pas en charge le service d'adaptateurs LoRA.
Cette sortie s'inscrit dans la course aux agents capables de traiter des données visuelles en plus du texte, où NVIDIA cherche à exister comme éditeur de modèles ouverts, et pas seulement comme fabricant de GPU. L'entraînement a suivi une chaîne complexe : pré-entraînement continu, entraînement intermédiaire sur le contexte long et le génie logiciel, entraînement vision-langage, puis fine-tuning supervisé multimodal en deux étapes. Viennent ensuite un apprentissage par renforcement avec récompenses vérifiables et retours humains dans NeMo RL et NeMo Gym, une distillation multi-enseignants et un dernier réglage de la tête MTP. L'encodeur visuel, le connecteur, les convolutions Mamba et les embeddings restent en BF16 dans la version quantifiée, et le routeur MoE reste en FP32. Pour AWS, intégrer ce modèle à JumpStart renforce son catalogue face aux autres plateformes cloud qui multiplient les partenariats avec les fabricants de modèles. L'article annonce aussi des mesures de performance d'inférence et des démonstrations sur texte, image et vidéo.
Le modèle ouvert, sous licence OpenMDW 1.1 et compatible avec le français, l'allemand, l'italien et l'espagnol, peut être déployé par des entreprises européennes sur l'infrastructure AWS.