Aller au contenu principal
NVIDIA Nemotron 3 Nano Omni est désormais disponible sur Amazon SageMaker JumpStart
LLMsAWS ML Blog1h

NVIDIA Nemotron 3 Nano Omni est désormais disponible sur Amazon SageMaker JumpStart

Résumé IASources croisées · 2Impact UE
Source originale ↗·
Egalement couvert par :Le Big Data

NVIDIA vient de rendre disponible son modèle Nemotron 3 Nano Omni sur Amazon SageMaker JumpStart, avec une mise en ligne dite "day zero", soit le jour même du lancement officiel. Ce modèle de langage multimodal open source repose sur une architecture hybride Mamba2 Transformer avec Mixture of Experts (MoE), affichant 30 milliards de paramètres au total dont seulement 3 milliards actifs (architecture dite 30B A3B). Il intègre trois composants spécialisés : Nemotron 3 Nano LLM comme colonne vertébrale linguistique, CRADIO v4-H pour l'encodage visuel (images et vidéos), et Parakeet pour la transcription et la compréhension audio. Le modèle accepte des vidéos jusqu'à 2 minutes (256 images maximum), des fichiers audio jusqu'à 1 heure, des images JPEG et PNG, ainsi que du texte sur une fenêtre de contexte de 131 000 tokens. Il prend en charge le raisonnement en chaîne de pensée, les appels d'outils, la sortie JSON et les horodatages au niveau du mot pour la transcription. Disponible en précision FP8 sur SageMaker JumpStart, il est commercialisé sous la licence NVIDIA Open Model Agreement.

L'apport concret de Nemotron 3 Nano Omni réside dans sa capacité à traiter vidéo, audio, images et texte en une seule passe d'inférence, là où les architectures actuelles empilent plusieurs modèles distincts pour chaque modalité. Cette fragmentation classique multiplie les allers-retours d'inférence, complique l'orchestration des pipelines, fragmente le contexte entre modalités et fait croître les coûts et les points de défaillance. En fonctionnant comme un sous-agent de perception unifié au sein d'un système d'agents, le modèle offre simultanément vision, ouïe et compréhension textuelle dans une même boucle de raisonnement. Les cas d'usage ciblés incluent les agents de contrôle d'interfaces graphiques, l'analyse documentaire, contrats, états financiers, rapports scientifiques, ainsi que la surveillance audio et vidéo pour le service client ou la recherche.

Ce lancement s'inscrit dans une dynamique plus large de convergence des architectures multimodales, où les grands fournisseurs cherchent à réduire la complexité des systèmes agentiques d'entreprise. NVIDIA, historiquement dominant sur le matériel GPU, renforce ici sa présence sur la couche modèle avec une offre ouverte et commercialement exploitable, accessible directement via SageMaker JumpStart, la plateforme de déploiement géré d'Amazon Web Services. Cette disponibilité immédiate dans l'écosystème AWS facilite l'adoption pour les entreprises sans nécessiter de configuration d'infrastructure propre. La tendance vers des modèles unifiés capables de percevoir et raisonner sur plusieurs modalités simultanément devrait s'accélérer, à mesure que les architectures agentiques complexes cherchent à réduire latence, coûts et friction opérationnelle.

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

Exécutez NVIDIA Nemotron 3 Super sur Amazon Bedrock
1AWS ML Blog 

Exécutez NVIDIA Nemotron 3 Super sur Amazon Bedrock

NVIDIA Nemotron 3 Super est désormais disponible sur Amazon Bedrock en tant que modèle entièrement géré et serverless. Ce modèle hybride Mixture of Experts (MoE) de 120 milliards de paramètres (12B actifs) offre jusqu'à 5x plus d'efficacité de calcul et 2x plus de précision que sa version précédente, avec un contexte allant jusqu'à 256K tokens. Conçu pour les applications multi-agents et les systèmes IA agentiques, il excelle sur des benchmarks clés comme AIME 2025, SWE Bench et RULER, tout en supportant sept langues dont le français.

UELe modèle inclut le français parmi ses sept langues supportées, ce qui peut intéresser les développeurs européens, mais l'impact direct sur la France/UE reste limité.

LLMsActu
1 source
NVIDIA optimise Gemma 4 pour les agents autonomes locaux, des GPU RTX aux serveurs Spark
2NVIDIA AI Blog 

NVIDIA optimise Gemma 4 pour les agents autonomes locaux, des GPU RTX aux serveurs Spark

Google et NVIDIA ont annoncé cette semaine une collaboration pour optimiser la nouvelle famille de modèles Gemma 4 sur les GPU NVIDIA, couvrant un spectre matériel allant des modules embarqués Jetson Orin Nano aux PC et stations de travail RTX, en passant par le superordinateur personnel DGX Spark. La gamme comprend quatre variantes — E2B, E4B, 26B et 31B — chacune ciblant un segment précis : les modèles E2B et E4B sont conçus pour une inférence ultra-rapide et hors-ligne sur des appareils à faible consommation, tandis que les 26B et 31B visent des cas d'usage plus exigeants comme le raisonnement complexe et les workflows de développement. Ces modèles multimodaux prennent en charge le texte, les images, la vidéo et l'audio, acceptent des entrées mixtes dans un même prompt, et couvrent nativement plus de 35 langues, avec un préentraînement sur plus de 140. Ils intègrent également un support natif pour les appels de fonctions structurés, fondement des architectures agentiques. L'enjeu principal est de rendre l'IA agentique accessible localement, sans dépendance au cloud. Jusqu'ici, faire tourner un assistant IA capable de raisonner, coder et interagir avec des fichiers personnels nécessitait soit une connexion internet, soit du matériel serveur coûteux. Avec Gemma 4 optimisé pour les Tensor Cores NVIDIA via CUDA, des machines grand public comme un PC équipé d'une RTX 5090 peuvent exécuter le modèle 31B avec des performances compétitives — les benchmarks réalisés avec llama.cpp (b7789) montrent un débit de génération de tokens mesurable à ISL 4096 et OSL 128. Des applications comme OpenClaw, déjà compatible avec ces nouveaux modèles, permettent de construire des agents locaux qui accèdent aux fichiers, applications et workflows de l'utilisateur en temps réel, sans que les données quittent la machine. Ce lancement s'inscrit dans une dynamique plus large d'ouverture des modèles de frontier, portée par Google DeepMind avec la famille Gemma depuis 2024. La collaboration avec NVIDIA vise à réduire le fossé entre les performances des modèles propriétaires cloud et ce qu'un développeur peut faire tourner chez lui. NVIDIA s'est associé à Ollama et llama.cpp pour simplifier le déploiement local, tandis qu'Unsloth propose dès le premier jour des versions quantifiées et optimisées pour le fine-tuning via Unsloth Studio. À mesure que la course aux modèles locaux s'intensifie — face à des acteurs comme Meta avec LLaMA ou Mistral AI — la capacité de Google à distribuer des modèles performants sur du matériel NVIDIA grand public représente un levier stratégique pour étendre l'écosystème Gemma bien au-delà des serveurs de données.

UELa concurrence directe de Gemma 4 avec les modèles de Mistral AI accentue la pression sur l'écosystème open source européen, tandis que les développeurs français bénéficient d'un accès immédiat à des modèles multimodaux performants exécutables localement via des outils déjà disponibles (Ollama, llama.cpp, Unsloth).

💬 Un 31B qui tourne sur une RTX sans toucher au cloud, c'est le verrou qui lâche enfin. Ce qui me convainc surtout, c'est l'écosystème autour (Ollama, Unsloth, llama.cpp dès J1) : si tu as du matériel NVIDIA chez toi, tu peux tester ça ce soir. Reste à voir si les perfs tiennent en conditions réelles, les benchmarks à contexte fixe c'est pas toujours très révélateur.

LLMsOpinion
1 source
Mistral AI lance un modèle de synthèse vocale qui surpasse ElevenLabs, disponible en open source
3VentureBeat AI 

Mistral AI lance un modèle de synthèse vocale qui surpasse ElevenLabs, disponible en open source

Mistral AI a lancé jeudi matin Voxtral TTS, son premier modèle de synthèse vocale de qualité frontier, avec une particularité radicale : les poids du modèle sont publiés en open source, téléchargeables et utilisables sans jamais envoyer le moindre audio vers un serveur tiers. La startup parisienne, valorisée 13,8 milliards de dollars après une levée de 2 milliards en série C menée par le fabricant de puces néerlandais ASML en septembre dernier, affirme que son modèle surpasse ElevenLabs sur les benchmarks de qualité vocale. Techniquement, Voxtral TTS repose sur trois composants : un transformeur décodeur de 3,4 milliards de paramètres, un transformeur acoustique de 390 millions de paramètres basé sur le flow-matching, et un codec audio neuronal de 300 millions de paramètres développé en interne. Le tout tient en 3 gigaoctets de RAM une fois quantifié, produit de l'audio en 90 millisecondes pour une entrée typique, et génère la parole à six fois la vitesse temps réel. Il tourne sur n'importe quel laptop ou smartphone, y compris sur du matériel vieillissant. Le modèle couvre neuf langues — anglais, français, allemand, espagnol, néerlandais, portugais, italien, hindi et arabe — et peut cloner une voix à partir de seulement cinq secondes d'audio de référence. L'enjeu est considérable : le marché mondial de la voix IA a dépassé 22 milliards de dollars en 2026, et le seul segment des agents vocaux est projeté à 47,5 milliards d'ici 2034. Jusqu'ici, ce marché est dominé par des acteurs propriétaires — ElevenLabs, Google Cloud avec Chirp 3, OpenAI — qui vendent l'accès à leurs modèles via API : les entreprises louent la voix, elles ne la possèdent pas. Mistral propose le modèle inverse : télécharger les poids, déployer en local, garder un contrôle total sur les données audio. Pour les secteurs soumis à des contraintes de confidentialité strictes — finance, santé, défense — c'est une proposition fondamentalement différente. Voxtral TTS s'inscrit dans une stratégie cohérente que Mistral construit pièce par pièce depuis plusieurs mois. La startup a lancé Voxtral Transcribe (speech-to-text) quelques semaines plus tôt, sa plateforme de personnalisation Forge lors de la conférence Nvidia GTC début mars, et son infrastructure de production AI Studio. L'objectif affiché est de permettre aux entreprises de faire tourner un pipeline audio complet — de la voix à la voix — sans dépendre d'aucun fournisseur externe. « Nous voyons l'audio comme un grand pari, et probablement la seule interface future avec tous les modèles d'IA », a déclaré Pierre Stock, vice-président science et premier employé de Mistral, dans une interview exclusive à VentureBeat. Dans un marché où ElevenLabs vient d'annoncer une collaboration avec IBM pour intégrer ses voix dans la plateforme watsonx Orchestrate, Mistral choisit de jouer la carte de la souveraineté plutôt que celle du service managé — un pari sur le fait que les grandes entreprises préféreront, à terme, la maîtrise à la commodité.

UEMistral AI, startup parisienne, offre aux entreprises françaises et européennes une solution TTS souveraine déployable en local, répondant directement aux contraintes de confidentialité des secteurs régulés (finance, santé, défense) sans dépendance aux fournisseurs API américains.

💬 La vraie info c'est pas les benchmarks face à ElevenLabs, c'est qu'on télécharge les poids et ça tourne en local, sans qu'une seule seconde d'audio quitte ta machine. C'était le verrou pour tout le secteur régulé, finance, santé, défense, qui ne peut pas se permettre d'envoyer ses données vocales à San Francisco. Je pensais que Mistral mettrait plus de temps, mais là ils posent les briques vite.

LLMsActu
1 source
Le GPT-5.5 d'OpenAI propulse Codex sur l'infrastructure NVIDIA, déjà utilisée en interne
4NVIDIA AI Blog 

Le GPT-5.5 d'OpenAI propulse Codex sur l'infrastructure NVIDIA, déjà utilisée en interne

OpenAI a déployé GPT-5.5, son dernier modèle frontier, au coeur de Codex, son application de codage agentique. Ce modèle tourne sur les systèmes rack-scale NVIDIA GB200 NVL72, capables de délivrer un coût 35 fois inférieur par million de tokens et un débit 50 fois supérieur par seconde et par mégawatt par rapport à la génération précédente. Plus de 10 000 employés de NVIDIA, répartis dans tous les départements, ingénierie, juridique, marketing, finance, RH, ventes et opérations, utilisent déjà Codex propulsé par GPT-5.5 depuis quelques semaines. Les résultats sont concrets et mesurables : des cycles de débogage qui prenaient des jours se bouclent désormais en quelques heures, et des expérimentations qui nécessitaient des semaines aboutissent en une nuit sur des bases de code complexes et multi-fichiers. Des équipes livrent des fonctionnalités complètes à partir de simples instructions en langage naturel. L'impact dépasse le simple gain de productivité individuel. En rendant l'inférence de modèles frontier économiquement viable à l'échelle de l'entreprise, cette infrastructure change la donne pour toute organisation souhaitant intégrer des agents IA dans ses processus métier. Pour sécuriser ce déploiement, NVIDIA a doté chaque employé d'une machine virtuelle cloud dédiée connectée via SSH, dans laquelle l'agent Codex opère en sandbox avec une politique de rétention zéro donnée. Les agents n'accèdent aux systèmes de production qu'en lecture seule, garantissant auditabilité complète sans exposition des données internes. Jensen Huang, PDG et fondateur de NVIDIA, a incité l'ensemble de ses équipes à adopter l'outil dans un email interne : "Passons à la vitesse de la lumière. Bienvenue dans l'ère de l'IA." Ce lancement s'inscrit dans plus de dix ans de collaboration entre NVIDIA et OpenAI, une relation qui remonte à 2016 lorsque Jensen Huang avait livré en mains propres le premier supercalculateur DGX-1 au siège d'OpenAI à San Francisco. Depuis, les deux entreprises co-développent l'ensemble de la pile IA : NVIDIA était partenaire dès le premier jour pour le lancement du modèle open-weight gpt-oss d'OpenAI, en optimisant les poids du modèle pour TensorRT-LLM et des frameworks comme vLLM et Ollama. OpenAI s'est engagé à déployer plus de 10 gigawatts de systèmes NVIDIA pour sa prochaine infrastructure, mobilisant des millions de GPU pour l'entraînement et l'inférence dans les années à venir. Les deux sociétés sont également partenaires en co-conception matérielle, OpenAI contribuant au roadmap hardware de NVIDIA en échange d'un accès anticipé aux nouvelles architectures, ce qui a abouti à la mise en service commune du premier cluster de 100 000 GPU GB200 NVL72.

LLMsActu
1 source