Déploiement de modèles quantifiés sur Amazon SageMaker AI avec Unsloth

Monitoring des modèles de machine learning discriminatifs avec Amazon SageMaker AI et MLflow

Amazon Web Services a publié une architecture de référence pour surveiller en production les modèles de machine learning discriminatifs (classification et régression), combinant Amazon SageMaker AI, MLflow et la bibliothèque open source Evidently. Le constat de départ est simple : la précision d'un modèle commence à se dégrader dès la fin de son entraînement, sous l'effet de deux phénomènes distincts. Le premier, appelé dérive des données (data drift), correspond à un changement dans les propriétés statistiques des données d'entrée, par exemple une source de données amont qui change silencieusement le type d'une colonne, ou l'arrivée de nouvelles gammes de produits jamais vues à l'entraînement. Le second, la dérive de modèle (model drift), traduit une perte de justesse des prédictions parce que les motifs probabilistes appris ne correspondent plus à la réalité, un phénomène qui peut survenir par exemple lors d'un changement de comportement des consommateurs dû à une évolution économique. L'architecture proposée couvre tout le cycle de vie, de l'entraînement jusqu'au déploiement, avec un cas d'usage en inférence par lot : un job d'entraînement calcule les métriques du modèle et les stocke dans MLflow, le jeu de données de référence est conservé séparément dans un bucket Amazon S3, puis un job de transformation par lot exécute les prédictions en production dont les résultats sont eux aussi archivés dans S3. Cette approche répond à un besoin concret des équipes qui utilisent des services managés comme SageMaker AI mais qui ont besoin de davantage de flexibilité, que ce soit pour maîtriser les coûts sur l'ensemble du cycle de vie du modèle, pour surveiller des cas d'usage spécifiques non couverts par les outils managés standards, ou pour intégrer la surveillance de modèles dans des tableaux de bord et pipelines d'observabilité déjà existants dans l'entreprise. Concrètement, les résultats produits par cette chaîne de surveillance peuvent alimenter un tableau de bord personnalisé, déclencher des alertes vers des outils comme Slack pour prévenir les équipes concernées, ou même lancer automatiquement un pipeline de réentraînement du modèle dès qu'une dérive significative est détectée. Pour les organisations qui opèrent des modèles critiques en production, cette capacité à réagir avant que la baisse de performance ne devienne problématique représente un enjeu direct de fiabilité et de confiance envers les systèmes d'IA. Ce travail s'inscrit dans la distinction plus large qu'AWS établit entre le monitoring des modèles discriminatifs classiques et celui des grands modèles de langage génératifs, ces derniers faisant l'objet d'une architecture de surveillance séparée et dédiée sur les endpoints d'inférence temps réel de SageMaker AI. La démarche illustre une tendance de fond dans l'industrie du machine learning en production : au-delà du simple déploiement, la capacité à détecter automatiquement les dérives de données et de modèle devient un pilier de la gouvernance des systèmes d'IA, aux côtés des outils d'observabilité plus classiques qui surveillent la latence et la disponibilité des applications. En s'appuyant sur des briques open source comme Evidently plutôt que sur des solutions entièrement fermées, AWS laisse aux équipes techniques la liberté d'adapter la granularité et les métriques de surveillance à leurs propres exigences métier.

Nemotron 3 : affinement des modèles NVIDIA avec la personnalisation serverless d'Amazon SageMaker AI

Amazon vient d'annoncer l'intégration de la personnalisation de modèles serverless pour les modèles NVIDIA Nemotron 3 au sein d'Amazon SageMaker AI. Deux versions sont concernées: Nemotron 3 Nano, qui compte 30 milliards de paramètres au total dont 3 milliards actifs, et Nemotron 3 Super, plus imposant avec 120 milliards de paramètres au total dont 12 milliards actifs. Les entreprises peuvent désormais affiner ces modèles open-weight via trois techniques disponibles sans avoir à provisionner ni gérer la moindre infrastructure: le fine-tuning supervisé classique (SFT), l'apprentissage par renforcement avec récompenses vérifiables (RLVR), et l'apprentissage par renforcement avec retour d'IA (RLAIF). Nemotron 3 repose sur une architecture hybride combinant Mamba et Transformer sous forme de mélange d'experts (MoE), capable de gérer des contextes allant jusqu'à un million de tokens. Elle entrelace trois types de couches complémentaires: des couches Mamba-2 pour un traitement séquentiel rapide en temps linéaire, des couches d'attention Transformer pour un rappel associatif précis, et des couches de mélange d'experts latent qui compressent les tokens avant de les router vers des experts spécialisés. Résultat, seule une fraction des paramètres totaux est activée à chaque passage, comme les 12 milliards sur 120 pour la version Super, ce qui garantit un débit élevé à moindre coût de calcul. Pour les entreprises, affiner un modèle sur leurs propres données ne relève plus seulement de l'optimisation technique: cela revient à créer une propriété intellectuelle propriétaire, encodant leur savoir-faire, leur vocabulaire métier et leur ton de marque directement dans l'architecture du modèle. Cette approche permet souvent à des modèles plus petits et ouverts d'égaler, voire de dépasser, les performances de modèles propriétaires bien plus volumineux, tout en gardant les données sensibles dans une infrastructure privée et sécurisée. Pour les charges de travail à fort volume impliquant plusieurs agents, comme le codage ou le triage de cybersécurité, ce type d'avantage devient un facteur de compétitivité difficile à répliquer avec des modèles génériques du marché. Les deux modèles ont été entraînés via NeMo Gym, un système d'apprentissage par renforcement multi-environnements qui les aligne sur des tâches agentiques réelles en plusieurs étapes, couvrant le codage, le raisonnement et l'analyse de contextes longs. Nemotron 3 Nano affiche un débit quatre fois supérieur à son prédécesseur Nemotron 2 Nano, le rendant particulièrement adapté aux charges de travail multi-agents à fort volume où coût et latence sont critiques. Nemotron 3 Super, de son côté, cible les applications multi-agents complexes comme le développement logiciel, misant sur une capacité de raisonnement accrue tout en conservant une efficacité de calcul élevée.

💬 Nemotron 3 Super fait tourner 12 milliards de paramètres actifs sur 120 et bat des modèles bien plus gros, c'est la confirmation qu'on n'a plus besoin de mastodontes pour du raisonnement agentique sérieux. Ce qui change vraiment, c'est le fine-tuning serverless : plus de cluster GPU à gérer, tu balances tes données et Amazon fait le reste. Reste que la vraie valeur, ce n'est plus le modèle en lui-même, c'est ce que t'y injectes, ton vocabulaire métier, ton ton de marque, tes données propriétaires. Pour du codage ou du triage cyber à gros volume, ça devient un avantage concurrentiel qu'un modèle générique ne rattrapera pas.

Créer des agents Strands avec les modèles SageMaker AI et MLflow

Amazon Web Services a publié un guide technique détaillant la construction d'agents d'intelligence artificielle en combinant trois de ses outils : le SDK open source Strands Agents, les endpoints de modèles Amazon SageMaker AI, et la plateforme d'observabilité MLflow hébergée sur SageMaker Serverless. Le SDK Strands, à approche pilotée par le modèle, permet de créer un agent fonctionnel en quelques lignes de code en associant un modèle de langage, un prompt système et un ensemble d'outils. Les modèles sont déployés via SageMaker JumpStart, un hub machine learning qui permet d'évaluer et de sélectionner rapidement des modèles de fondation selon des critères de qualité et de responsabilité prédéfinis. L'intégration de MLflow permet ensuite de tracer les appels d'agents, de versionner les modèles et d'implémenter des tests A/B entre plusieurs variantes de modèles pour en évaluer les performances à l'aide de métriques objectives. Cette architecture répond à un besoin concret des grandes entreprises qui ne peuvent pas se contenter des services de modèles entièrement gérés : contrôle précis sur les instances de calcul, politiques de mise à l'échelle, configuration réseau compatible avec les architectures de sécurité existantes, et conformité en matière de résidence des données. Là où Amazon Bedrock simplifie l'accès aux modèles de fondation en masquant l'infrastructure, SageMaker AI laisse à l'organisation la maîtrise de l'endroit et de la manière dont l'inférence se produit, ce qui est décisif pour les secteurs réglementés comme la finance ou la santé. La couche MLflow ajoute une dimension industrielle : les équipes peuvent comparer les performances de différents modèles dans des conditions réelles, réduire les coûts en sélectionnant le modèle le plus efficace pour chaque tâche, et maintenir un historique d'expériences exploitable dans le temps. La publication de ce guide s'inscrit dans une course plus large pour capter les déploiements d'agents IA en production. AWS répond ainsi à la demande croissante des équipes MLOps qui veulent bénéficier de la commodité du cloud tout en conservant une maîtrise fine de l'infrastructure, une position souvent impossible avec les APIs gérées de type Bedrock ou OpenAI. Strands Agents, rendu open source par Amazon, concurrence directement des frameworks comme LangChain ou CrewAI, avec l'avantage d'une intégration native dans l'écosystème AWS. L'accent mis sur les tests A/B et l'évaluation continue des agents signale que le secteur entre dans une phase de maturité : il ne s'agit plus seulement de faire fonctionner un agent, mais de le mesurer, le comparer, et l'améliorer de façon systématique en production.

ComfyUI sur Amazon SageMaker : exécuter des workflows de traitement

Amazon Web Services a publié un guide technique détaillant comment exécuter des workflows ComfyUI sur Amazon SageMaker AI, via ses "processing jobs", pour automatiser la génération de contenu visuel à grande échelle. La solution repose sur AWS Cloud Development Kit (CDK) et des instances GPU accélérées avec une facturation à la seconde et arrêt automatique à la fin du job. En pratique, le dispositif permet de générer des centaines d'images haute qualité en un seul batch, à partir de workflows ComfyUI exportés au format JSON. AWS illustre également l'intégration du modèle Z-Image Turbo, un modèle texte-vers-image reposant sur une architecture Transformer à flux unique (S3DiT) de 6 milliards de paramètres, 30 couches, une taille cachée de 3 840 et 32 têtes d'attention, avec une technique de fusion précoce qui traite uniformément les tokens texte et image dans le même Transformer. Pour les équipes marketing et créatives des grandes entreprises, cette automatisation change concrètement les règles du jeu. Là où un designer devait itérer manuellement pour produire des visuels adaptés à chaque marché ou segment d'audience, il devient possible de générer en une heure des centaines de visuels cohérents avec la charte graphique, des voix synthétisées multilingues pour des campagnes publicitaires, ou des clips vidéo avec scripts et images générés par IA. La facturation à la seconde de SageMaker élimine le gaspillage de compute, tandis que l'architecture en file d'attente traite plusieurs demandes en parallèle sans intervention manuelle. L'enjeu commercial est direct : chaque heure gagnée en production de contenu peut être réinvestie dans le lancement d'une campagne supplémentaire ou le ciblage d'un nouveau segment d'audience. Cette initiative s'inscrit dans une tendance de fond : les hyperscalers intègrent de plus en plus les outils open-source de l'IA générative dans leurs plateformes cloud managées, pour capter les workflows déjà adoptés par les praticiens. ComfyUI s'est imposé comme standard de facto pour composer des pipelines d'IA générative complexes sans coder chaque étape, grâce à son interface visuelle modulaire et ses workflows versionnables. En le portant sur SageMaker, AWS vise les entreprises qui utilisent déjà ComfyUI en local mais peinent à le faire passer à l'échelle en production. La prise en charge de modèles comme Z-Image Turbo, avec son architecture decoder-only inspirée des grands modèles de langage, signale aussi que la frontière entre génération de texte et génération d'image continue de s'estomper sur le plan architectural, ouvrant la voie à des pipelines multimodaux encore plus intégrés.