OutilsAWS ML Blog7sem

Métriques enrichies pour les endpoints Amazon SageMaker AI : une visibilité approfondie pour de meilleures performances

Résumé IASource uniqueImpact UE

Amazon SageMaker AI enrichit ses capacités de monitoring avec le lancement de métriques améliorées pour ses endpoints de déploiement de modèles. Cette mise à jour majeure apporte une visibilité granulaire jusqu'au niveau des conteneurs individuels et des instances EC2, permettant aux équipes d'ingénierie d'identifier précisément les goulots d'étranglement en production avant qu'ils n'affectent les utilisateurs finaux.

Jusqu'ici, les métriques CloudWatch proposées par SageMaker n'offraient qu'une vue agrégée sur l'ensemble des instances et conteneurs d'un endpoint. Cette approche masquait les problèmes individuels : une instance défaillante, un conteneur saturé ou une distribution inégale du trafic restaient invisibles dans les moyennes globales. La nouvelle fonctionnalité comble ce manque critique pour les équipes MLOps qui exploitent des modèles en production à grande échelle.

Les métriques enrichies se déclinent en deux catégories principales. Les métriques de ressources EC2 couvrent l'utilisation CPU, GPU et mémoire, disponibles pour chaque instance de tout endpoint SageMaker — y compris l'utilisation par accélérateur individuel sur les instances GPU. Les métriques d'invocation permettent de tracer requêtes, erreurs 4XX/5XX, latence modèle et latence overhead jusqu'au niveau instance. Pour les utilisateurs d'Inference Components — qui hébergent plusieurs modèles sur un même endpoint — une couche supplémentaire expose ces mêmes métriques au niveau conteneur, identifiées par InferenceComponentName et ContainerId, publiées dans les namespaces CloudWatch /aws/sagemaker/Endpoints, /aws/sagemaker/InferenceComponents et AWS/SageMaker.

Au-delà du diagnostic, cette granularité ouvre une capacité nouvelle : calculer le coût réel par modèle dans un environnement multi-tenant. En traçant l'allocation GPU au niveau de chaque Inference Component, les équipes peuvent désormais imputer précisément les coûts d'infrastructure à chaque modèle déployé — un argument fort pour les organisations qui cherchent à optimiser leurs dépenses cloud en IA.

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

1AWS ML Blog

Déployez des endpoints d'inférence SageMaker AI avec une capacité GPU définie via les plans d'entraînement

Amazon SageMaker AI permet désormais d'utiliser les training plans — initialement conçus pour l'entraînement — pour réserver de la capacité GPU dédiée aux endpoints d'inférence. Cette fonctionnalité cible les équipes data science ayant besoin d'instances p-family (comme les ml.p5.48xlarge) de façon prévisible sur des périodes définies, par exemple pour évaluer plusieurs LLMs fine-tunés avant mise en production. Le workflow se déroule en quatre étapes : identifier les besoins en capacité, rechercher les offres disponibles, créer une réservation (qui génère un ARN), puis déployer l'endpoint en référençant cet ARN dans la configuration.

UELes équipes data science européennes utilisant AWS SageMaker peuvent désormais réserver des capacités GPU dédiées pour leurs endpoints d'inférence, réduisant les incertitudes de disponibilité sur les instances p-family.

OutilsActu

1 source

2Blog du Modérateur

CyberCité lance une offre IA pour des visuels publicitaires plus performants et stratégiques

CyberCité lance une nouvelle offre IA dédiée à la création de visuels publicitaires, combinant intelligence artificielle générative et supervision humaine. L'initiative est portée par Clément Auran (Consultant SEA et Média senior) et David Bonnamour (Head of IA). L'objectif est d'améliorer la performance et la pertinence stratégique des campagnes publicitaires.

UEUne agence française lance une offre d'IA générative pour la création de visuels publicitaires, directement accessible aux annonceurs français.

OutilsOutil

1 source

3AWS ML Blog

Traçabilité de bout en bout avec DVC et Amazon SageMaker AI MLflow

Les équipes de machine learning en production font face à un problème récurrent : retracer précisément l'origine d'un modèle déployé. Quelle version du jeu de données l'a entraîné ? Peut-on reproduire à l'identique un modèle mis en production il y a six mois ? Amazon Web Services propose une réponse concrète en combinant trois outils : DVC (Data Version Control), Amazon SageMaker AI et SageMaker AI MLflow Apps. L'architecture s'articule en quatre étapes : un job SageMaker Processing prétraite les données brutes et les versionne via DVC en les poussant vers Amazon S3 ; un job SageMaker Training clone le dépôt DVC à un tag Git précis, récupère le dataset exact via dvc pull, entraîne le modèle et enregistre tout dans MLflow. Chaque run MLflow stocke un identifiant datagitcommit_id, soit le hash DVC pointant vers le dataset exact dans S3. Le modèle entraîné est ensuite enregistré dans le MLflow Model Registry et peut être déployé sur un endpoint SageMaker. La chaîne de traçabilité complète devient alors : modèle en production → run MLflow → commit DVC → dataset dans Amazon S3. Cet enchaînement répond à un besoin critique dans les secteurs régulés : santé, services financiers, véhicules autonomes. Dans ces domaines, les exigences d'audit imposent de relier chaque modèle déployé à ses données d'entraînement précises, et de pouvoir exclure à la demande des enregistrements individuels des futurs cycles d'entraînement. Sans ce niveau de traçabilité, une question apparemment simple, "quelles données ont servi à entraîner le modèle actuellement en production ?", peut mobiliser plusieurs jours d'enquête dans des logs dispersés, des notebooks et des buckets S3. La solution proposée réduit ce risque opérationnel en rendant la traçabilité structurelle plutôt qu'optionnelle. DVC est un outil open source gratuit qui étend Git pour gérer des datasets volumineux et des artefacts ML que Git seul ne peut pas versionner. MLflow, de son côté, assure le suivi des expériences, le registre des modèles et la lignée. Les deux outils couvrent chacun la moitié du problème de traçabilité, et leur combinaison ferme la boucle. L'implémentation requiert un compte AWS avec des permissions sur SageMaker, S3, CodeCommit et IAM, Python 3.11 ou 3.12, et le SDK SageMaker v3.4.0 minimum. Les notebooks utilisent AWS CodeCommit comme backend Git pour les métadonnées DVC, mais l'architecture est compatible avec GitHub, GitLab ou Bitbucket moyennant un simple remplacement de l'URL remote. AWS publie des notebooks d'accompagnement permettant de déployer les deux patterns décrits, traçabilité au niveau du dataset et traçabilité au niveau de l'enregistrement individuel, directement dans un compte AWS existant.

UELa traçabilité structurelle décrite répond directement aux exigences de documentation et d'auditabilité imposées par l'AI Act européen pour les systèmes d'IA à haut risque dans les secteurs régulés (santé, finance, véhicules autonomes).

OutilsTuto

1 source

4AWS ML Blog

Amazon SageMaker AI accélère les appels d'outils des agents autonomes avec la personnalisation de modèles sans serveur

Amazon a introduit une fonctionnalité de personnalisation de modèles sans serveur dans SageMaker AI, permettant aux équipes d'améliorer drastiquement les capacités d'appel d'outils des agents IA sans gérer d'infrastructure GPU. Dans un cas concret publié début avril 2026, des ingénieurs ont affiné le modèle Qwen 2.5 7B Instruct en utilisant la technique RLVR (Reinforcement Learning with Verifiable Rewards) et ont obtenu une amélioration de 57% du score de qualité des appels d'outils sur des scénarios inédits, c'est-à-dire des outils que le modèle n'avait jamais vus lors de l'entraînement. La méthode repose sur un principe simple : le modèle génère huit réponses candidates par prompt, une fonction de récompense vérifie lesquelles sont correctes, et l'algorithme GRPO (Group Relative Policy Optimization) renforce les comportements qui surpassent la moyenne du groupe. SageMaker AI prend en charge les familles de modèles Amazon Nova, Llama, Qwen et DeepSeek, avec un suivi des métriques via MLflow intégré. L'enjeu est concret : les agents IA en production échouent fréquemment lors des appels d'outils, qu'il s'agisse d'halluciner des fonctions inexistantes, de passer des paramètres incorrects, ou de déclencher une action là où ils devraient demander une clarification. Ces erreurs bloquent le déploiement en production et détruisent la confiance des utilisateurs. La nouvelle approche serverless d'Amazon supprime l'obstacle opérationnel majeur que représentait jusqu'ici le fine-tuning par renforcement : achat de GPU, orchestration mémoire entre les phases de rollout et d'entraînement, infrastructure de récompenses, gestion des checkpoints. Les équipes peuvent désormais se concentrer sur leurs données, leur modèle et leur fonction de récompense, le reste étant géré par la plateforme. Le fine-tuning supervisé classique (SFT) montre ses limites pour ce type de tâche : il nécessite des exemples étiquetés pour chaque comportement souhaité, mais peine à généraliser la prise de décision entre appeler un outil, demander des informations supplémentaires, ou refuser d'agir. RLVR contourne ce problème en exploitant la nature vérifiable des appels d'outils : soit le modèle a appelé la bonne fonction avec les bons paramètres, soit non. Cette objectivité binaire rend l'appel d'outils particulièrement adapté à l'apprentissage par renforcement. Amazon positionne cette offre dans un marché de l'IA agentique en forte croissance, où des acteurs comme Google (Vertex AI), Microsoft (Azure ML) et des startups spécialisées se disputent les équipes qui cherchent à industrialiser des agents fiables, avec un accès simplifié via SageMaker Studio et un compte AWS standard.

OutilsActu

1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour