Aller au contenu principal
Outils · Outil ·

Créer un cycle d'amélioration continue des modèles avec la capture de données d'Amazon SageMaker HyperPod

Amazon a lancé Data Capture pour SageMaker HyperPod, une fonctionnalité intégrée qui enregistre les entrées et sorties des inférences en production vers Amazon S3, avec un impact minimal sur la latence et sans effet sur la disponibilité du modèle. Elle repose sur trois niveaux indépendants, activables en combinaison dans un même bloc dataCapture. Le niveau 1, géré par SageMaker, stocke les requêtes et réponses complètes pour la conformité et Model Monitor. Le niveau 2 exploite les journaux d'accès de l'Application Load Balancer (ligne de requête, codes de statut, durées, IP client, agent utilisateur) pour surveiller trafic et taux d'erreur à faible coût. Le niveau 3, opéré par l'inference operator de HyperPod via des sidecars (NGINX, collecteur OpenTelemetry, uploader S3), enregistre les charges utiles complètes et des métadonnées d'événement, avec réglage de l'échantillonnage, de la mémoire tampon, de la taille maximale, des types de contenu et du chiffrement AWS KMS. Les niveaux 1 et 3 stockant tous deux les payloads, les activer ensemble duplique chaque enregistrement. Les auteurs illustrent l'ensemble sur un seul cluster avec un routeur de support pour l'électroménager, entraîné sur des données synthétiques : capture du trafic, analyse par Amazon Athena, étiquetage par une politique SQL, fine-tuning, puis redéploiement.

2 min de lecture

Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie

Source

Résumé et traduction réalisés par Le Fil IA à partir de AWS ML Blog. Lire l'article original →

L'enjeu est concret pour les équipes qui exploitent des modèles de fondation. Une fois en production, ceux-ci rencontrent des entrées qu'aucun jeu de données préparé ne couvre : jargon métier, formats inattendus, nouveaux produits, évolution des comportements. Sans trace des échanges réels, impossible de détecter la dérive, d'identifier les schémas d'échec ou de réutiliser les interactions pour améliorer le modèle. Data Capture transforme ce trafic en matière première d'un cycle d'amélioration continue, que les auteurs mesurent en comparant la précision avant et après sur des données qui n'auraient pas pu exister au déploiement du modèle initial. Le revers est la sensibilité des données : le niveau 3 conserve des charges utiles complètes pouvant contenir noms, adresses et numéros de commande. Les auteurs recommandent donc l'échantillonnage, le chiffrement KMS, des règles de cycle de vie S3 et la suppression des informations personnelles, par exemple avec Amazon Comprehend, avant toute réutilisation en entraînement.

Le dispositif s'inscrit dans la montée en puissance de HyperPod comme plateforme unifiant inférence et entraînement sur une même infrastructure Kubernetes. La démonstration exige un cluster orchestré par Amazon EKS, avec l'inference operator et l'add-on du training operator, ainsi que deux GPU NVIDIA : un ml.g6e.8xlarge pour servir le modèle et un ml.g6e.xlarge pour l'entraîner, chacun doté d'une L40S de 48 Go. Le pod d'inférence conservant son GPU tant que le point de terminaison existe, un seul GPU laisserait le pod d'entraînement en attente. Le fine-tuning tourne comme un HyperPodPyTorchJob, et le nouveau modèle est servi par un second point de terminaison où la capture reste active, bouclant ainsi le cycle. Scripts, manifestes, requêtes SQL et jeux de données synthétiques sont publiés dans un dépôt GitHub associé.

À lire ensuite

01Créer un flux ML sans code avec Snowflake, Amazon SageMaker Canvas et Amazon Quick (partie 2 : préparation des données et création du modèle)AWS ML BlogOutils 02Créer des agents efficaces avec la distillation de connaissances sur Amazon SageMaker AIAWS ML BlogOutils 03Créer un portail personnalisé avec les applications MLflow d'Amazon SageMaker AI intégréesAWS ML BlogOutils 
Dossier · AWSSuivi en continu par Le Fil IASuivre ce sujet →

Le brief du matin

L'essentiel de l'IA chaque jour. Gratuit, désinscription immédiate à tout moment.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription à tout moment

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.