Le Fil IA déploie Kimi K3 sur Amazon SageMaker…

38

1AWS ML Blog

Bonnes pratiques pour l'inférence sur Amazon SageMaker HyperPod

Amazon a enrichi sa plateforme SageMaker HyperPod d'un ensemble de fonctionnalités dédiées à l'inférence de modèles d'IA générative, avec pour promesse affichée une réduction du coût total de possession allant jusqu'à 40%. La solution s'appuie sur Amazon Elastic Kubernetes Service (EKS) comme orchestrateur et permet de créer un cluster en quelques clics depuis la console SageMaker AI. Deux modes de configuration sont proposés : une installation rapide avec des ressources par défaut, et une installation personnalisée permettant d'intégrer des infrastructures existantes. Une fois le cluster actif, l'opérateur d'inférence intégré permet de déployer des modèles directement depuis des buckets S3, des systèmes de fichiers FSx for Lustre, ou depuis le catalogue SageMaker JumpStart, sans écrire une seule ligne de code. Des notebooks d'exemple couvrent les cas d'usage courants : modèles préconstruits, modèles fine-tunés, configurations personnalisées. L'enjeu central de cette mise à jour est la gestion dynamique des ressources GPU, historiquement coûteuse et complexe à piloter. HyperPod introduit une architecture de scalabilité à deux niveaux : KEDA (Kubernetes Event-Driven Autoscaling), un projet open source de la Cloud Native Computing Foundation, gère l'autoscaling des pods en fonction de métriques temps réel comme la longueur de la file de requêtes, la latence, ou des métriques CloudWatch et Prometheus personnalisées. KEDA peut réduire le nombre de pods à zéro en l'absence de trafic, supprimant ainsi les coûts à l'arrêt. En parallèle, Karpenter opère au niveau des nœuds de calcul : il provisionne ou retire des instances selon les besoins des pods en attente, et tourne dans le plan de contrôle EKS, ce qui évite tout surcoût lié à l'autoscaler lui-même. Cette combinaison permet de passer de zéro à une charge de production en réponse à la demande réelle. Ce lancement intervient dans un contexte où le déploiement de modèles de fondation à grande échelle est devenu un point de friction majeur pour les équipes IA en entreprise : infrastructure difficile à calibrer, pics de trafic imprévisibles, surinvestissement GPU, et délais de mise en production allongés. AWS positionne HyperPod comme une réponse complète à ce trilemme coût-performance-simplicité, en absorbant la complexité opérationnelle dans une couche managée. La plateforme concurrence directement les offres de Google (Vertex AI) et Microsoft Azure (ML endpoints managés), qui proposent des approches similaires. Les suites probables incluent une intégration plus poussée avec les outils d'observabilité AWS et une extension du support à d'autres architectures de modèles, alors que la course aux infrastructures d'inférence efficaces s'intensifie dans tout le secteur cloud.

InfrastructureActu

1 source

Amazon déploie une infrastructure d'apprentissage par renforcement multi-tours pour Nova sur SageMaker HyperPod

34

2AWS ML Blog

Amazon déploie une infrastructure d'apprentissage par renforcement multi-tours pour Nova sur SageMaker HyperPod

Amazon a détaillé un dispositif technique permettant d'entraîner des agents IA capables d'exécuter des tâches complexes en plusieurs étapes, en s'appuyant sur Amazon Nova Forge et Amazon SageMaker HyperPod. Le problème visé est concret: les agents d'entreprise qui interrogent des bases de données, appellent des API, croisent des résultats et doivent récupérer après un échec en cours de route ne peuvent pas être correctement entraînés par les méthodes classiques comme le RLHF, qui optimisent chaque réponse isolément. Amazon propose donc une infrastructure de renforcement multi-tours (multi-turn RL) qui optimise des séquences d'interactions entières plutôt que des réponses uniques. Le système déployé fonctionne en pipeline événementiel: l'utilisateur dépose un jeu de données sur Amazon S3, ce qui déclenche automatiquement le provisionnement des ressources de calcul, le routage des récompenses et le lancement de l'entraînement, via Amazon EventBridge et AWS Step Functions. Trois couches techniques interviennent: un cluster SageMaker HyperPod sur instances P5 qui génère les réponses du modèle et applique les mises à jour de poids selon l'algorithme GRPO (Group Relative Policy Optimization), un service ECS sur AWS Fargate qui héberge l'environnement de récompense (l'exemple donné est le jeu Wordle, utilisé comme cas d'école), et le SDK Nova Forge qui fait office de proxy pour router les messages entre le modèle et cet environnement tout en suivant l'état de la conversation sur plusieurs tours. Cette architecture répond à un vrai enjeu industriel: former des agents capables de raisonnement séquentiel et de correction d'erreurs a une valeur directe pour les entreprises qui déploient des assistants autonomes sur des workflows métier, là où un agent qui valide ses données avant de continuer évite des cascades d'erreurs coûteuses en aval. Amazon souligne que le fine-tuning supervisé, la génération augmentée par récupération (RAG) et le pré-entraînement continu restent des techniques complémentaires mais insuffisantes pour enseigner seules ce type de prise de décision séquentielle. En parallèle du service managé sans serveur déjà proposé par SageMaker AI, cette version sur HyperPod cible les équipes qui veulent garder le contrôle total de leur pile: environnement d'agent personnalisé, orchestration sur mesure ou configuration d'instances spécifique. Le déploiement se fait en deux temps: une installation initiale via AWS CDK provisionne l'infrastructure durable (VPC, clusters EKS/HyperPod, ECS, S3, IAM, pipeline), tandis que chaque session d'entraînement génère ses propres ressources éphémères. Cette séparation évite de laisser du calcul GPU inactif entre deux sessions et permet d'itérer sans redéployer l'ensemble du système. Amazon Nova, positionné comme offrant des performances de pointe à un bon rapport prix, s'inscrit ainsi dans une compétition plus large entre fournisseurs cloud pour proposer des outils d'entraînement d'agents multi-étapes, un axe jugé stratégique à mesure que les entreprises cherchent à automatiser des tâches toujours plus complexes.

InfrastructureActu

1 source

Renforcement de l'inférence entreprise sur Amazon SageMaker HyperPod grâce à l'intégration de Hugging Face, NVMe et Route 53

31

3AWS ML Blog

Renforcement de l'inférence entreprise sur Amazon SageMaker HyperPod grâce à l'intégration de Hugging Face, NVMe et Route 53

Amazon vient d'enrichir SageMaker HyperPod, sa plateforme d'inférence pour l'intelligence artificielle générative en entreprise, avec plusieurs nouvelles fonctionnalités destinées à améliorer l'observabilité et la flexibilité du déploiement de modèles. La première nouveauté majeure est la capture de données d'inférence, qui permet d'enregistrer les requêtes et réponses à trois niveaux distincts du chemin d'inférence : au niveau du endpoint SageMaker AI, au niveau de l'Application Load Balancer (ALB), et au niveau du pod du modèle lui-même. Chaque niveau se configure indépendamment via une définition de ressource personnalisée (CRD) déclarative, avec un stockage des données capturées dans un bucket Amazon S3, chiffrement optionnel via AWS KMS, et réglages fins du taux d'échantillonnage, de la taille des lots et des limites de charge utile. Par exemple, le niveau du pod capture par défaut 100% des entrées et sorties, tandis que le niveau ALB active les journaux d'accès classiques incluant adresses IP clients, chemins de requêtes et latences. Autre avancée : le déploiement direct de modèles depuis des hubs communautaires comme Hugging Face, sans avoir à pré-charger les poids dans un espace de stockage objet ou fichier, avec prise en charge de l'accès restreint (gated), de l'épinglage de versions et de l'isolation des tokens, compatible avec les moteurs d'inférence vLLM, TGI et SGLang. Ces évolutions répondent à un besoin croissant des entreprises qui déploient des modèles de langage à grande échelle en production : pouvoir surveiller précisément ce qui transite dans leurs pipelines d'inférence, tout en réduisant les frictions opérationnelles. La possibilité de charger les poids d'un modèle directement depuis un stockage NVMe local au nœud de calcul réduit sensiblement la latence de démarrage à froid, un problème récurrent qui pénalise les applications d'IA nécessitant une mise à l'échelle rapide, avec un repli automatique vers le stockage cloud en cas de besoin. La gestion automatique des enregistrements DNS pour les domaines personnalisés via Route 53 simplifie par ailleurs le travail des équipes d'infrastructure, qui bénéficient également de permissions IAM granulaires au niveau de chaque pod pour renforcer les frontières de sécurité. Pour les équipes techniques, cela signifie livrer des applications d'IA plus rapidement sans sacrifier la gouvernance des données ni la visibilité opérationnelle, deux exigences de plus en plus scrutées à mesure que les modèles génératifs s'intègrent dans des processus métiers sensibles. Ces annonces s'inscrivent dans la course que se livrent les grands fournisseurs cloud, Amazon Web Services en tête, pour simplifier l'exploitation de modèles d'IA génératifs à grande échelle, un domaine où la complexité opérationnelle freine encore de nombreuses entreprises. HyperPod, lancé pour l'entraînement de modèles massifs, élargit ainsi son périmètre vers l'inférence de production, un segment où la concurrence avec Google Cloud et Microsoft Azure s'intensifie. L'intégration native avec Hugging Face illustre aussi la volonté d'AWS de faciliter l'accès aux modèles open source les plus populaires, sans complexité de préparation de l'infrastructure. À mesure que les entreprises multiplient les cas d'usage en production, la demande pour des outils d'audit, de traçabilité et de contrôle des coûts d'inférence devrait continuer de croître, poussant les fournisseurs cloud à approfondir ces capacités de gestion fine des workloads d'IA.

UEImpact indirect uniquement: les entreprises françaises et européennes utilisant AWS SageMaker HyperPod pourraient bénéficier de ces améliorations opérationnelles, mais aucune régulation ni acteur français/européen n'est concerné directement.

InfrastructureActu

1 source

Paralléliser le décodage spéculatif avec P-EAGLE sur Amazon SageMaker AI

43

4AWS ML Blog

Paralléliser le décodage spéculatif avec P-EAGLE sur Amazon SageMaker AI

Amazon Web Services a mis en open source une nouvelle méthode d'inférence appelée P-EAGLE (Parallel-EAGLE), désormais intégrée nativement dans Amazon SageMaker JumpStart pour accélérer le déploiement de grands modèles de langage en production. Basée sur la technique du décodage spéculatif, P-EAGLE transforme une étape jusqu'ici séquentielle en opération entièrement parallèle : au lieu de générer les tokens candidats un par un via plusieurs passes successives, elle les prédit tous simultanément en une seule passe vers l'avant. Sur des GPU NVIDIA B200 avec quantification FP8, des benchmarks réalisés sur le modèle Qwen3-Coder-30B-A3B-Instruct montrent des gains allant jusqu'à 1,69x de débit supplémentaire par rapport à EAGLE-3, le framework de référence précédent. À une concurrence de 1, P-EAGLE avec K=11 tokens spéculatifs atteint 1 167 tokens de sortie par seconde, contre 955 pour EAGLE-3 et seulement 294 sans spéculation. Cette avancée répond à un problème concret qui freinait les déploiements à grande échelle : plus on voulait spéculer loin dans la séquence, plus la latence augmentait de façon linéaire, annulant une partie du gain. P-EAGLE casse cette contrainte en remplissant les positions intermédiaires avec des marqueurs appris, permettant de prédire plusieurs tokens à la fois sans coût séquentiel supplémentaire. Pour les entreprises qui servent des millions de requêtes quotidiennes sur des modèles de code ou de génération longue, un gain de 1,69x de débit se traduit directement en réduction de coûts d'infrastructure ou en capacité à absorber davantage de trafic sans redimensionner le parc de GPU. L'intégration dans SageMaker JumpStart simplifie encore l'adoption : les développeurs peuvent déployer un endpoint optimisé P-EAGLE sans gérer manuellement les kernels CUDA sous-jacents ni les configurations de serving distribué. Le décodage spéculatif existe depuis plusieurs années comme technique d'optimisation d'inférence, et EAGLE en était devenu l'implémentation la plus performante, avec EAGLE-3 introduisant des prédictions directes de tokens et la fusion de représentations issues de plusieurs couches du modèle cible. Mais toutes ces versions conservaient une limite architecturale fondamentale héritée de l'autoregressivité du modèle brouillon. AWS a contourné ce plafond avec P-EAGLE, qu'il a choisi de reverser à la communauté open source plutôt que d'en faire un avantage exclusif. La méthode s'inscrit dans une compétition intense entre fournisseurs cloud pour offrir l'inférence la plus rapide et la moins coûteuse, notamment sur les modèles de code et de raisonnement qui génèrent des séquences longues. Avec son intégration SageMaker, AWS positionne P-EAGLE comme la voie par défaut pour les déploiements de modèles open-weight en production, au moment où des modèles comme Qwen3 et leurs successeurs s'imposent comme alternatives sérieuses aux modèles propriétaires.

UELes équipes européennes déployant des grands modèles en production sur infrastructure cloud peuvent bénéficier indirectement d'une réduction des coûts d'inférence GPU.

InfrastructureActu

1 source

Le Fil IA déploie Kimi K3 sur Amazon SageMaker HyperPod et Amazon EKS

À lire aussi

Bonnes pratiques pour l'inférence sur Amazon SageMaker HyperPod

Amazon déploie une infrastructure d'apprentissage par renforcement multi-tours pour Nova sur SageMaker HyperPod

Renforcement de l'inférence entreprise sur Amazon SageMaker HyperPod grâce à l'intégration de Hugging Face, NVMe et Route 53

Paralléliser le décodage spéculatif avec P-EAGLE sur Amazon SageMaker AI