Amazon SageMaker HyperPod lance Global Inference Gateway : un seul point d'accès pour plusieurs régions et clusters
Amazon a lancé le Global Inference Gateway pour SageMaker HyperPod, une passerelle gérée qui expose un point d'accès unique et route les requêtes d'inférence vers l'ensemble des clusters enregistrés, au sein d'une même région AWS ou entre plusieurs. La passerelle choisit le cluster le mieux adapté, transporte la requête sur le réseau dorsal d'AWS via AWS PrivateLink, et bascule automatiquement le trafic en cas de défaillance. L'authentification repose sur AWS Signature Version 4 (SigV4) et IAM. À l'intérieur de chaque cluster, l'Inference Gateway existant continue de sélectionner le pod, en s'appuyant sur des signaux en temps réel comme l'utilisation du cache clé-valeur et la profondeur des files d'attente. La mise en place se fait en deux étapes : publier chaque cluster en activant le bloc spec.globalRouting dans son InferenceGatewayConfig, ce qui conduit le contrôleur HyperPod à créer dans le compte du client un Network Load Balancer, un service de point de terminaison VPC et le certificat TLS du listener ; puis appeler CreateGlobalInferenceGateway avec la liste des clusters, ce qui renvoie un endpoint unique. Un cluster non publié ne peut pas être inclus, et l'appel échoue avec un message explicite.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de AWS ML Blog. Lire l'article original →
L'enjeu est d'abord économique : les GPU déjà payés ne restent plus inactifs dans un cluster pendant que les requêtes s'accumulent dans un autre. Lors des pics, le trafic déborde vers les clusters disposant de capacité, y compris dans une autre région. Pour les équipes, la charge opérationnelle diminue : plus de répartiteurs de charge, de DNS ou de réseau inter-régions à construire, et plus de reconfiguration manuelle lorsqu'un cluster tombe. Les clients n'ont plus qu'une adresse à connaître. Prenons une équipe qui sert quatre modèles sur cinq clusters répartis dans deux régions : sans passerelle, elle gère 20 endpoints, l'Inference Gateway par cluster les ramène à cinq, et la passerelle globale à un seul. Bagelcode, éditeur de jeux, rapporte lors des tests bêta un routage entre deux régions via un endpoint unique et une poursuite du service quand un cluster ne pouvait plus servir le modèle, sans que sa petite équipe plateforme ait à maintenir sa propre couche de routage, selon Jinhyung Park, VP AI Platform.
Cette annonce répond à une tension structurelle : les modèles grossissent, la capacité GPU est difficile à obtenir, et les entreprises la répartissent donc sur davantage de clusters et de régions, ce qui fragmente l'exploitation. Elle constitue le deuxième niveau d'une architecture à deux étages, après la première annonce de l'Inference Gateway, qui réglait le routage à l'échelle d'un seul cluster. Le choix de rester privé par défaut, avec SigV4, IAM et PrivateLink, vise les organisations soumises à des exigences de sécurité strictes. Reste à voir comment la solution évoluera face aux offres concurrentes d'orchestration d'inférence multirégion, et si AWS l'étendra à des critères de routage plus fins, comme la latence ou la localisation des données.
Les entreprises européennes utilisant AWS en multirégion pourraient simplifier leur inférence tout en gardant un trafic privé, mais la localisation des données n'est pas encore un critère de routage.