Salesforce déploie ses modèles à l'échelle mondiale grâce au routage d'inférence inter-régions d'Amazon SageMaker AI
Salesforce a déployé le routage d'inférence inter-régions d'Amazon SageMaker AI pour servir ses modèles à l'échelle mondiale. L'équipe Agentforce Foundation héberge des modèles maison et open source pour des produits comme Agentforce et la Salesforce Trust Layer, dans plus de 30 régions et des centaines de comptes AWS, chaque client étant servi depuis la région d'origine de ses requêtes. Le routeur est une ressource SageMaker AI régionale, créée dans le compte de l'utilisateur. L'application l'invoque à la place d'un endpoint, en indiquant le nom d'une cible de routage avec le même corps de requête et le même type de contenu qu'avec InvokeEndpoint. Cette cible correspond à un modèle logique, par exemple un classificateur de toxicité, et énumère par leurs ARN complets les endpoints et composants d'inférence autorisés à le servir, y compris dans d'autres régions ou comptes. Le propriétaire d'un endpoint autorise un routeur précis par une politique de ressource. Le routeur privilégie la région locale et évalue chaque destination d'après les résultats des requêtes récentes : erreurs de plateforme, erreurs 5xx du conteneur, limitations de débit et délais dépassés dégradent sa santé. Si ces problèmes persistent, une part croissante du trafic bascule vers des destinations saines, généralement en environ une minute, mais plusieurs minutes pour un endpoint peu sollicité. Le retour à la normale est volontairement plus lent pour éviter les va-et-vient, et une requête rejetée sans exécution du modèle est retentée une fois ailleurs. Les erreurs client, comme une entrée invalide, ne déplacent jamais le trafic.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de AWS ML Blog. Lire l'article original →
L'enjeu est d'abord celui de la fiabilité : héberger les modèles séparément dans chaque région fragmente la capacité et rend les pics de trafic difficiles à absorber, ce qui transforme un manque de capacité en problème de disponibilité. Chaque client a sa fenêtre de pointe, souvent chevauchante avec celles des autres. Dimensionner pour le pic cumulé serait sûr mais trop coûteux, et l'arrivée rapide de nouvelles unités métier oblige à étendre le parc en urgence. Résultat : certaines régions gardent des instances inutilisées pendant que d'autres saturent. Avec le routeur, Salesforce peut ajouter de la capacité en toute sécurité tout en respectant ses engagements de résidence des données, et visualiser où chaque requête a été servie et pourquoi. Il n'a plus à reproduire cette logique dans chaque application, ce qui ne passerait pas à l'échelle dans toute l'entreprise.
Auparavant, Salesforce s'appuyait sur sa Internal Gateway pour envoyer le surplus vers d'autres régions, avec des contrôles de santé basiques, des tentatives répétées et une logique de changement de région développés en interne. Cette approche présentait deux failles. La passerelle ne disposait d'aucun signal de capacité, ni local ni distant, et ne savait donc ni quand déplacer le trafic ni si la destination pouvait l'absorber. Par ailleurs, le trafic inter-régions devait quitter le VPC via une passerelle NAT et une passerelle internet, sur le réseau public d'AWS. Les revues de conception ont aussi pointé le risque de défaillances en cascade, où le déport du trafic pendant un incident surcharge la région suivante, d'où le besoin de plafonner le trafic inter-régions. Salesforce a donc intégré le routeur géré à sa Internal Gateway, en conservant ses propres endpoints déjà déployés, pour disposer d'un chemin de routage unique, conscient de la capacité.