Aller au contenu principal
Infrastructure · Actu ·

Les endpoints temps réel d'Amazon SageMaker AI prennent désormais en charge le routage tenant compte du cache KV

Amazon SageMaker AI introduit le routage sensible au cache KV (KV-aware routing) pour ses endpoints temps réel, une nouvelle stratégie destinée aux équipes qui déploient des grands modèles de langage avec des conversations multi-tours, de longs prompts partagés ou une charge élevée. Son activation se fait à deux endroits : une variable d'environnement ajoutée au modèle, SMVLLMKVEVENTSCONFIG, pour que le conteneur publie l'état de son cache, et le paramètre RoutingStrategy réglé sur KV_AWARE dans la configuration de l'endpoint. Les clients appellent l'endpoint avec les mêmes API qu'auparavant. Concrètement, le conteneur émet un événement à chaque stockage ou éviction d'entrées de cache, et SageMaker maintient un index géré à partir de ces événements. À l'arrivée d'une requête, l'endpoint tokenise le prompt, interroge l'index, identifie les instances ou copies d'inference components qui détiennent une partie du prompt en cache, puis choisit en pondérant la longueur de la correspondance et le niveau d'occupation. Une instance trop chargée est écartée au profit de la meilleure alternative disponible, et en l'absence de correspondance utile, le routage retombe sur une logique de charge.

2 min de lecture

Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie

Source

Résumé et traduction réalisés par Le Fil IA à partir de AWS ML Blog. Lire l'article original →

L'enjeu est d'éviter de recalculer inutilement le début des prompts. Les assistants conversationnels, les systèmes RAG et les agents dotés de longs prompts système envoient de nombreuses requêtes qui commencent par le même texte, et le cache KV, stocké en mémoire GPU, permet de sauter ce travail lorsque la requête atteint l'instance qui le détient. Le routage par préfixe, présenté dans la première partie de cette série, ne le garantit qu'imparfaitement : il calcule un hachage du début de la requête, jusqu'à la longueur PrefixLength configurée, sans voir ce que l'instance a réellement en cache. Il ignore donc les évictions lorsque la mémoire GPU se remplit, et dans une conversation encore courte, chaque nouveau tour modifie le texte haché, ce qui peut envoyer la suite vers une autre instance. Le nouvel index raisonne en tokens plutôt qu'en nombre fixe d'octets, si bien qu'un historique qui s'allonge peut correspondre en entier, et qu'une requête partageant seulement une partie de son prompt va vers l'instance offrant la plus longue correspondance. Aucun seuil de concurrence n'est à régler, contrairement au routage par préfixe.

Sur le plan de la confidentialité, l'index ne contient que des pointeurs : des hachages tronqués et à sens unique du contenu en cache, associés à l'instance ou à la copie d'inference component qui le détient. Il ne stocke ni prompts, ni identifiants de tokens, ni charges utiles de requêtes, ni tenseurs KV. L'index suit aussi l'évolution de la flotte : lors d'une réduction de capacité, les entrées des instances supprimées disparaissent, tandis qu'une montée en charge ou un remplacement d'instances lors d'une mise à jour démarre avec des caches vides, ce qui peut entraîner une latence plus élevée pendant une courte période. Dans le schéma de l'article, un endpoint à trois instances A, B et C illustre le mécanisme : le routeur consulte l'index géré et transmet la requête à l'instance détenant la plus longue correspondance, chacune remontant ses événements de cache vers l'index. Le fonctionnement est décrit pour les endpoints à modèle unique comme pour ceux basés sur des inference components, avec des étapes d'activation, d'invocation et de vérification.

À lire ensuite

01SageMaker Inference prend désormais en charge le GPU multi-instance pour optimiser l'utilisation des GPU des endpoints de modèlesAWS ML BlogInfrastructure 02Dimensionner les endpoints d'IA générative avec des tests de concurrence sur Amazon SageMaker AIAWS ML BlogInfrastructure 03La mise en cache des conteneurs dans Amazon SageMaker AI accélère le déploiement des modèlesAWS ML BlogInfrastructure 

Le brief du matin

L'essentiel de l'IA chaque jour. Gratuit, désinscription immédiate à tout moment.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription à tout moment

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.