Aller au contenu principal
Outils · Outil ·

Acheminer les requêtes des agents de code vers le bon modèle sur Amazon Bedrock avec NVIDIA NeMo Switchyard

Les agents de code comme Claude Code ou OpenAI Codex CLI travaillent par tâches : le développeur demande une modification, puis l'agent lit des fichiers, édite le code et lance des tests jusqu'à l'aboutissement. Une tâche peut mobiliser quelques appels au modèle ou plusieurs dizaines. AWS publie un exemple de code qui déploie NVIDIA NeMo Switchyard, une bibliothèque open source qui aide un agent à choisir le modèle chargé de chaque requête, derrière la passerelle LiteLLM, avec des modèles hébergés sur Amazon Bedrock. L'intégration LiteLLM de Switchyard propose deux stratégies. Le routage par étapes lit l'activité récente des outils et leurs résultats dans l'historique de la requête, puis choisit entre un modèle capable et un modèle efficace, moins coûteux. Le routage aléatoire tire parmi les modèles configurés, avec des pondérations facultatives, pour répartir le trafic ou mener des tests A/B. Le déploiement s'appuie sur AWS CDK, installe switchyard-server 0.3.0 depuis crates.io et exécute l'image LiteLLM v1.102.0. Des outils de benchmark fournis permettent de mesurer le coût par tâche résolue pour un groupe routé et pour des groupes de référence mono-modèle.

3 min de lecture

Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie

Source

Résumé et traduction réalisés par Le Fil IA à partir de AWS ML Blog. Lire l'article original →

L'enjeu tient à la manière de mesurer l'économie réalisée. Le prix au token ne dit pas ce que coûte une tâche complète : le total dépend du nombre de tours nécessaires à un modèle, de la quantité d'historique rejouée à chaque tour, et de la fréquence des relances ou des échecs. Chaque tentative est facturée, y compris celles qui n'aboutissent jamais. Le texte recommande donc de juger un routage au coût par tâche résolue, c'est-à-dire le coût total des exécutions divisé par le nombre d'exécutions dont les tests passent. Les équipes peuvent ainsi comparer sur leurs propres charges de travail un routage entre modèles et un modèle unique, sans se fier uniquement aux tarifs affichés. Aucune des deux stratégies n'appelle de modèle juge, ce qui évite d'ajouter un coût d'arbitrage à chaque requête. AWS précise toutefois que l'ensemble relève du code d'exemple, destiné à un usage hors production, et que l'intégration Switchyard est expérimentale, avec des configurations susceptibles de changer d'une version à l'autre. NVIDIA décrit d'ailleurs switchyard-server 0.3.0 comme un composant de démonstration et d'évaluation.

L'architecture place LiteLLM et le plugin Switchyard dans une seule image de conteneur, exécutée sur Amazon ECS avec AWS Fargate, dans des sous-réseaux privés. L'agent envoie une requête compatible OpenAI avec le champ model réglé sur « switchyard » et une clé de passerelle partagée. Le point d'accès est servi en HTTPS, avec un certificat ACM sur le répartiteur de charge, et seule la plage IPv4 autorisée peut l'atteindre ; Route 53 résout le nom d'hôte. AWS WAF filtre le trafic par réputation d'IP, détection d'entrées malveillantes connues et limitation de débit par IP. L'Application Load Balancer ne transmet que /v1/chat/complétions, /v1/models et /health/liveliness, et répond 404 partout ailleurs, ce qui rend inaccessibles l'interface d'administration, la documentation d'API et la gestion des clés. LiteLLM valide la clé, interroge le plugin, puis appelle le modèle retenu via l'API Converse ou ConverseStream de Bedrock, avec le rôle IAM de la tâche et un point d'accès d'interface du VPC, de sorte que le trafic d'inférence reste sur le réseau AWS. L'en-tête x-litellm-model-name indique quel modèle a répondu, alors que le champ model du corps reste « switchyard ». L'agent doit envoyer l'historique complet pour que le routage par étapes fonctionne. La clé de passerelle est générée par AWS Secrets Manager, l'image est stockée dans Amazon ECR, et LiteLLM propose aussi son propre routeur automatique intégrant Switchyard comme alternative.

À lire ensuite

01Utiliser des modèles à poids ouverts pour coder avec l'IA via Amazon BedrockAWS ML BlogOutils 02Migration d'agents IA multi-modèles vers Amazon Bedrock AgentCoreAWS ML BlogOutils 03Migrer vers Amazon Bedrock Managed Knowledge Base avec un agent de codeAWS ML BlogOutils 
Dossier · AWSSuivi en continu par Le Fil IASuivre ce sujet →

Le brief du matin

L'essentiel de l'IA chaque jour. Gratuit, désinscription immédiate à tout moment.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription à tout moment

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.