Créer une passerelle LLM en libre-service avec Amazon Bedrock et LiteLLM
Amazon Web Services détaille une architecture de passerelle LLM en libre-service qui masque Amazon Bedrock derrière une API compatible OpenAI, grâce au proxy open source LiteLLM exécuté sur AWS Fargate. Les développeurs reçoivent une clé d'API personnelle et un point d'accès unique, tandis que les équipes plateforme, finance et sécurité obtiennent respectivement de la visibilité sur la latence et les erreurs, l'attribution des coûts d'inférence par équipe ou projet, et des contrôles d'accès cohérents. La chaîne de requêtes passe par Amazon Route 53, CloudFront et un Application Load Balancer, avant d'atteindre LiteLLM, qui s'appuie sur une base Amazon RDS PostgreSQL pour les clés virtuelles et le suivi des dépenses, sur Amazon ElastiCache for Valkey pour le cache et la coordination des limites de débit entre tâches Fargate, et sur AWS Secrets Manager. LiteLLM invoque ensuite des profils d'inférence d'application Amazon Bedrock via un rôle IAM restreint, tandis qu'Amazon CloudWatch collecte les métriques de requêtes et de jetons par minute ainsi qu'une alarme de quota. Chaque modèle, par exemple Claude Sonnet et Claude Haiku, dispose de son propre profil, géré avec AWS CDK, et Langfuse apporte une observabilité au niveau des prompts.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de AWS ML Blog. Lire l'article original →
L'intérêt est d'abord opérationnel. Les outils de codage comme Claude Code, Continue ou Cursor se configurent avec une simple URL de base et une clé, sans que les développeurs n'interagissent directement avec Bedrock. L'équipe plateforme peut alors changer de modèle, ajouter des solutions de repli ou migrer vers un autre fournisseur sans toucher aux configurations individuelles. Un portail intégré, pouvant se connecter au SSO de l'entreprise, permet aux ingénieurs d'exploitation de définir la politique de dépenses, et aux développeurs de générer eux-mêmes leurs clés dans ces limites. Cela réduit la charge des équipes centrales tout en garantissant des plafonds de coût par utilisateur et une traçabilité fine de l'usage, deux points souvent problématiques quand les assistants de codage se multiplient sans gouvernance.
Le contexte est celui d'une adoption rapide des assistants de programmation par IA en entreprise, qui oblige les organisations à concilier simplicité pour les développeurs et contrôle central. Le schéma présenté omet volontairement Amazon Bedrock Guardrails (filtrage de contenu, ancrage factuel), que AWS recommande d'ajouter avant toute mise en production pour les contrôles d'IA responsable. Sur le plan des licences, le composant AI Gateway de LiteLLM est open source et gratuit jusqu'à cinq utilisateurs, une licence étant requise au-delà. Si le niveau gratuit gère les clés virtuelles, l'émission de clés en libre-service décrite ici exige LiteLLM Enterprise, qui ajoute aussi le SSO, les journaux d'audit, les rôles d'administration délégués et le support. L'architecture sert donc de modèle reproductible à partir d'extraits et de constructions CDK, mais son déploiement à grande échelle suppose un investissement de licence.