Couchbase construit une architecture IA multi-modèle pour Capella iQ avec Amazon Bedrock
Le fournisseur de bases de données Couchbase a fait évoluer son assistant de développement Capella iQ pour s'appuyer sur Amazon Bedrock et la famille de modèles Claude d'Anthropic, en remplacement d'une architecture d'inférence à modèle unique. Le projet, décrit dans un billet co-écrit avec Tushar Madaan de Couchbase, repose sur une infrastructure déployée sur deux régions AWS, us-east-1 et us-west-2, afin de garantir une haute disponibilité. Un cluster Amazon EKS héberge trois microservices clés dans us-east-1 : cp-api, qui reçoit les requêtes des développeurs et orchestre les appels d'inférence ; cp-internal-api, qui gère la communication interne et la logique de routage des modèles ; et cp-ns, qui gère la configuration au niveau des espaces de noms, notamment les préférences de fournisseur de modèles par client. Un point de terminaison d'interface VPC assure une connectivité privée entre ce cluster et le runtime d'Amazon Bedrock, permettant d'exploiter l'inférence multi-région (Cross-Region Inference, ou CRIS) sur trois régions américaines : us-east-1, us-east-2 et us-west-2.
Cette bascule répond à un besoin très concret de résilience opérationnelle et de flexibilité pour les grandes entreprises clientes de Couchbase. En s'appuyant sur l'inférence multi-région d'Amazon Bedrock, Capella iQ peut absorber des pics de trafic soudains et basculer automatiquement vers une région disponible en cas de dégradation, sans capacité pré-provisionnée et sans logique applicative supplémentaire à gérer côté Couchbase. Autre point important pour les clients entreprise : l'intégralité du trafic d'inférence, prompts et réponses inclus, transite exclusivement par l'infrastructure privée d'AWS et ne passe jamais par l'internet public, ce qui répond aux exigences de sécurité et de résidence des données propres à ce type de clientèle. Concrètement, quand un développeur demande à Capella iQ de générer une requête SQL++, de recommander un index ou de poursuivre une conversation multi-tours, le pod cp-api authentifie la demande, récupère le contexte de session, construit le prompt en intégrant l'historique de conversation, puis transmet l'appel via le point de terminaison VPC vers Bedrock, avant de renvoyer la réponse normalisée au développeur.
Cette évolution s'inscrit dans la tendance plus large des éditeurs de logiciels d'entreprise à adopter des architectures d'inférence agnostiques par rapport au modèle, plutôt que de rester dépendants d'un unique fournisseur de LLM. Face à la croissance de l'adoption de Capella iQ, Couchbase avait besoin d'un système capable de s'adapter aux préférences de déploiement variées de ses clients tout en conservant une infrastructure scalable et robuste. Le choix d'Amazon Bedrock comme couche d'inférence permet à Couchbase de bénéficier directement des capacités de basculement régional et de répartition de charge gérées par AWS, sans avoir à développer cette logique en interne. Cette approche illustre aussi comment les modèles Claude d'Anthropic s'intègrent de plus en plus dans des produits d'infrastructure de données critiques, où la fiabilité, la confidentialité des données et la conformité pèsent autant que la qualité pure des réponses générées.
Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.




