Modèle de sélection simplifié dans Amazon Bedrock grâce au Model Profiler open source

Amazon vient de rendre open source le Model Profiler, un outil qui centralise la comparaison des modèles disponibles sur Amazon Bedrock, sa plateforme de génération de texte gérée. Bedrock donne accès à plus de 100 modèles fondation de fournisseurs comme Anthropic, OpenAI, Meta, Mistral AI, Cohere et Amazon lui-même, mais comparer leurs capacités, tarifs, disponibilité régionale, taille de fenêtre de contexte et débit obligeait jusqu'ici à naviguer entre plusieurs pages de console, documentations et appels API régionaux distincts. Le Model Profiler agrège ces données dans une interface web unique, avec filtrage avancé, comparaisons côte à côte et fiches détaillées par modèle. En coulisses, un pipeline serverless entièrement automatisé collecte les informations depuis sept sources différentes, cinq API AWS et deux URL publiques, incluant les spécifications des modèles Bedrock, les tarifs on-demand et batch, les quotas de débit (tokens par minute et requêtes par minute) sur 33 régions, les profils d'inférence cross-région, ainsi que les tailles de fenêtre de contexte via la base LiteLLM et le statut de cycle de vie via la documentation AWS. Le pipeline repose sur AWS Step Functions et orchestre 17 fonctions Lambda réparties en quatre phases, avec un système de cache S3 inter-Lambda qui réduit le nombre d'appels API d'environ 480 à 29 par exécution, soit un taux de succès de cache de 97%. L'ensemble tourne quotidiennement à 6h UTC et se termine en 8 à 12 minutes.

Pour les équipes qui évaluent des modèles pour de nouveaux projets, cherchent à optimiser coûts et performances, ou migrent depuis d'autres systèmes d'IA, cet outil supprime une friction concrète: le temps perdu à croiser manuellement des documents épars pour prendre une décision éclairée. Comprendre les quotas est central dans ce choix. Le débit en tokens par minute (TPM) fixe le plafond de traitement, sachant que 1 000 tokens représentent environ 750 mots de texte, tandis que le nombre de requêtes par minute (RPM) limite les appels API indépendamment de leur taille, ces deux quotas variant selon le modèle et la région choisie. En rendant ces informations accessibles et à jour quotidiennement dans une seule interface, l'outil accélère la phase d'expérimentation et raccourcit le délai avant la mise en production.

Cette initiative s'inscrit dans une tendance plus large où les grands fournisseurs cloud cherchent à simplifier l'accès à des catalogues de modèles de plus en plus vastes et fragmentés en termes de tarification, de régions et de capacités techniques. Amazon mise ici sur l'open source et sur une architecture serverless réutilisable, déployable en moins de cinq minutes via un template AWS CloudFormation, dont la fréquence de mise à jour est configurable par une règle Amazon EventBridge. Le projet embarque également un système agentique d'auto-réparation, propulsé par Bedrock, capable de détecter des lacunes dans les données collectées et d'appliquer automatiquement des correctifs de configuration jugés sûrs. À mesure que le nombre de modèles disponibles sur Bedrock continue de croître, cet outil pourrait devenir une référence pour les équipes techniques cherchant à arbitrer rapidement entre coût, performance et couverture géographique sans dépendre exclusivement des interfaces officielles d'AWS.