Aller au contenu principal
Outils · Actu ·

Comment Airbnb utilise le coût par tâche pour exploiter des agents de code sur Amazon Bedrock

Airbnb a détaillé comment l'entreprise évalue et surveille les modèles qui alimentent ses agents de code, exécutés sur Amazon Bedrock. Des milliers d'ingénieurs et de collaborateurs proches de l'ingénierie utilisent chaque semaine AirChat, l'outil interne de l'entreprise pour lancer des agents de code. Les requêtes transitent par une passerelle LLM maison reposant sur Bedrock, qui traite le code, les prompts et les réponses des modèles au sein d'AWS. Huit nouveaux modèles sont sortis en cinq semaines environ, et à la mi-octobre, près des deux tiers des requêtes des ingénieurs visaient ces nouveaux modèles. Airbnb fait fonctionner deux systèmes en parallèle : avant un déploiement, des évaluations sur ses propres tâches mesurent le score et le coût par tâche de chaque modèle, c'est-à-dire le coût, au tarif public, de tous les jetons consommés par un agent pour accomplir une tâche. Après le déploiement, l'observabilité montre ce qui change en production, et tout écart avec les résultats des évaluations est analysé.

3 min de lecture

Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie

Source

Résumé et traduction réalisés par Le Fil IA à partir de AWS ML Blog. Lire l'article original →

Cette approche répond à un problème concret : chaque nouvelle version d'un modèle peut modifier simultanément le nombre de jetons produits, le coût, la latence et les besoins en capacité, alors que les benchmarks publiés au lancement ne disent rien du comportement du modèle sur le travail réel des ingénieurs. Le coût par tâche est mesuré pour chaque modèle et chaque niveau d'effort de raisonnement autorisé, un paramètre qui règle l'ampleur de la réflexion du modèle avant de répondre. Ces résultats servent à fixer, pour chaque modèle, la configuration par défaut utilisée par les outils sauf choix contraire de l'ingénieur, ainsi qu'un plafond d'effort maximal. En production, quelques signaux CloudWatch dans l'espace AWS/Bedrock suffisent à diagnostiquer la plupart des problèmes : InvocationLatency, TimeToFirstToken et OutputTokenCount pour la latence, InvocationThrottles et EstimatedTPMQuotaUsage pour la limitation de débit, ainsi que les compteurs de jetons en entrée, en sortie, en lecture et en écriture de cache pour les coûts. Une baisse du taux de réussite du cache peut ainsi faire grimper le coût par requête, les lectures de cache coûtant moins cher que l'entrée non mise en cache.

Pour d'autres entreprises qui déploient des agents de code, l'enseignement est que les métriques opérationnelles et les évaluations de qualité se complètent : les premières expliquent les hausses de latence, les limitations et la dérive de consommation de jetons, les secondes vérifient que la qualité du travail reste au rendez-vous à un coût acceptable. La métrique EstimatedTPMQuotaUsage permet notamment de déclencher des alarmes avant d'atteindre le quota et de demander des relèvements à temps, en tenant compte des jetons d'écriture de cache et des multiplicateurs appliqués à la sortie. Le suivi de TimeToFirstToken exige en revanche d'utiliser les API en streaming, ConverseStream ou InvokeModelWithResponseStream.

Sur le plan technique, les ingénieurs lancent AirChat depuis AirDev, des postes de développement personnels hébergés dans le cloud, ou confient une tâche à AirChat Remote, qui exécute des agents dans des espaces de travail cloud distincts pendant qu'ils s'occupent d'autre chose. Les deux chemins passent par la passerelle, qui enregistre modèle, client, équipe et utilisateur pour chaque requête, des données employées uniquement de façon agrégée pour la planification des coûts et des capacités. En comparant ces signaux de production aux scores et aux coûts par tâche issus des évaluations, Airbnb décide quand revoir les modèles par défaut ou les plafonds d'effort, dans un contexte où le rythme des sorties de modèles rend ces arbitrages quasi permanents.

À lire ensuite

01Réduire le coût par tâche et mesurer le retour sur investissement des agents sur Amazon BedrockAWS ML BlogOutils 02Comment t54 a bâti une couche de confiance pour les paiements avec Amazon Bedrock AgentCoreAWS ML BlogOutils 03Paiement à l'inférence pour agents IA : comment BlockRun et Incarna utilisent les paiements d'Amazon Bedrock AgentCoreAWS ML BlogOutils 
Dossier · AWSSuivi en continu par Le Fil IASuivre ce sujet →

Le brief du matin

L'essentiel de l'IA chaque jour. Gratuit, désinscription immédiate à tout moment.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription à tout moment

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.