Amazon SageMaker JumpStart lance un classement des modèles (Model Leaderboard)
Amazon Web Services a lancé le SageMaker JumpStart Model Leaderboard, un nouveau classement intégré à SageMaker Studio qui permet de comparer côte à côte les modèles de fondation à poids ouverts proposés par JumpStart. Accessible depuis la page des modèles de base, à côté des vues Categories et All models, il reprend la barre de recherche et les filtres existants, et s'ouvre directement sur un classement de grands modèles de langage. Au lancement, plus de 70 modèles y figurent, issus notamment de Meta, Google, Qwen, IBM et Arcee, d'autres devant suivre. Pour chacun, AWS publie des scores de qualité sur trois benchmarks publics de raisonnement, qu'il exécute lui-même dans des conditions identiques : BIG-Bench Hard (tâches exigeant un raisonnement en plusieurs étapes), GPQA Diamond (questions scientifiques de niveau universitaire, difficiles à résoudre par simple recherche web) et MMLU-Pro (questions à choix multiples plus difficiles couvrant sciences, droit ou ingénierie). Les trois scores restent affichés séparément, sans note globale. S'y ajoutent des mesures de performance et de coût, obtenues en envoyant une charge de test standardisée vers un point de terminaison pour chaque configuration de déploiement JumpStart.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de AWS ML Blog. Lire l'article original →
L'intérêt pratique est de remplacer un travail fastidieux : lire les fiches de modèles une à une et recouper des scores publiés par des sources différentes, sous des conditions différentes, avant de deviner le comportement et le coût réels pour son propre usage. Comme qualité, vitesse et coût proviennent de la même source et de la même méthode, les équipes peuvent établir une présélection fondée sur des comparaisons homogènes, puis passer au déploiement depuis la même interface. Deux menus permettent d'adapter les chiffres de performance à la charge de travail. Le profil d'usage, par défaut « Max Context », modifie uniquement les métriques de performance et de coût, les scores de qualité restant identiques. L'objectif d'optimisation sélectionne la configuration affichée : « Balanced » (par défaut) retient le coût estimé par token le plus bas, « Cost optimized » le prix horaire d'instance le plus faible, « Latency optimized » le délai le plus court avant le premier token, et « Throughput optimized » le débit maximal, parfois grâce au décodage spéculatif.
Deux indicateurs structurent la lecture des résultats. Le temps avant le premier token (TTFT) mesure l'attente de l'utilisateur avant le début de la réponse ; plus il est bas, mieux c'est, en particulier pour les applications de chat. Le débit par requête, exprimé en tokens par seconde, compte davantage pour les traitements par lots et les usages à fort volume. Ce lancement s'inscrit dans un contexte où l'abondance de modèles ouverts rend le choix initial de plus en plus délicat pour les entreprises, alors que les benchmarks publiés par les éditeurs ne sont pas toujours comparables entre eux. En centralisant des évaluations réalisées dans un cadre unique, AWS cherche à faciliter l'adoption de JumpStart face aux autres plateformes d'hébergement et de comparaison de modèles. Le catalogue devant s'étoffer, la question sera désormais de savoir si de nouveaux benchmarks, au-delà des trois tests de raisonnement actuels, et d'autres types de modèles viendront compléter le classement.
Les entreprises françaises et européennes utilisant AWS peuvent comparer plus facilement des modèles ouverts, dont ceux d'acteurs comme Mistral, avant de les déployer.