Au-delà du prix par token : bien choisir son modèle OpenAI sur Amazon Bedrock selon son usage
Amazon Web Services a publié les résultats d'un banc d'essai comparant cinq modèles d'OpenAI utilisés en production, dans un article technique sur son blog IA. Trois modèles sont disponibles via Amazon Bedrock, la plateforme d'IA générative d'AWS : gpt-5.6-sol, gpt-5.6-terra et gpt-5.6-luna. Ils sont confrontés à deux modèles économiques accessibles directement via l'API d'OpenAI, gpt-5.4-mini et gpt-5.4-nano, choisis comme référence car ce sont les modèles que beaucoup d'équipes utilisent déjà par défaut pour réduire leurs coûts. Les tests reposent sur un outil open source, baptisé benchmarks-openai, qui interroge les cinq modèles via une interface identique, l'API Responses d'OpenAI, sur trois types d'épreuves : des problèmes de mathématiques de compétition (AIME), des questions scientifiques de niveau doctorat (GPQA Diamond), un test de connaissances générales multidisciplinaire (MMLU-Pro), ainsi que des tâches de recherche web en plusieurs étapes et des livrables professionnels notés par un autre modèle, gpt-5.5, servant de juge. Sur un échantillon de 48 à 198 questions selon les épreuves, gpt-5.6-sol résout 75 % des problèmes AIME contre 37 % pour gpt-5.4-mini, obtient 68 % sur GPQA Diamond contre 43 %, et 82 % sur MMLU-Pro contre 59 %.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de AWS ML Blog. Lire l'article original →
L'enjeu de cette étude dépasse le simple classement de performances : elle remet en cause la façon dont les entreprises choisissent leurs modèles d'IA, généralement en comparant le prix par million de jetons affiché sur les grilles tarifaires. Or un modèle moins cher au jeton peut se révéler plus coûteux à l'usage s'il se trompe plus souvent et nécessite des relances, ou si, dans un agent conversationnel, chaque nouveau tour de dialogue réexpédie tout l'historique grandissant de la conversation, ce qui fait gonfler la facture réelle. AWS propose donc de raisonner en coût par réponse correcte plutôt qu'en coût par jeton, une distinction concrète pour toute organisation qui déploie des agents IA en production, que ce soit pour du support client, de la recherche ou de l'analyse financière.
Cette publication s'inscrit dans la bataille commerciale que se livrent AWS et OpenAI pour convaincre les entreprises d'exécuter leurs modèles via Bedrock plutôt que via l'API directe d'OpenAI. AWS précise toutefois une limite méthodologique importante : les modèles testés sur Bedrock tournaient avec le raisonnement désactivé, tandis que les modèles de référence sur l'API OpenAI utilisaient leurs réglages par défaut, ce qui en fait une comparaison de configurations de déploiement pratiques plutôt qu'une mesure neutre des capacités intrinsèques des modèles. Le code du banc d'essai étant public, AWS invite les entreprises à reproduire elles-mêmes ces tests sur leurs propres cas d'usage avant de trancher.
Pas d'impact direct sur la France/UE