L'accord de Bedrock d'Amazon migre et optimise les invites vers de nouveaux modèles

Amazon Bedrock lance Advanced Prompt Optimization, un outil qui permet d'optimiser automatiquement les prompts pour jusqu'à 5 modèles à la fois et de comparer leurs performances. Concrètement, un client fournit un modèle de prompt, des exemples de requêtes utilisateur (texte ou multimodal), éventuellement des réponses de référence, et une métrique d'évaluation. Le système envoie ensuite ce prompt aux modèles choisis sur Bedrock, évalue les réponses selon la métrique fixée, réécrit le prompt, puis recommence ce cycle évaluer-réécrire-évaluer de façon itérative, un peu comme une boucle d'apprentissage par renforcement, mais sans toucher aux poids du modèle. À l'issue du processus, l'utilisateur récupère le prompt original et sa version optimisée pour chaque modèle testé, avec pour chacun un score d'évaluation, le temps jusqu'au premier jeton généré (time to first token, ou TTFT, un indicateur de latence perçue) et une estimation du coût d'inférence au tarif à la demande. Le tout se fait en une seule soumission de job, avec jusqu'à 5 modèles candidats comparés simultanément sur qualité, latence et coût.

Cette fonctionnalité s'attaque à un goulot d'étranglement bien connu des équipes qui déploient des applications d'IA générative en production. Migrer un prompt déjà réglé vers un nouveau modèle plus rapide ou moins cher, ou simplement l'optimiser pour le modèle en place, exige aujourd'hui des jours voire des semaines de réécritures manuelles, de tests et de comparaisons, un effort qui se multiplie par le nombre de templates de prompts et de modèles candidats. Résultat : beaucoup d'équipes restent enfermées sur un modèle par crainte du coût de migration, même quand un modèle plus récent offrirait de meilleures performances. D'autres exploitent mal les capacités réelles d'un nouveau modèle parce que leurs prompts ont été pensés pour un autre système, ou expédient sans le savoir des réponses dégradées faute d'évaluation systématique face à des données de référence. En automatisant ce cycle par une approche pilotée par les métriques, Amazon Bedrock veut libérer les ingénieurs des boucles interminables de tests A/B manuels pour qu'ils se concentrent sur le développement de fonctionnalités.

Cette annonce s'inscrit dans une compétition plus large entre fournisseurs de cloud pour réduire la friction du cycle de vie des applications d'IA générative, alors que le rythme de sortie de nouveaux modèles s'accélère chez tous les grands acteurs. Le caractère agnostique de l'outil, compatible avec n'importe quel modèle disponible sur Bedrock, laisse penser qu'Amazon cherche à fidéliser les développeurs à sa plateforme plutôt qu'à un modèle en particulier, en simplifiant justement les changements de modèle qui pourraient sinon les pousser vers un concurrent. Reste à voir si cette automatisation tient ses promesses sur des cas d'usage complexes ou multimodaux, et si d'autres fournisseurs cloud répliqueront rapidement une approche similaire.