Affiner un agent de recherche par apprentissage par renforcement multi-tours sur Amazon SageMaker AI
Amazon a présenté une méthode pour affiner un agent de recherche avec l'apprentissage par renforcement multi-tours (MTRL) sur Amazon SageMaker AI. Un agent de recherche fonctionne sur de grands modèles de langage : il décide seul quoi chercher, quelle stratégie de récupération employer et quand s'arrêter, en affinant son approche d'un tour à l'autre selon ce qu'il a déjà obtenu. Le service MTRL de SageMaker AI traite une tâche d'agent comme une suite de décisions. Il génère ses données d'entraînement par des déploiements (rollouts) multi-tours, puis optimise le modèle avec des algorithmes de gradient de politique. Il propose une interface modulaire entre agent et environnement, où l'on définit ses propres récompenses, boucles d'outils et formats de conversation. L'exécution est serverless, facturée au jeton, sans cluster GPU à gérer. La collecte des trajectoires est asynchrone : génération et mises à jour de gradient tournent en parallèle, avec un décalage hors politique borné. La bibliothèque d'algorithmes inclut PPO, CISPO et des pertes à échantillonnage d'importance, associés à des estimateurs d'avantage par groupe (GRPO, GRPO pass@k, RLOO). L'entraînement est reprenable sur plusieurs jobs, les trajectoires et récompenses s'observent dans MLflow, et des jobs d'évaluation mesurent récompense, pass@k et métriques de trajectoire avant un déploiement sur un endpoint SageMaker ou sur Amazon Bedrock.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de AWS ML Blog. Lire l'article original →
L'enjeu est d'obtenir la fiabilité d'un modèle de pointe avec la vitesse et le coût d'un petit modèle. Un petit modèle sollicité par simple prompt produit rarement un comportement multi-tours fiable. Un modèle de pointe y parvient plus souvent, mais au prix d'une latence et d'un coût plus élevés. L'affinage permet d'enseigner directement au petit modèle les outils et l'environnement de l'entreprise, avec une inférence plus rapide et moins chère. Le MTRL a de plus l'avantage de ne demander qu'un signal de récompense sur le résultat final, sans exiger que chaque étape soit notée. Il s'adapte bien aux agents de recherche, qui réunissent une récompense claire (la qualité de la récupération), une boucle d'interaction multi-tours et un environnement bien défini, celui des outils de recherche.
Les approches classiques montrent leurs limites ici. L'affinage supervisé (SFT) repose sur des démonstrations expertes de trajectoires multi-tours idéales, coûteuses à collecter et souvent inexistantes pour un environnement donné. L'apprentissage par renforcement à tour unique, comme le RLVR (récompenses vérifiables), note une réponse à la fois. Or un agent de recherche enchaîne des décisions interdépendantes, chacune s'appuyant sur le contexte des précédentes, et optimiser une étape isolément ignore ces dépendances. L'article, publié par AWS, annonce ensuite des résultats sur la qualité de récupération et la fiabilité, mais le passage présenté s'interrompt avant d'en donner les chiffres. Cette offre s'inscrit dans la course des grands fournisseurs de cloud à rendre l'apprentissage par renforcement d'agents accessible sans infrastructure dédiée.
Pas d'impact direct sur la France/UE