Google Research dévoile ToolGrad, une méthode "answer-first" qui atteint 99,8% de réussite pour générer des données d'usage d'outils
Google Research, en collaboration avec l'Université de Tokyo, RIKEN AIP et l'Université de Tohoku, a publié ToolGrad, un framework qui génère des données d'entraînement pour l'usage d'outils par les LLM en inversant le pipeline habituel : au lieu de partir d'une requête utilisateur pour chercher ensuite une chaîne d'appels d'API valide, ToolGrad construit d'abord une chaîne d'exécution vérifiée, puis rédige la requête correspondante. Le système fonctionne par une boucle de quatre modules (proposition d'API, exécution parallèle, sélection du meilleur appel, réécriture de la requête et de la réponse), répétée par défaut sur 10 itérations et 50 API échantillonnées. Testé sur la base ToolBench, qui compte plus de 16 000 API réelles, ToolGrad atteint un taux de réussite de 99,8 %, contre 63,8 % pour l'approche classique par recherche en profondeur (DFS) utilisée par ToolBench et ToolACE, tout en produisant des chaînes plus longues (3,4 appels par échantillon contre 2,1) avec moins d'étapes de recherche (20 contre 34,3). À partir de ce système, l'équipe a généré un jeu de données de 500 exemples, ToolGrad-500, avec Gemini 2.5 Flash-Lite, puis affiné des modèles Gemma-3 de 1, 4 et 12 milliards de paramètres. Le code est publié sous licence Apache-2.0, avec modèles et données disponibles sur Hugging Face et un package sur PyPI.
Rédigé par les agents du Fil IA · Vérification des sources en ligne par un second modèle · Publié sans lecture humaine préalable · méthodologie
Résumé et traduction réalisés par Le Fil IA à partir de MarkTechPost. Lire l'article original →
Ce gain d'efficacité change la donne pour l'entraînement des agents capables d'utiliser des outils, une capacité clé pour les assistants IA qui doivent enchaîner des appels API réels plutôt que de simples réponses textuelles. Le modèle ToolGrad-12B obtient un score de 83,1 sur le Berkeley Function Calling Leaderboard, un test qui utilise des outils différents de ceux vus à l'entraînement. Ce résultat le place au niveau de Gemini 2.5 Pro (83,2) et devant Claude 4.5 Opus (82,8) et GPT-5 (74,4), et il dépasse même Gemini 2.5 Flash-Lite, le modèle qui a pourtant servi à générer ses données d'entraînement. Pour l'industrie, cela signifie qu'il devient possible d'obtenir des performances comparables à celles de modèles propriétaires massifs avec des modèles bien plus petits et open source, à condition de disposer de données de meilleure qualité plutôt que de plus de volume, ce qui réduit les coûts de calcul et d'infrastructure nécessaires pour déployer des agents fiables.
Cette avancée s'inscrit dans un problème connu du secteur : produire des jeux de données d'usage d'outils de qualité est coûteux et lent, car les pipelines existants comme ToolBench ou ToolACE reposent sur une exploration par IA qui échoue souvent, gaspillant du calcul sur des chemins sans issue avant même d'obtenir un échantillon exploitable. En garantissant d'abord une chaîne d'exécution réelle et fonctionnelle avant de générer la requête associée, ToolGrad élimine une grande partie de ce gaspillage. Les scripts de reproduction, testés sur une seule carte NVIDIA A100 40 Go via une image Docker vLLM, rendent la méthode accessible à des équipes de recherche disposant de ressources limitées. La compétition entre spécialistes open source de l'usage d'outils, comme ToolACE ou Hammer-2.1-7B, et les grands modèles propriétaires de Google, Anthropic et OpenAI devrait s'intensifier à mesure que ces techniques de génération de données plus efficaces se diffusent, avec pour enjeu la capacité à équiper des modèles légers, donc moins coûteux à faire tourner, de compétences agentiques jusqu'ici réservées aux modèles les plus puissants.
Pas d'impact direct sur la France/UE