Aller au contenu principal
RechercheMarkTechPost · 2 min de lecture

Stanford présente TRACE, un système d'entraînement d'agents ciblé sur les compétences qui transforme leurs échecs récurrents en environnement RL synthétique

Source originale ↗·

Des chercheurs de Stanford ont développé TRACE (Turning Recurrent Agent failures into Capability-targeted training Environments), un système publié en open source sous licence MIT qui transforme les échecs récurrents des agents fondés sur des LLM en environnements d'entraînement ciblés. Le constat de départ est simple: un agent ne rate pas ses tâches au hasard, mais parce qu'il lui manque des capacités précises et réutilisables, comme retrouver la bonne information ou vérifier une condition préalable. Face à ce problème, les approches classiques, apprentissage par renforcement direct, réglage fin supervisé ou génération de données synthétiques non ciblée, gaspillent une grande partie du budget de calcul sur des compétences que le modèle maîtrise déjà, sans jamais signaler précisément quelle capacité fait défaut. TRACE fonctionne en quatre étapes automatisées, chacune pilotée par un agent LLM suivant un prompt structuré. D'abord, une analyse contrastive compare les trajectoires réussies et échouées pour identifier les capacités absentes, en ne retenant que celles dont l'écart entre succès et échec dépasse un seuil de 0,20 et dont la couverture dépasse 0,10. Ensuite, un agent générateur construit un environnement synthétique dédié à chaque capacité retenue, avec des instances de tâches produites automatiquement à partir de graines aléatoires, ce qui permet une vérification purement algorithmique sans recours à un juge humain ou à un LLM évaluateur. Chaque capacité reçoit alors son propre adaptateur LoRA, entraîné via l'algorithme GRPO (Group Relative Policy Optimization) pendant que le modèle de base reste figé. Enfin, ces adaptateurs sont combinés dans une architecture de mélange d'experts (Mixture-of-Experts), où seules de légères portes de routage sont entraînées, permettant au modèle d'orienter chaque token vers l'expert le plus pertinent en cours de raisonnement.

Cette approche change la manière dont les équipes peuvent corriger les faiblesses d'un agent en production: plutôt que de réentraîner l'ensemble du modèle ou de multiplier les tentatives de prompt engineering, il devient possible de diagnostiquer précisément quelles compétences manquent et d'y répondre par un entraînement chirurgical, moins coûteux en calcul et plus facile à faire évoluer au fil du temps. Pour les entreprises qui déploient des agents autonomes dans des tâches complexes comme la gestion de réservations ou le support client, cela ouvre la voie à une amélioration continue ciblée, où chaque nouvel échec récurrent peut être transformé en module d'entraînement supplémentaire sans perturber les capacités déjà acquises.

Sur le benchmark τ²-Bench, testé avec le modèle Qwen3-30B-A3B, TRACE a surpassé à la fois les méthodes d'optimisation de prompts et les approches à adaptateur unique en matière de taux de réussite global. Ce travail s'inscrit dans une tendance plus large de recherche sur les agents fondés sur des LLM, où la difficulté ne vient plus seulement de la puissance brute des modèles mais de leur capacité à combler des lacunes spécifiques de façon vérifiable. Les auteurs ont publié leur code et leur article, référencé sous l'identifiant arXiv:2604.05336, ce qui devrait permettre à d'autres équipes de reproduire et d'étendre cette méthode à d'autres environnements agentiques.

Cet article vous a été utile ?

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

Des chercheurs de Stanford présentent des agents IA 'scientifiques' en passe de transformer la découverte de médicaments
1VentureBeat AI 

Des chercheurs de Stanford présentent des agents IA 'scientifiques' en passe de transformer la découverte de médicaments

Une équipe de chercheurs de l'Université Stanford, dirigée par James Zou, professeur associé de sciences des données biomédicales, a déployé des milliers d'agents IA autonomes, des « scientifiques virtuels », au sein d'un laboratoire pharmaceutique simulé. Ces agents couvrent l'intégralité du cycle de développement d'un médicament, de la découverte initiale de molécules jusqu'à la conception des essais cliniques, en passant par les tests de sécurité. Le système repose sur une architecture hiérarchique : un agent « directeur scientifique » joue le rôle de planificateur et délègue les tâches à des équipes spécialisées. Ces agents accèdent à des bases de données massives, génomique, données chimiques de la FDA, registres d'essais cliniques, via un protocole de contexte de modèle (MCP). Le modèle Claude sert de colonne vertébrale pour le codage et l'analyse de données, aux côtés d'autres modèles spécialisés. Sur la base de ces travaux, Zou lève des fonds pour sa startup Human Intelligence à une valorisation d'environ un milliard de dollars. Cette approche s'attaque à l'un des problèmes les plus coûteux de la médecine moderne : entre 90 % et 95 % des projets de développement de médicaments échouent, et un seul médicament commercialisé peut nécessiter plus de douze ans de recherche et jusqu'à un milliard de dollars. L'un des facteurs structurels de cet échec est la perte de connaissance lors des transitions entre équipes spécialisées humaines, chaque transfert de projet entraîne une rupture de contexte. En maintenant l'intégralité de l'historique d'un projet au sein d'un écosystème unifié, les agents IA de Zou éliminent cette fragmentation, permettant une continuité de la première molécule identifiée jusqu'aux résultats cliniques finaux. La recherche pharmaceutique traverse une transformation profonde sous l'effet de l'IA générative, mais les approches précédentes restaient limitées à des tâches isolées. Le passage à des systèmes multi-agents autonomes capables de piloter un cycle complet de développement représente un saut qualitatif significatif. Zou présentera ses travaux lors de la conférence VB Transform le 15 juillet 2026, dans une session intitulée « Comment 10 000 scientifiques agentiques dans le laboratoire de Stanford s'apprêtent à révolutionner la recherche médicale ». Il y abordera des questions concrètes : gestion du contexte dans des workflows longs et multi-étapes, transformation des données d'entreprise en données exploitables par les agents, et rôle de l'audit humain pour vérifier les actions des agents. L'enjeu dépasse le seul secteur pharmaceutique, l'architecture développée à Stanford esquisse un modèle pour tout domaine où la complexité et la durée des projets dépassent les capacités de coordination humaine.

RecherchePaper
1 source
Meta lance Autodata : un framework à base d'agents qui transforme les modèles IA en data scientists autonomes pour créer des données d'entraînement de haute qualité
2MarkTechPost 

Meta lance Autodata : un framework à base d'agents qui transforme les modèles IA en data scientists autonomes pour créer des données d'entraînement de haute qualité

L'équipe RAM (Reasoning, Alignment and Memory) de Meta AI a présenté Autodata, un cadre de génération de données d'entraînement reposant sur des agents IA autonomes. Plutôt que de produire des données synthétiques en une seule passe, Autodata confie à un agent le rôle d'un data scientist humain : il crée des exemples, les analyse, en évalue la qualité, puis affine sa méthode de génération en boucle fermée. La première implémentation concrète du système, baptisée Agentic Self-Instruct, s'appuie sur un LLM orchestrateur qui coordonne quatre sous-agents spécialisés : un Challenger LLM qui génère des exemples d'entraînement, un Weak Solver (modèle plus faible censé échouer sur ces exemples), un Strong Solver (modèle plus capable censé réussir), et un Evaluator qui valide la pertinence et la difficulté des exemples produits. Testée sur des problèmes de raisonnement scientifique complexe, cette approche surpasse significativement les méthodes classiques de génération de données synthétiques comme Self-Instruct ou ses variantes Chain-of-Thought. L'enjeu est de taille : la qualité des données d'entraînement a toujours été un goulot d'étranglement dans le développement des grands modèles de langage, autant que la puissance de calcul. Autodata ouvre une voie pour convertir du calcul d'inférence supplémentaire en données de meilleure qualité, plus on alloue de ressources à l'agent, plus les données produites sont pertinentes. Pour les équipes qui développent des modèles IA, c'est une rupture méthodologique : il devient possible de piloter et d'améliorer la qualité des données en cours de génération, et non plus seulement de filtrer ou corriger après coup. Cela réduit également la dépendance à l'annotation humaine, coûteuse et difficile à scaler, tout en maintenant un contrôle itératif sur la distribution et la difficulté des exemples générés. Jusqu'ici, la génération de données synthétiques suivait des pipelines largement statiques : on promptait un LLM avec des exemples zéro-shot ou few-shot, parfois en s'appuyant sur des documents source pour limiter les hallucinations. Les méthodes dites "Self-Challenging" avaient commencé à introduire une dynamique agent-outil, mais sans boucle de feedback réelle sur la qualité globale du jeu de données. Autodata représente l'étape suivante en intégrant cette rétroaction directement dans le processus de création. Meta s'inscrit ici dans une tendance plus large du secteur : utiliser des agents IA pour automatiser des tâches d'ingénierie complexes, y compris la construction des données qui servent à entraîner ces mêmes agents. La publication est portée par l'équipe RAM de Meta AI Research, ce qui signale une ambition de long terme autour de l'autonomie des systèmes d'apprentissage.

UELes laboratoires européens développant des LLMs pourraient indirectement bénéficier de cette méthodologie open research pour réduire leur dépendance à l'annotation humaine coûteuse.

RecherchePaper
1 source
NVIDIA présente SpatialClaw : un agent sans entraînement qui utilise le code comme interface pour le raisonnement spatial
3MarkTechPost 

NVIDIA présente SpatialClaw : un agent sans entraînement qui utilise le code comme interface pour le raisonnement spatial

Les chercheurs de NVIDIA ont publié SpatialClaw, un framework d'agent pour le raisonnement spatial qui ne nécessite aucun réentraînement des modèles. Testé sur 20 benchmarks couvrant cinq catégories de tâches visuelles (image unique, multi-vues, vidéo, 4D et compréhension vidéo générale), le système atteint 59,9 % de précision moyenne, soit 11,2 points de plus que SpaceTools, le précédent agent spatial de référence. SpatialClaw fonctionne comme une boucle agentique enveloppant un noyau Python persistant, pré-chargé avec les images d'entrée et un ensemble de primitives de perception. Deux outils sont au cœur du système : Reconstruct, qui s'appuie sur Depth Anything 3 pour produire cartes de profondeur, géométrie caméra et nuages de points, et SAM3, qui exploite SAM 3 pour générer des masques vidéo ou image à partir de texte ou de coordonnées. Le système a été évalué sur six architectures de modèles allant de 26 à 397 milliards de paramètres, issues des familles Qwen3 et Gemma4. Le vrai apport de SpatialClaw est moins dans ses outils que dans la manière dont l'agent les utilise. NVIDIA a comparé trois interfaces d'action sur les mêmes outils et le même prompt : code en passe unique (+1,8 point sur la baseline sans outil), appels structurés via schéma JSON (+3,3 points), et l'interface de SpatialClaw où le code lui-même est l'interface d'action (+6,5 points). La différence tient à la capacité d'inspection intermédiaire : plutôt que de soumettre un programme complet sans retour, l'agent observe les résultats partiels et révise sa stratégie en cours de route. Sur un exemple concret, mesurer la distance minimale entre un radiateur et une porte, l'agent corrige son premier calcul de centroïde en basculant vers scipy.spatial.KDTree, obtenant 0,9439 m contre une vérité terrain à 0,9 m. Les gains les plus importants apparaissent sur les tâches dynamiques : +17,6 points sur DSI-Bench et +15,3 sur MindCube avec le backbone Gemma4-31B. Le raisonnement spatial reste l'un des talons d'Achille des grands modèles vision-langage : localiser précisément des objets, estimer leurs relations géométriques et suivre leurs trajectoires dans un espace 3D dépasse les capacités actuelles de la plupart des VLM, quelle que soit leur taille. Les approches existantes comme VADAR ou pySpatial utilisaient toutes du code en passe unique ou des appels d'outils structurés, avec des résultats limités à respectivement 40,5 % et 47,8 % de moyenne. En traitant le code comme interface d'action native plutôt que comme sortie figée, NVIDIA propose une solution qui s'applique à n'importe quel modèle sans modifier ses poids, ce qui facilite l'adoption. Le framework est documenté sur le site du projet et représente un signal fort pour les applications robotiques, les véhicules autonomes et les systèmes d'assistance visuelle, où la précision géométrique est non négociable.

💬 Honnêtement, c'est plus intéressant que ça en a l'air. NVIDIA avec SpatialClaw, c'est une évolution concrète dans le raisonnement spatial. Le truc, c'est qu'ils ont su tirer parti du code comme interface d'action directe, pas juste comme sortie figée. Cela signifie que les agents peuvent s'ajuster en temps réel, corriger et améliorer leurs calculs grâce à une inspection intermédiaire. Sur des tâches dynamiques, les gains sont substantiels, ce qui montre qu'on touche quelque chose de pertinent pour les robots, les voitures autonomes et les systèmes d'aide visuelle où la précision est primordiale. C'est pas juste un ajout de performance, c'est une nouvelle manière de travailler avec l'IA.

RecherchePaper
1 source
SkillOpt : les compétences d'agents traitées comme des paramètres entraînables
4Microsoft Research 

SkillOpt : les compétences d'agents traitées comme des paramètres entraînables

Des chercheurs ont présenté SkillOpt, une nouvelle méthode qui transforme les compétences (skills) des agents d'intelligence artificielle en paramètres entraînables, sans modifier les poids du modèle sous-jacent. Concrètement, SkillOpt traite le fichier de compétences d'un agent, c'est-à-dire les instructions qui guident son comportement, comme une couche d'optimisation distincte, gérée par un modèle "optimiseur" séparé tandis que le modèle cible reste figé. Le système a été testé sur six benchmarks, sept modèles cibles différents et trois modes d'exécution, soit 52 combinaisons d'évaluation au total. Dans chacune de ces 52 cellules, SkillOpt s'est révélé être la meilleure méthode, ou ex aequo avec la meilleure, ce qui en fait l'approche la plus systématiquement performante testée à ce jour pour ce type d'optimisation. Le processus fonctionne par cycles successifs : le modèle cible exécute des tâches d'entraînement avec la compétence actuelle, un modèle optimiseur analyse ensuite les trajectoires obtenues pour repérer ce qui a fonctionné et ce qui a échoué, puis propose des modifications ciblées (ajouts, suppressions, remplacements) limitées par un budget d'édition strict, comparable à un taux d'apprentissage. Cette approche répond à un problème concret et de plus en plus pressant à mesure que les agents IA passent du prototype au déploiement en production : aujourd'hui, les compétences des agents sont écrites à la main par des experts, générées en une seule fois par un modèle de pointe, ou révisées de façon informelle après exécution. Aucune de ces méthodes ne dispose de garde-fous propres à l'apprentissage automatique, comme un contrôle de la taille des pas, une validation sur des données tenues à l'écart, ou une mémoire des révisions ayant échoué. Résultat : les fichiers de compétences ont tendance à s'allonger et à dériver au fil des réécritures, et une modification qui semble raisonnable peut en réalité dégrader silencieusement les performances réelles de l'agent, ce qui mine la fiabilité nécessaire à un usage professionnel. Pour éviter cette dérive incontrôlée, chaque modification candidate doit passer une validation stricte : elle n'est adoptée que si elle obtient un score strictement supérieur à la version actuelle sur un jeu de validation séparé. Les modifications rejetées ne sont pas perdues pour autant : elles alimentent une mémoire d'échecs qui sert de retour négatif pour guider les prochaines propositions. Un mécanisme de mise à jour plus lent, à l'échelle de l'epoch, consolide par ailleurs des enseignements de plus long terme que des lots de données isolés ne peuvent révéler. Les compétences ainsi optimisées se sont montrées transférables entre différentes tailles de modèles, différents environnements d'exécution d'agents et des tâches connexes, ce qui suggère qu'elles capturent un savoir-faire réutilisable plutôt que des instructions ajustées à un seul benchmark.

RecherchePaper
1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription en un clic