RechercheMarkTechPost · 6 août 2026, 04:37· 2 min de lecture

Le SkillOpt de Microsoft montre que les artefacts de compétences optimisés pour agents se transfèrent entre échelles de modèles et entre Codex et Claude Code

Résumé IASource uniqueImpact UE Pourquoi ça compte

Une équipe de chercheurs de Microsoft, de la Shanghai Jiao Tong University, de la Tongji University et de la Fudan University a présenté SkillOpt, un système d'optimisation qui entraîne un document de compétence en langage naturel pendant que le modèle cible reste figé. Un modèle optimiseur analyse des exécutions notées et propose des modifications bornées (ajout, suppression, remplacement), qu'un jeu de validation distinct n'accepte que si le score s'améliore strictement. Le résultat est un fichier unique, best_skill.md, que les chercheurs ont ensuite testé dans trois configurations de transfert. Sur le benchmark SpreadsheetBench, une compétence entraînée sur GPT-5.4 conserve 82% du gain obtenu en interne lorsqu'elle est déployée sur GPT-5.4-mini (le score passe de 36,1 à 45,5, contre 47,5 pour un entraînement direct), mais seulement 16% sur GPT-5.4-nano. Sur LiveMath, la compétence transférée sur GPT-5.4-nano atteint même 28,8 points, dépassant le résultat obtenu par un entraînement direct sur ce modèle (27,2). Le test le plus marquant concerne le passage entre environnements d'exécution: sur GPT-5.5, une compétence optimisée dans Codex, appliquée telle quelle à Claude Code, fait grimper le score SpreadsheetBench de 22,1 à 81,8, un résultat qui dépasse légèrement les 80,4 points obtenus par Claude Code en s'entraînant lui-même.

Cette portabilité change la manière dont les compétences des agents IA pourraient être développées et diffusées. Au lieu de ré-entraîner un module distinct pour chaque modèle ou chaque interface, une organisation pourrait produire une seule compétence textuelle et la réutiliser sur des variantes plus petites, moins coûteuses à faire tourner, ou sur un environnement d'exécution différent, sans perte majeure de performance dans les cas favorables. Le point faible identifié est tout aussi instructif: les compétences purement procédurales (inspection d'un fichier, vérification de formules, mise en forme) voyagent bien d'un système à l'autre, alors que les compétences qui reposent sur un raisonnement mathématique complexe restent largement attachées à leur environnement d'entraînement, avec des taux de rétention qui chutent à 10% ou 30% selon le sens du transfert entre Codex et Claude Code.

Le mécanisme qui rend ce transfert possible tient à un détail d'implémentation: les trois modes d'exécution testés, à savoir le dialogue direct, Codex et Claude Code, lisent tous le même format de fichier best_skill.md, ce qui crée un contrat commun entre des outils autrement très différents dans leur gestion des commandes et des fichiers. Les chercheurs ont aussi testé un transfert entre benchmarks mathématiques, d'OlympiadBench vers Omni-MATH, avec des gains plus modestes mais positifs sur toutes les tailles de modèles GPT-5.4 testées, jusqu'à +3,7 points sur la version complète. L'étude reste cependant circonscrite: aucun transfert entre familles de modèles différentes, comme de GPT vers Qwen, n'a été évalué, ce qui laisse ouverte la question de savoir si ces gains se généralisent au-delà de l'écosystème testé.

💬 L'analyse de Mathieu

Micro-audits qui s'améliorent tout seuls, tant qu'on reste dans la même famille de modèles : c'est déjà solide. Le détail qui compte, c'est que les trois modes lisent le même fichier best_skill.md, un contrat texte commun là où chaque outil gère ses commandes différemment, d'où le transfert qui marche. Mais la limite est nette : dès que ça touche du raisonnement mathématique complexe, la compétence reste collée à son environnement d'entraînement (rétention à 10-30% dans le pire sens), donc on est loin d'une compétence universelle, plutôt d'un bon plan pour les tâches procédurales répétitives.

Dans nos dossiers

Claude Code Codex Microsoft Qwen3

Cet article vous a été utile ?

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

1Microsoft Research

SkillOpt : les compétences d'agents traitées comme des paramètres entraînables

Des chercheurs ont présenté SkillOpt, une nouvelle méthode qui transforme les compétences (skills) des agents d'intelligence artificielle en paramètres entraînables, sans modifier les poids du modèle sous-jacent. Concrètement, SkillOpt traite le fichier de compétences d'un agent, c'est-à-dire les instructions qui guident son comportement, comme une couche d'optimisation distincte, gérée par un modèle "optimiseur" séparé tandis que le modèle cible reste figé. Le système a été testé sur six benchmarks, sept modèles cibles différents et trois modes d'exécution, soit 52 combinaisons d'évaluation au total. Dans chacune de ces 52 cellules, SkillOpt s'est révélé être la meilleure méthode, ou ex aequo avec la meilleure, ce qui en fait l'approche la plus systématiquement performante testée à ce jour pour ce type d'optimisation. Le processus fonctionne par cycles successifs : le modèle cible exécute des tâches d'entraînement avec la compétence actuelle, un modèle optimiseur analyse ensuite les trajectoires obtenues pour repérer ce qui a fonctionné et ce qui a échoué, puis propose des modifications ciblées (ajouts, suppressions, remplacements) limitées par un budget d'édition strict, comparable à un taux d'apprentissage. Cette approche répond à un problème concret et de plus en plus pressant à mesure que les agents IA passent du prototype au déploiement en production : aujourd'hui, les compétences des agents sont écrites à la main par des experts, générées en une seule fois par un modèle de pointe, ou révisées de façon informelle après exécution. Aucune de ces méthodes ne dispose de garde-fous propres à l'apprentissage automatique, comme un contrôle de la taille des pas, une validation sur des données tenues à l'écart, ou une mémoire des révisions ayant échoué. Résultat : les fichiers de compétences ont tendance à s'allonger et à dériver au fil des réécritures, et une modification qui semble raisonnable peut en réalité dégrader silencieusement les performances réelles de l'agent, ce qui mine la fiabilité nécessaire à un usage professionnel. Pour éviter cette dérive incontrôlée, chaque modification candidate doit passer une validation stricte : elle n'est adoptée que si elle obtient un score strictement supérieur à la version actuelle sur un jeu de validation séparé. Les modifications rejetées ne sont pas perdues pour autant : elles alimentent une mémoire d'échecs qui sert de retour négatif pour guider les prochaines propositions. Un mécanisme de mise à jour plus lent, à l'échelle de l'epoch, consolide par ailleurs des enseignements de plus long terme que des lots de données isolés ne peuvent révéler. Les compétences ainsi optimisées se sont montrées transférables entre différentes tailles de modèles, différents environnements d'exécution d'agents et des tâches connexes, ce qui suggère qu'elles capturent un savoir-faire réutilisable plutôt que des instructions ajustées à un seul benchmark.

RecherchePaper

1 source

2MarkTechPost

Stanford présente TRACE, un système d'entraînement d'agents ciblé sur les compétences qui transforme leurs échecs récurrents en environnement RL synthétique

Des chercheurs de Stanford ont développé TRACE (Turning Recurrent Agent failures into Capability-targeted training Environments), un système publié en open source sous licence MIT qui transforme les échecs récurrents des agents fondés sur des LLM en environnements d'entraînement ciblés. Le constat de départ est simple: un agent ne rate pas ses tâches au hasard, mais parce qu'il lui manque des capacités précises et réutilisables, comme retrouver la bonne information ou vérifier une condition préalable. Face à ce problème, les approches classiques, apprentissage par renforcement direct, réglage fin supervisé ou génération de données synthétiques non ciblée, gaspillent une grande partie du budget de calcul sur des compétences que le modèle maîtrise déjà, sans jamais signaler précisément quelle capacité fait défaut. TRACE fonctionne en quatre étapes automatisées, chacune pilotée par un agent LLM suivant un prompt structuré. D'abord, une analyse contrastive compare les trajectoires réussies et échouées pour identifier les capacités absentes, en ne retenant que celles dont l'écart entre succès et échec dépasse un seuil de 0,20 et dont la couverture dépasse 0,10. Ensuite, un agent générateur construit un environnement synthétique dédié à chaque capacité retenue, avec des instances de tâches produites automatiquement à partir de graines aléatoires, ce qui permet une vérification purement algorithmique sans recours à un juge humain ou à un LLM évaluateur. Chaque capacité reçoit alors son propre adaptateur LoRA, entraîné via l'algorithme GRPO (Group Relative Policy Optimization) pendant que le modèle de base reste figé. Enfin, ces adaptateurs sont combinés dans une architecture de mélange d'experts (Mixture-of-Experts), où seules de légères portes de routage sont entraînées, permettant au modèle d'orienter chaque token vers l'expert le plus pertinent en cours de raisonnement. Cette approche change la manière dont les équipes peuvent corriger les faiblesses d'un agent en production: plutôt que de réentraîner l'ensemble du modèle ou de multiplier les tentatives de prompt engineering, il devient possible de diagnostiquer précisément quelles compétences manquent et d'y répondre par un entraînement chirurgical, moins coûteux en calcul et plus facile à faire évoluer au fil du temps. Pour les entreprises qui déploient des agents autonomes dans des tâches complexes comme la gestion de réservations ou le support client, cela ouvre la voie à une amélioration continue ciblée, où chaque nouvel échec récurrent peut être transformé en module d'entraînement supplémentaire sans perturber les capacités déjà acquises. Sur le benchmark τ²-Bench, testé avec le modèle Qwen3-30B-A3B, TRACE a surpassé à la fois les méthodes d'optimisation de prompts et les approches à adaptateur unique en matière de taux de réussite global. Ce travail s'inscrit dans une tendance plus large de recherche sur les agents fondés sur des LLM, où la difficulté ne vient plus seulement de la puissance brute des modèles mais de leur capacité à combler des lacunes spécifiques de façon vérifiable. Les auteurs ont publié leur code et leur article, référencé sous l'identifiant arXiv:2604.05336, ce qui devrait permettre à d'autres équipes de reproduire et d'étendre cette méthode à d'autres environnements agentiques.

RecherchePaper

1 source

3VentureBeat AI

Un nouveau framework permet aux agents IA de réécrire leurs propres compétences sans réentraîner le modèle de base

Des chercheurs de plusieurs universités ont publié Memento-Skills, un nouveau cadre technique qui permet à des agents IA d'améliorer leurs propres compétences de manière autonome, sans modifier ni réentraîner le modèle de langage sous-jacent. Contrairement aux approches classiques qui figent les capacités d'un agent après son déploiement, Memento-Skills fonctionne comme une mémoire externe évolutive : le système stocke des compétences sous forme de fichiers markdown structurés, chacun composé de trois éléments, une spécification déclarative, des instructions pour guider le raisonnement du modèle, et du code exécutable. Lorsqu'il rencontre une nouvelle tâche, l'agent interroge un routeur spécialisé pour récupérer la compétence la plus pertinente sur le plan comportemental, l'exécute, puis met à jour sa base de connaissances en fonction du résultat obtenu. Ce mécanisme, baptisé "Read-Write Reflective Learning", traite chaque exécution comme une itération active de politique plutôt qu'un simple journal de bord passif. L'enjeu est considérable pour les équipes qui déploient des agents en production. Aujourd'hui, adapter un agent à son environnement implique soit de fine-tuner les poids du modèle, une opération coûteuse en données et en temps, soit de concevoir manuellement de nouvelles compétences, ce qui exige un effort opérationnel permanent. Memento-Skills contourne ces deux obstacles. Le système corrige également un défaut majeur des architectures RAG classiques : la récupération par similarité sémantique. Un agent standard pourrait retrouver un script de "réinitialisation de mot de passe" pour résoudre une requête de "traitement de remboursement", simplement parce que les deux documents partagent du vocabulaire d'entreprise. Le routeur de Memento-Skills sélectionne au contraire la compétence la plus utile sur le plan comportemental, indépendamment de la proximité lexicale. Ce travail s'inscrit dans une réflexion plus large sur les limites des grands modèles de langage une fois déployés : leurs paramètres sont figés, et ils ne peuvent pas intégrer de nouvelles connaissances sans réentraînement. Plusieurs approches tentent d'y remédier, mémoire contextuelle, fine-tuning continu, bibliothèques de compétences manuelles, mais aucune ne combinait jusqu'ici apprentissage autonome, récupération comportementale et mise à jour réflexive en un seul système cohérent. Jun Wang, co-auteur du papier, positionne Memento-Skills comme un complément aux outils existants comme OpenClaw ou Claude Code. Si les résultats se confirment à plus grande échelle, ce type de cadre pourrait redéfinir la manière dont les agents IA évoluent en environnement réel, en déplaçant la charge d'adaptation des ingénieurs vers le système lui-même.

RecherchePaper

1 source

4MarkTechPost

Une nouvelle étude de Harvard et Perplexity révèle que les agents IA effectuent 26 minutes de travail autonome par session, contre 33 secondes pour la recherche

Une étude conjointe de Harvard et de Perplexity publiée en juin 2026 apporte les premières preuves empiriques à grande échelle sur ce que les agents d'intelligence artificielle font réellement dans le cadre du travail intellectuel. Les chercheurs ont analysé 90 jours de données de production, du 27 février au 27 mai 2026, en comparant deux produits Perplexity utilisés par les mêmes personnes : Search, un moteur de réponse conversationnel, et Computer, un agent capable de planifier et d'exécuter des tâches de bout en bout. À partir de 10 000 paires de sessions quasi-identiques, définies par une similarité cosinus supérieure à 0,99, ils ont mesuré ce que chaque mode accomplit concrètement. Le résultat le plus saillant : Computer effectue en moyenne 26 minutes de travail machine autonome par session, contre 33 secondes pour Search, soit un écart de 48 fois. En médiane, l'écart reste net : 9 minutes contre 14 secondes. Sur certains domaines locaux, le ratio atteint 75 fois. L'impact sur la productivité est considérable. En reconstituant un scénario de référence "humain avec Search", les chercheurs estiment qu'un professionnel aurait besoin de 269 minutes pour accomplir la même tâche qu'un agent en 36 minutes, soit 87 % de temps en moins et 94 % de coût total réduit. Ces économies de coût dépassent les économies de temps parce que les salaires amplificateurs du domaine entrent en ligne de compte. Le coût modèle de Computer s'élève à 4 à 10 dollars par tâche, contre environ 0,05 dollar pour Search, mais son coût marginal par étape est de 0,16 dollar contre 2,05 dollars pour l'humain seul. La satisfaction est également au rendez-vous : le taux d'insatisfaction mesurable après une session Computer est de 1,3 %, contre 2,9 % pour Search, une réduction de 55 %. Loin de remplacer la recherche traditionnelle, l'agent la stimule : adopter Computer a augmenté de 1,05 le nombre de requêtes Search quotidiennes des utilisateurs, signe d'une complémentarité plutôt que d'une substitution. Cette étude s'inscrit dans un débat plus large sur la véritable nature de la transformation que les agents IA font subir au travail. Les chercheurs montrent que l'autonomie ne se limite pas à accélérer des tâches existantes : elle change lesquelles sont tentées. Les sessions Computer franchissent plus souvent les frontières entre métiers, avec 59 % de requêtes inter-occupations contre 50 % pour Search. Perplexity Computer a été lancé deux jours avant l'ouverture de la fenêtre d'observation, et ses volumes ont déjà atteint 84 fois leur niveau de la première semaine. Des entretiens utilisateurs rapportent des gains allant de 5 à 300 fois, corroborés par une évaluation indépendante par LLM qui retrouve 84 % de gain de temps et 93 % de gain de coût. Ces chiffres posent une question structurante pour les entreprises : le point de rupture économique se situe à moins de 20 minutes de travail manuel, en dessous duquel l'humain seul reste compétitif.

UELes entreprises européennes disposent d'un premier benchmark empirique pour calibrer leur adoption des agents IA, avec un point de rupture économique identifié à moins de 20 minutes de travail manuel.

RecherchePaper

1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription en un clic