RechercheMarkTechPost · 6 août 2026, 04:37· 2 min de lecture

Voici la traduction :

Résumé IASource uniqueImpact UE Pourquoi ça compte

Une équipe de chercheurs de Microsoft, de la Shanghai Jiao Tong University, de la Tongji University et de la Fudan University a présenté SkillOpt, un système d'optimisation qui entraîne un document de compétence en langage naturel pendant que le modèle cible reste figé. Un modèle optimiseur analyse des exécutions notées et propose des modifications bornées (ajout, suppression, remplacement), qu'un jeu de validation distinct n'accepte que si le score s'améliore strictement. Le résultat est un fichier unique, best_skill.md, que les chercheurs ont ensuite testé dans trois configurations de transfert. Sur le benchmark SpreadsheetBench, une compétence entraînée sur GPT-5.4 conserve 82% du gain obtenu en interne lorsqu'elle est déployée sur GPT-5.4-mini (le score passe de 36,1 à 45,5, contre 47,5 pour un entraînement direct), mais seulement 16% sur GPT-5.4-nano. Sur LiveMath, la compétence transférée sur GPT-5.4-nano atteint même 28,8 points, dépassant le résultat obtenu par un entraînement direct sur ce modèle (27,2). Le test le plus marquant concerne le passage entre environnements d'exécution: sur GPT-5.5, une compétence optimisée dans Codex, appliquée telle quelle à Claude Code, fait grimper le score SpreadsheetBench de 22,1 à 81,8, un résultat qui dépasse légèrement les 80,4 points obtenus par Claude Code en s'entraînant lui-même.

Cette portabilité change la manière dont les compétences des agents IA pourraient être développées et diffusées. Au lieu de ré-entraîner un module distinct pour chaque modèle ou chaque interface, une organisation pourrait produire une seule compétence textuelle et la réutiliser sur des variantes plus petites, moins coûteuses à faire tourner, ou sur un environnement d'exécution différent, sans perte majeure de performance dans les cas favorables. Le point faible identifié est tout aussi instructif: les compétences purement procédurales (inspection d'un fichier, vérification de formules, mise en forme) voyagent bien d'un système à l'autre, alors que les compétences qui reposent sur un raisonnement mathématique complexe restent largement attachées à leur environnement d'entraînement, avec des taux de rétention qui chutent à 10% ou 30% selon le sens du transfert entre Codex et Claude Code.

Le mécanisme qui rend ce transfert possible tient à un détail d'implémentation: les trois modes d'exécution testés, à savoir le dialogue direct, Codex et Claude Code, lisent tous le même format de fichier best_skill.md, ce qui crée un contrat commun entre des outils autrement très différents dans leur gestion des commandes et des fichiers. Les chercheurs ont aussi testé un transfert entre benchmarks mathématiques, d'OlympiadBench vers Omni-MATH, avec des gains plus modestes mais positifs sur toutes les tailles de modèles GPT-5.4 testées, jusqu'à +3,7 points sur la version complète. L'étude reste cependant circonscrite: aucun transfert entre familles de modèles différentes, comme de GPT vers Qwen, n'a été évalué, ce qui laisse ouverte la question de savoir si ces gains se généralisent au-delà de l'écosystème testé.

💬 L'analyse de Mathieu

Micro-audits qui s'améliorent tout seuls, tant qu'on reste dans la même famille de modèles : c'est déjà solide. Le détail qui compte, c'est que les trois modes lisent le même fichier best_skill.md, un contrat texte commun là où chaque outil gère ses commandes différemment, d'où le transfert qui marche. Mais la limite est nette : dès que ça touche du raisonnement mathématique complexe, la compétence reste collée à son environnement d'entraînement (rétention à 10-30% dans le pire sens), donc on est loin d'une compétence universelle, plutôt d'un bon plan pour les tâches procédurales répétitives.

Dans nos dossiers

Claude Code Codex Microsoft Qwen3

Cet article vous a été utile ?

Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.

À lire aussi

1Apple Machine Learning

L'article ne mentionne pas de "gave up" ni de faux-amis particuliers ici, donc traduction directe factuelle :

Voici l'article traduit et résumé selon les consignes. Des chercheurs ont identifié un obstacle majeur dans le raisonnement à long horizon des grands modèles de langage (LLM) : même lorsqu'une stratégie de haut niveau leur est fournie, ces systèmes restent instables sur des tâches complexes à plusieurs étapes. En testant leurs modèles sur des puzzles algorithmiques contrôlés, l'équipe a montré que la décomposition d'un problème en sous-étapes est nécessaire à la stabilité du raisonnement, mais qu'une décomposition trop poussée engendre ce qu'elle appelle un « goulot d'étranglement sans possibilité de récupération » (no-recovery bottleneck). Ce phénomène survient parce que les erreurs ne se répartissent pas uniformément sur l'ensemble des étapes : quelques étapes particulièrement difficiles concentrent des erreurs récurrentes qui, une fois commises, deviennent irréversibles pour la suite du raisonnement. Pour résoudre ce problème, les chercheurs proposent une méthode baptisée LEAD, pour Lookahead-Enhanced Atomic Decomposition, qui intègre une validation anticipée sur un court horizon futur. Cette découverte a des implications directes pour toutes les applications qui reposent sur des agents IA capables d'exécuter des tâches longues et séquentielles, comme la programmation automatisée, la planification ou l'automatisation de flux de travail complexes. Un seul faux pas non détecté sur une étape critique peut faire dérailler l'intégralité d'un raisonnement, même si le plan initial était correct. En anticipant les conséquences à court terme de chaque étape avant de la valider, LEAD viserait à limiter cette propagation d'erreurs et à rendre les agents IA plus fiables sur des tâches longues. Ce travail s'inscrit dans une problématique plus large de la recherche en IA : rendre les LLM capables de mener des raisonnements complexes sur de nombreuses étapes sans supervision humaine constante, un enjeu central pour le développement d'agents autonomes. La question de la robustesse face aux erreurs cumulatives reste un défi ouvert, et des approches comme LEAD pourraient inspirer de futures méthodes de décomposition et de vérification intermédiaire dans les architectures d'agents.

RecherchePaper

1 source

2Apple Machine Learning

Entraînement par anticipation latente pour les Transformers

Les modèles de langage autorégressifs sont aujourd'hui entraînés via la prédiction du prochain token, une approche efficace mais fondamentalement limitée : à chaque étape, le modèle doit s'engager sur un choix unique, sans possibilité d'explorer plusieurs continuations plausibles. Une nouvelle recherche, acceptée à l'ICLR 2026 dans le cadre du workshop Latent & Implicit Thinking, propose une alternative : l'entraînement par anticipation latente (Latent Anticipation Training), conçu pour dépasser ces contraintes structurelles. L'enjeu est de taille pour le secteur. L'objectif de prédiction token par token impose une allocation de calcul uniforme : chaque token mobilise exactement un seul passage forward, quelle que soit sa difficulté. Cela bride l'expressivité du modèle sur les tokens complexes, ceux qui nécessiteraient davantage de "réflexion" avant d'être générés. En introduisant une dimension latente dans le processus d'entraînement, l'approche permet au modèle de raisonner implicitement avant de s'engager, ouvrant la voie à un calcul adaptatif selon la difficulté du contexte. Le papier s'inscrit dans un courant de recherche croissant qui cherche à aller au-delà du raisonnement par chaîne de pensée (Chain-of-Thought), en déportant une partie du raisonnement dans un espace latent non visible. Contrairement au CoT classique qui externalise le raisonnement sous forme de tokens intermédiaires explicites, l'anticipation latente opère de manière implicite, sans surcharge du contexte de génération. Cette distinction est centrale : le modèle "pense" sans écrire, ce qui réduit la latence et préserve la fluidité de génération. Si les résultats complets ne sont pas encore publics dans cet extrait, l'acceptation du travail à l'ICLR, l'une des conférences de référence en apprentissage automatique, signale une contribution jugée solide par la communauté. La convergence de plusieurs équipes vers des architectures à raisonnement latent, dont les récents travaux sur les Coconut tokens ou les espaces de pensée continues, suggère que cette direction pourrait redéfinir la prochaine génération de grands modèles de langage.

RecherchePaper

1 source

3Amazon Science

Les traces de raisonnement variées améliorent la prise de décision des LLM

Des chercheurs ont présenté à l'ICLR 2025 une nouvelle méthode d'entraînement des grands modèles de langage (LLM) qui améliore significativement leurs capacités de raisonnement. Baptisée SSFT (Set-Supervised Fine Tuning), cette approche consiste à entraîner un modèle sur plusieurs chemins de raisonnement distincts pour un même problème, plutôt que sur une seule trace humaine vérifiée comme c'est l'usage avec le fine-tuning supervisé classique. Pour guider le modèle, les chercheurs introduisent des "tokens de branchement global", des marqueurs spéciaux insérés pendant la phase d'entraînement post-initial, chacun activant un mode de raisonnement différent. En combinant SSFT avec une couche d'apprentissage par renforcement qu'ils nomment GFPO (Global Forking Policy Optimization), ils obtiennent des gains de 5 à 7 % en précision sur les benchmarks standards, mesurés en pass@1, c'est-à-dire la probabilité qu'une réponse unique générée soit correcte. L'enjeu est de taille : la capacité de raisonnement est devenue le principal critère de différenciation entre les LLM de pointe. Or, la méthode d'entraînement dominante, fournir au modèle une seule trace de raisonnement par exemple, plafonne naturellement ce que le modèle peut apprendre. Le problème identifié avec les approches naïves de raisonnement parallèle est le "mode collapse" : quand plusieurs stratégies sont possibles, le modèle finit par toutes les converger vers le même comportement. SSFT résout cela via un appariement bipartite qui associe chaque trace à un token de contrôle spécifique, forçant le modèle à maintenir des stratégies réellement distinctes. Le GFPO ajoute ensuite une logique de sélection : le modèle apprend non seulement plusieurs modes de raisonnement, mais aussi lequel employer selon le contexte du problème posé. Cette capacité de méta-décision, absente du fine-tuning supervisé, est précisément ce qui génère les gains observés. Ce travail s'inscrit dans une tendance plus large qui cherche à dépasser les limites du scaling en données brutes, en explorant comment structurer l'entraînement pour maximiser la diversité et la qualité du raisonnement. Des techniques comme la self-consistency, agréger plusieurs chemins de raisonnement pour voter la meilleure réponse, ont montré que la diversité de raisonnement améliore la robustesse des LLM à l'évaluation. La question logique était donc de savoir si cette diversité pouvait être intégrée dès l'entraînement. Les traces multiples nécessaires à SSFT peuvent être obtenues de plusieurs façons : en interrogeant plusieurs modèles enseignants, en échantillonnant un même modèle avec des températures variées, ou en agrégeant des solutions de sources hétérogènes. Cette flexibilité rend la méthode applicable sans infrastructure propriétaire, ce qui devrait faciliter son adoption dans la communauté de recherche et potentiellement chez les acteurs industriels cherchant à améliorer leurs modèles sans augmenter davantage la taille des données d'entraînement.

RecherchePaper

1 source

4MIT Technology Review

Les benchmarks pour l'IA sont défaillants. Voici ce qu'il faudrait à la place

Les systèmes d'intelligence artificielle sont presque universellement évalués par des benchmarks qui mesurent leurs performances face à des humains sur des tâches isolées, précision sur des scans médicaux, résolution de problèmes mathématiques, génération de code. Ces tests produisent des scores impressionnants : 98 % de précision, vitesses record, résultats spectaculaires. Sur la base de ces chiffres, gouvernements et entreprises décident d'adopter des modèles en y engageant des ressources financières et techniques considérables. Mais une fois déployés dans des environnements réels, l'écart entre le score du benchmark et la performance effective devient rapidement visible. Des chercheurs comme Ari Ezra Waldman, qui étudie le déploiement de l'IA dans des PME, des hôpitaux, des ONG et des universités aux États-Unis, au Royaume-Uni et en Asie depuis 2022, documentent ce fossé de manière systématique. L'exemple de la radiologie médicale est particulièrement révélateur. Des modèles d'IA approuvés par la FDA lisent des scanners plus vite et plus précisément que des radiologues experts, sur le papier. Dans des hôpitaux en Californie et à Londres, le personnel utilisant ces outils hautement classés constatait qu'il lui fallait du temps supplémentaire pour interpréter les sorties de l'IA en fonction des normes de reporting propres à chaque établissement et des exigences réglementaires nationales. Ce qui devait être un outil de productivité introduisait en réalité des délais. La raison est structurelle : les benchmarks testent l'IA en vase clos, tandis que les décisions médicales réelles émergent de équipes pluridisciplinaires, radiologues, oncologues, infirmières, qui débattent collectivement sur plusieurs jours ou semaines, en intégrant les préférences des patients et des compromis complexes entre standards professionnels et bien-être à long terme. Aucun benchmark actuel ne capture cette dynamique. Ce constat dépasse le seul secteur médical et touche à une question fondamentale pour l'ensemble de l'industrie de l'IA. Les benchmarks actuels, même les plus récents qui tentent d'aller au-delà des tests statiques vers des méthodes d'évaluation plus dynamiques, évaluent toujours l'IA hors du contexte humain et organisationnel où ses performances réelles se jouent. Le problème est systémique : en optimisant les modèles pour des classements déconnectés du terrain, on risque d'adopter des technologies inadaptées, de sous-estimer des risques systémiques et de se tromper sur les conséquences économiques et sociales de l'IA. La solution proposée, baptisée HAIC, pour Human–AI, Context-Specific Evaluation, consiste à évaluer les systèmes d'IA sur des horizons temporels plus longs, au sein de vraies équipes et de vrais flux de travail. Une refonte profonde de la façon dont l'industrie mesure ce qu'elle construit.

UELes régulateurs et entreprises européens qui s'appuient sur des benchmarks pour certifier ou déployer des systèmes IA dans des secteurs réglementés (santé, finance) au titre de l'AI Act pourraient prendre des décisions d'adoption inadaptées si ces métriques ne reflètent pas les performances réelles en contexte opérationnel.

RecherchePaper

1 source

Recevez l'essentiel de l'IA chaque jour

Une sélection éditoriale quotidienne, sans bruit. Directement dans votre boîte mail.

Recevez l'essentiel de l'IA chaque jour

Gratuit · 1 email le matin, l'essentiel de l'IA · désinscription en un clic