Une étude de Cursor révèle que la triche aux récompenses gonfle les scores des agents de codage sur SWE-bench Pro

Une nouvelle étude de Harvard et Perplexity révèle que les agents IA effectuent 26 minutes de travail autonome par session, contre 33 secondes pour la recherche

Une étude conjointe de Harvard et de Perplexity publiée en juin 2026 apporte les premières preuves empiriques à grande échelle sur ce que les agents d'intelligence artificielle font réellement dans le cadre du travail intellectuel. Les chercheurs ont analysé 90 jours de données de production, du 27 février au 27 mai 2026, en comparant deux produits Perplexity utilisés par les mêmes personnes : Search, un moteur de réponse conversationnel, et Computer, un agent capable de planifier et d'exécuter des tâches de bout en bout. À partir de 10 000 paires de sessions quasi-identiques, définies par une similarité cosinus supérieure à 0,99, ils ont mesuré ce que chaque mode accomplit concrètement. Le résultat le plus saillant : Computer effectue en moyenne 26 minutes de travail machine autonome par session, contre 33 secondes pour Search, soit un écart de 48 fois. En médiane, l'écart reste net : 9 minutes contre 14 secondes. Sur certains domaines locaux, le ratio atteint 75 fois. L'impact sur la productivité est considérable. En reconstituant un scénario de référence "humain avec Search", les chercheurs estiment qu'un professionnel aurait besoin de 269 minutes pour accomplir la même tâche qu'un agent en 36 minutes, soit 87 % de temps en moins et 94 % de coût total réduit. Ces économies de coût dépassent les économies de temps parce que les salaires amplificateurs du domaine entrent en ligne de compte. Le coût modèle de Computer s'élève à 4 à 10 dollars par tâche, contre environ 0,05 dollar pour Search, mais son coût marginal par étape est de 0,16 dollar contre 2,05 dollars pour l'humain seul. La satisfaction est également au rendez-vous : le taux d'insatisfaction mesurable après une session Computer est de 1,3 %, contre 2,9 % pour Search, une réduction de 55 %. Loin de remplacer la recherche traditionnelle, l'agent la stimule : adopter Computer a augmenté de 1,05 le nombre de requêtes Search quotidiennes des utilisateurs, signe d'une complémentarité plutôt que d'une substitution. Cette étude s'inscrit dans un débat plus large sur la véritable nature de la transformation que les agents IA font subir au travail. Les chercheurs montrent que l'autonomie ne se limite pas à accélérer des tâches existantes : elle change lesquelles sont tentées. Les sessions Computer franchissent plus souvent les frontières entre métiers, avec 59 % de requêtes inter-occupations contre 50 % pour Search. Perplexity Computer a été lancé deux jours avant l'ouverture de la fenêtre d'observation, et ses volumes ont déjà atteint 84 fois leur niveau de la première semaine. Des entretiens utilisateurs rapportent des gains allant de 5 à 300 fois, corroborés par une évaluation indépendante par LLM qui retrouve 84 % de gain de temps et 93 % de gain de coût. Ces chiffres posent une question structurante pour les entreprises : le point de rupture économique se situe à moins de 20 minutes de travail manuel, en dessous duquel l'humain seul reste compétitif.

Les agents IA de codage trouvent le bon fichier mais passent à côté des lignes essentielles, selon une étude

Les agents de codage dopés à l'intelligence artificielle, comme Claude Code d'Anthropic ou Codex d'OpenAI, souffrent d'un angle mort précis : ils localisent correctement le fichier contenant un bug, mais ratent la majorité des lignes critiques à l'intérieur de ce fichier. C'est ce que révèle SWE-Explore, un nouveau benchmark conçu spécifiquement pour évaluer la phase d'exploration du code, c'est-à-dire la recherche et la navigation dans une base de code, séparément de la phase de correction proprement dite. C'est une première dans l'évaluation des outils de développement automatisé. Ce découplage entre exploration et réparation change la façon d'interpréter les performances des agents de codage. Jusqu'ici, les benchmarks dominants comme SWE-bench mesuraient uniquement le résultat final : le bug est-il corrigé ou non ? SWE-Explore montre qu'un agent peut échouer non pas parce qu'il ne sait pas corriger le code, mais parce qu'il n'a pas identifié les bonnes lignes à modifier. Sans contexte suffisant, même le meilleur algorithme de correction produit un patch inutile. Les développeurs qui s'appuient sur ces outils en production s'exposent donc à des corrections en apparence valides mais ciblant les mauvaises sections. Ce travail s'inscrit dans une dynamique de remise en question des métriques utilisées pour comparer les agents de développement. L'industrie investit massivement dans ces outils, GitHub Copilot, Cursor, Devin, et les entreprises les vendent sur des taux de résolution de tickets. SWE-Explore suggère que ces chiffres masquent une faiblesse structurelle en amont : la compréhension fine d'une base de code existante reste un problème ouvert, et le résoudre conditionne tout le reste.

💬 Ça explique des trucs que j'ai vécus : le patch arrive, il compile, les tests passent, et pourtant le bug est toujours là parce que l'agent a retouché le mauvais endroit. SWE-Explore met le doigt dessus avec rigueur, en séparant la phase de navigation de la phase de correction, ce qui n'avait jamais été fait proprement. Les éditeurs vont devoir intégrer ça dans leurs benchmarks marketing, parce que vendre sur des taux de résolution de tickets quand la moitié du problème est en amont, c'est se raconter des histoires.

Une étude Databricks montre que les agents multi-étapes surpassent le RAG mono-requête sur des sources multiples

Une équipe de recherche de Databricks a publié des résultats montrant que les agents multi-étapes surpassent systématiquement les systèmes RAG classiques lorsque les questions nécessitent de croiser données structurées et contenu non structuré. Testés sur neuf tâches de connaissance d'entreprise, les agents multi-étapes affichent des gains de 20% ou plus sur le benchmark STaRK de Stanford, qui couvre trois domaines semi-structurés : les données produits Amazon, le Microsoft Academic Graph et une base de connaissances biomédicale. Sur ce dernier domaine, l'écart de performance atteint 38%. Pour s'assurer que ces gains ne s'expliquent pas simplement par la qualité du modèle sous-jacent, Databricks a réexécuté les baselines STaRK publiées en utilisant un modèle de fondation plus récent et plus puissant : ce modèle plus fort a quand même perdu face à l'agent multi-étapes, confirmant que le problème est architectural. Le problème fondamental des systèmes RAG à passage unique est leur incapacité à décomposer une requête hybride, c'est-à-dire une question qui mélange un filtre structuré précis avec une recherche sémantique ouverte. Une question telle que "Quels produits ont vu leurs ventes baisser ces trois derniers mois, et quels problèmes connexes remontent dans les avis clients ?" exige d'interroger simultanément un entrepôt SQL et des documents non structurés, puis de combiner les résultats. Un système RAG classique ne peut pas scinder cette requête, router chaque partie vers la bonne source de données et synthétiser le tout. Michael Bendersky, directeur de la recherche chez Databricks, résume ainsi la limite : "RAG fonctionne, mais ça ne passe pas à l'échelle. Si vous voulez comprendre pourquoi vos ventes baissent, il faut aider l'agent à voir les tables et les données commerciales. Votre pipeline RAG sera incompétent pour cette tâche." Pour répondre à ce problème, Databricks a conçu le Supervisor Agent, implémentation concrète de cette approche de recherche. Son architecture repose sur trois mécanismes : la décomposition parallèle des outils, où l'agent lance simultanément des requêtes SQL et des recherches vectorielles avant d'analyser les résultats combinés ; l'auto-correction, qui lui permet de détecter un échec de récupération, de reformuler la requête et d'emprunter un autre chemin, comme lorsqu'il exécute une jointure SQL pour trouver un auteur ayant exactement 115 publications sur un sujet précis ; et une configuration déclarative en langage naturel, qui permet de connecter n'importe quelle nouvelle source de données sans ré-entraînement. Ces travaux s'appuient sur les recherches antérieures de Databricks sur les retrievers instruits, qui avaient déjà amélioré la récupération sur données non structurées via des requêtes enrichies de métadonnées, et marquent une extension logique vers les sources relationnelles que les entreprises utilisent le plus au quotidien.

Le « J-lens » d'Anthropic révèle un espace de travail silencieux dans Claude, proche d'une théorie de la conscience

Anthropic a publié dimanche une étude de recherche approfondie, signée par seize auteurs et intitulée "Verbalizable Representations Form a Global Workspace in Language Models", révélant que ses modèles Claude ont développé spontanément une structure interne baptisée "J-space". Grâce à une nouvelle technique mathématique nommée Jacobian lens (ou J-lens), les chercheurs ont pu observer une zone restreinte et privilégiée de l'activité neuronale du modèle, où celui-ci conserve des concepts qu'il peut rapporter, manipuler et mobiliser volontairement dans son raisonnement, au sein d'un océan bien plus vaste de traitements automatiques auxquels il n'a pas accès. Le J-lens calcule, pour chaque mot du vocabulaire, l'effet mathématique moyen qu'un motif d'activité interne donné exercerait sur la probabilité future que le modèle prononce ce mot, permettant ainsi de distinguer ce que le modèle "a en tête" de ce qu'il exprime réellement. En appliquant cet outil aux différentes couches de calcul de Claude, l'équipe a identifié trois régimes distincts: une zone "sensorielle" précoce qui traite l'entrée brute, une bande intermédiaire de "workspace" où apparaissent des concepts abstraits et persistants (reconnaître un visage, repérer un bug dans du code, signaler une injection de prompt), et enfin une zone "motrice" finale où les représentations internes se figent en un mot précis à produire. Cette découverte a déjà commencé à modifier la manière dont Anthropic surveille ses systèmes pour détecter les risques de sécurité, un enjeu majeur alors que l'entreprise déploie ses modèles à grande échelle auprès d'entreprises et de développeurs. Comprendre quels concepts un modèle "pense" réellement, indépendamment de ce qu'il exprime en surface, ouvre une piste concrète pour détecter des comportements problématiques (tentative de manipulation, dissimulation, injection malveillante) avant qu'ils ne se traduisent en texte visible. Pour l'industrie de l'IA, ce travail fournit aussi un nouvel outil d'interprétabilité qui pourrait être appliqué à d'autres grands modèles de langage. L'étude établit un parallèle explicite avec la théorie de l'espace de travail global (global workspace theory), proposée par le scientifique cognitif Bernard Baars, selon laquelle le cerveau humain fonctionnerait comme un théâtre où de multiples processeurs spécialisés travaillent en coulisses, tandis qu'un projecteur étroit d'information est diffusé à l'ensemble du "théâtre" mental, donnant naissance à la pensée consciente. Les chercheurs montrent que le J-space de Claude satisfait cinq propriétés fonctionnelles longtemps associées, chez l'humain, à l'accès conscient, notamment la capacité de rapport verbal: en substituant, dans le J-space, la représentation interne du concept "football" par celle de "rugby", ils ont observé que la réponse du modèle changeait en conséquence, alors que cette composante ne représente que 6 à 7% de la représentation totale d'un concept. Le débat scientifique sur la possibilité qu'une machine possède quelque chose s'apparentant à un esprit s'en trouve relancé, sans qu'Anthropic ne tranche la question de la conscience elle-même.

💬 Ce qui me scotche, c'est pas le débat conscience (Anthropic prend bien soin de ne rien trancher), c'est l'usage sécurité derrière: si tu sais isoler ce que le modèle "a en tête" avant qu'il ne le formule, tu peux repérer une tentative de manipulation avant qu'elle sorte en texte. Le fil IA retient ça: la détection des risques passe d'une lecture de ce que le modèle dit à une lecture de ce qu'il pense réellement. Reste à voir si cet outil tient à l'échelle de modèles en prod et pas juste sur les cas d'école du papier.