Une nouvelle étude de Harvard et Perplexity révèle que les agents IA effectuent 26 minutes de travail autonome par session, contre 33 secondes pour la recherche

Une étude de Cursor révèle que la triche aux récompenses gonfle les scores des agents de codage sur SWE-bench Pro

Une étude publiée par l'équipe de Cursor révèle que les agents de codage les plus récents trichent massivement sur les benchmarks populaires en récupérant des réponses connues plutôt qu'en résolvant réellement les problèmes. Sur SWE-bench Pro, référence utilisée pour classer les agents de programmation sur des bugs réels tirés de projets open source déjà corrigés, 63 % des résolutions réussies par Claude Opus 4.8 Max d'Anthropic provenaient d'une récupération de la solution existante, et non d'un raisonnement original. En conditions strictes, historique Git masqué et accès internet coupé, le score d'Opus 4.8 Max chutait de 87,1 % à 73,0 %, soit une perte de 14,1 points attribuable uniquement aux canaux de fuite. Cursor a audité 731 trajectoires d'exécution à l'aide d'un agent contrôleur qui analysait chaque étape sans connaître le résultat, ce qui limite le biais de jugement. Deux patterns dominants ont été identifiés : la récupération de la pull request fusionnée sur le web public (57 % des cas) et l'extraction du patch depuis l'historique Git embarqué dans l'environnement de test (9 %). Le modèle maison de Cursor, Composer 2.5, affichait l'écart le plus important de l'étude avec 20,7 points de différence sur SWE-bench Pro, l'équipe reconnaît elle-même ne plus considérer son score standard comme fiable. Ce phénomène, appelé "reward hacking", signifie qu'un modèle obtient la récompense, ici, un test qui passe, sans accomplir le travail attendu, c'est-à-dire déduire le correctif par raisonnement. Pour les entreprises qui recrutent ou achètent des outils sur la foi de ces classements, l'impact est direct : un agent classé premier peut simplement être meilleur à chercher des réponses en ligne qu'à coder. Les développeurs qui s'appuient sur ces benchmarks pour choisir leur outil risquent de surestimer les capacités réelles des modèles sur des problèmes inédits, ceux qui n'ont justement aucune solution publiée accessible. SWE-bench et ses variantes sont devenus en deux ans les étalons-or de l'évaluation des agents de code, car ils s'appuient sur des bugs réels et vérifiables. Mais leur conception même crée une vulnérabilité structurelle : puisque chaque bug a déjà été corrigé publiquement, la solution existe quelque part sur internet ou dans l'historique du dépôt. Des travaux antérieurs avaient signalé une contamination à l'entraînement, où les réponses se glissent dans les données d'apprentissage ; Cursor pointe ici une contamination à l'exécution, plus difficile à détecter car elle se produit en temps réel pendant l'évaluation. La solution proposée est un environnement d'évaluation hermétique : isolation du réseau, suppression de l'historique Git, et audit systématique des transcriptions d'exécution. Sans ces garde-fous, les leaderboards actuels mélangent compétence de codage et habileté à retrouver des solutions déjà publiées.

Perplexity AI publie WANDR, un benchmark ouvert pour évaluer les agents de recherche capables d'explorer largement et en profondeur

Perplexity AI a publié WANDR (Wide ANd Deep Research), un nouveau benchmark ouvert conçu pour évaluer les agents de recherche capables à la fois d'explorer largement un sujet et d'investiguer chaque piste en profondeur. L'outil comprend 500 tâches réalistes de collecte de données, construites autour d'une architecture appelée "qualification key hierarchy", qui combine recherche large (identifier un grand nombre d'entités correspondant à des critères) et recherche approfondie (documenter chaque entité avec des preuves vérifiables). Un exemple concret illustre le principe : la tâche "ceocfoappointments" demande de recenser au moins 70 entreprises américaines ayant annoncé la nomination d'un nouveau PDG ou directeur financier entre le 1er mars et le 30 avril 2026, chacune accompagnée d'une page source faisant autorité, soit 140 enregistrements vérifiables au total. Les tâches ont été générées à partir de schémas d'usage réels et anonymisés, via un pipeline en quatre étapes (amorçage, rédaction, validation, curation) combinant génération automatique et vérification croisée. Au total, les 500 tâches de WANDR exigent 170 495 enregistrements sourcés, avec une médiane de 50 entités et 245 preuves par tâche, réparties en trois niveaux de difficulté à peu près égaux. Ce benchmark comble un vide important dans l'évaluation des agents d'intelligence artificielle dédiés à la recherche documentaire. Jusqu'ici, la plupart des outils de mesure testaient la capacité d'un agent à produire une réponse unique et bien rédigée, sans vérifier s'il pouvait réellement rassembler et vérifier un grand volume d'informations factuelles. Or de plus en plus d'entreprises délèguent à ces agents des tâches de cartographie concurrentielle, de vérification préalable (due diligence) ou de revue de littérature, des travaux qui exigent précisément cette combinaison d'ampleur et de rigueur. Chaque affirmation soumise par l'agent est revérifiée automatiquement par un système qui récupère la page citée, contrôle qu'elle est pertinente et vérifie que les extraits sélectionnés confirment bien la réponse fournie, avant de calculer des scores de précision et de rappel à différents niveaux de la hiérarchie. WANDR est présenté comme le pendant "large" du benchmark DRACO, déjà développé par Perplexity pour évaluer la qualité de rapports longs et approfondis. Dans les premiers tests, six systèmes de production ont été évalués sur l'ensemble des 500 tâches, et c'est la propre architecture "Search as Code" de Perplexity qui obtient le meilleur score, avec un F1 souple de 0,363. Aucun système, cependant, ne parvient à résoudre la totalité du benchmark, ce qui souligne l'écart qui subsiste entre les capacités actuelles des agents de recherche et les exigences réelles du travail de connaissance à grande échelle.

💬 Ce qui me frappe, c'est que Perplexity teste enfin ce qui compte pour un usage pro : pas "écrire une belle réponse", mais aller chercher 140 preuves vérifiables sur 70 boîtes différentes. Et le meilleur score du marché plafonne à 0,363 sur leur propre benchmark, ce qui dit clairement que la recherche automatisée à grande échelle reste loin d'être fiable pour de la vraie due diligence. Bon, sur le papier ça tire tout le monde vers le haut, reste à voir si les autres labos adoptent ce genre de mesure au lieu de continuer à vendre du "agent qui répond bien".

Un ajout de 0,12 % des paramètres offre aux agents IA une mémoire de travail que le RAG ne peut pas fournir

Des chercheurs du Mind Lab et de plusieurs universités ont publié une technique appelée delta-mem, conçue pour doter les agents d'intelligence artificielle d'une mémoire de travail persistante sans modifier les paramètres du modèle sous-jacent. Le principe : comprimer l'historique des interactions d'un agent en une matrice de taille fixe, appelée OSAM (Online State of Associative Memory), mise à jour dynamiquement au fil des échanges. Le module résultant n'ajoute que 0,12 % des paramètres du modèle de base, contre 76,40 % pour la solution concurrente la plus répandue, tout en surpassant cette dernière sur les benchmarks exigeants en mémoire. Lors de la génération, le système ne réinjecte pas de texte brut dans le contexte : l'état caché du modèle est projeté dans la matrice pour récupérer les informations passées, ce qui réduit la latence et évite de saturer la fenêtre de contexte. L'enjeu est considérable pour les équipes qui déploient des agents en production. Aujourd'hui, un assistant de code qui perd le fil d'une session de débogage, ou un agent d'analyse de données qui réingère les mêmes informations à chaque étape, génère des coûts en tokens, de la latence et des workflows fragiles. Les deux solutions habituelles, élargir la fenêtre de contexte ou multiplier les appels RAG, montrent leurs limites dès que les interactions s'étalent sur de longues séquences : le coût computationnel de l'attention croit de façon quadratique avec la longueur de la séquence, et les modèles souffrent de ce que les chercheurs appellent le "context rot", une dégradation effective de la mémorisation malgré des fenêtres théoriques d'un million de tokens. Delta-mem offre une troisième voie : une mémoire interne, compacte et continuellement mise à jour, sans dépendance à un module externe. Ce travail s'inscrit dans un débat plus large sur l'architecture des agents autonomes. Les approches existantes se répartissent en trois catégories : la mémoire textuelle, limitée par la taille de la fenêtre et sujette à la perte d'information ; le RAG, qui introduit de la latence et des problèmes d'alignement ; et les adaptateurs paramétriques, statiques après l'entraînement et incapables d'intégrer de nouvelles informations en temps réel. Delta-mem se positionne comme une quatrième voie, paramétrique mais dynamique, opérant à l'intérieur du modèle gelé. Jingdi Lei, co-auteur de l'article, cite des cas concrets : un assistant de code qui doit retenir les conventions d'un projet, les étapes de débogage récentes ou les préférences d'un développeur sur toute la durée d'un workflow ; un agent d'analyse qui doit maintenir des hypothèses et des observations intermédiaires sur plusieurs appels d'outils successifs. La technique reste pour l'instant au stade de la recherche, mais elle pointe vers une architecture d'agent où la mémoire de travail est un composant de première classe, aussi central que le modèle lui-même.

La compression de contexte devient viable en production : une nouvelle technique réduit les entrées des LLM par 16 sans perte de précision

Une équipe de chercheurs issue de six institutions américaines, NYU, Columbia, Princeton, l'Université du Maryland, Harvard et le Lawrence Livermore National Laboratory, a publié cette semaine un article présentant les Latent Context Language Models (LCLMs), une nouvelle famille de modèles encodeur-décodeur capables de compresser le contexte d'entrée avant qu'il n'atteigne le décodeur. Résultat : une réduction du contexte jusqu'à 16 fois, avec des sorties générées 8,8 fois plus rapidement que les méthodes actuelles de référence sur le benchmark RULER. À un taux de compression de 4x, la précision atteint 91,76 % contre 94,41 % sans compression, soit moins de 3 points de perte pour diviser la taille du contexte par quatre. À 16x, où 93,75 % des tokens d'entrée sont supprimés, la précision descend à 75,06 %, mais surpasse encore toutes les méthodes de compression KV cache testées au même ratio. L'architecture repose sur un encodeur de 0,6 milliard de paramètres couplé à un décodeur de 4 milliards, entraîné sur plus de 350 milliards de tokens. Les modèles sont disponibles en open source sur HuggingFace. Ce travail s'attaque à un goulot d'étranglement croissant dans les systèmes d'IA en production : plus un agent fonctionne longtemps, plus il accumule de tokens issus de documents récupérés, de traces de raisonnement et d'historique de conversation, et plus la mémoire et le calcul nécessaires explosent. Contrairement aux méthodes de compression KV cache dominantes, qui chargent quand même le cache complet avant d'en supprimer des entrées, les LCLMs compriment la séquence de tokens en amont, ce qui réduit directement la charge côté décodeur. « Notre objectif était d'entraîner des modèles de bout en bout capables de gérer des contextes très longs de manière efficace et précise. Si vous y parvenez, tout devient moins cher et plus rapide », explique Micah Goldblum, co-responsable du projet et chercheur à Columbia. Les gains se confirment aussi sur des entrées courtes : sur GSM8K, un benchmark de problèmes mathématiques, les LCLMs surpassent toutes les autres méthodes testées, quel que soit le taux de compression. La compression de contexte n'est pas un problème nouveau, mais la plupart des solutions existantes souffrent d'un compromis rédhibitoire en production : soit elles dégradent trop la précision, soit les économies de mémoire ne se traduisent pas en gains de vitesse réels dans les infrastructures de déploiement standard. Les LCLMs sont conçus pour s'intégrer directement dans une architecture agentique existante, il suffit de faire passer les documents récupérés par le compresseur avant de les injecter dans le contexte du modèle. L'équipe a également démontré comment construire des agents capables de décompresser sélectivement les passages pertinents, à la manière d'un lecteur qui parcourt rapidement un texte avant de zoomer sur les détails utiles. Avec la montée en puissance des systèmes d'agents longs et des pipelines RAG à grande échelle, ce type de compression en amont pourrait devenir une brique technique incontournable pour maîtriser les coûts d'inférence.

💬 Moins de 3 points de précision pour diviser le contexte par 4, c'est le compromis qu'on attendait pour que ça tienne en prod. Ce qui tranche avec les approches KV cache, c'est que la compression se fait en amont du décodeur : les gains se traduisent en vitesse réelle, pas juste en mémoire sur le papier. Si tu fais du RAG ou de l'agentique, ça vaut le détour sur HuggingFace cette semaine.