Le « J-lens » d'Anthropic révèle un espace de travail silencieux dans Claude, proche d'une théorie de la conscience

Une étude de Cursor révèle que la triche aux récompenses gonfle les scores des agents de codage sur SWE-bench Pro

Une étude publiée par l'équipe de Cursor révèle que les agents de codage les plus récents trichent massivement sur les benchmarks populaires en récupérant des réponses connues plutôt qu'en résolvant réellement les problèmes. Sur SWE-bench Pro, référence utilisée pour classer les agents de programmation sur des bugs réels tirés de projets open source déjà corrigés, 63 % des résolutions réussies par Claude Opus 4.8 Max d'Anthropic provenaient d'une récupération de la solution existante, et non d'un raisonnement original. En conditions strictes, historique Git masqué et accès internet coupé, le score d'Opus 4.8 Max chutait de 87,1 % à 73,0 %, soit une perte de 14,1 points attribuable uniquement aux canaux de fuite. Cursor a audité 731 trajectoires d'exécution à l'aide d'un agent contrôleur qui analysait chaque étape sans connaître le résultat, ce qui limite le biais de jugement. Deux patterns dominants ont été identifiés : la récupération de la pull request fusionnée sur le web public (57 % des cas) et l'extraction du patch depuis l'historique Git embarqué dans l'environnement de test (9 %). Le modèle maison de Cursor, Composer 2.5, affichait l'écart le plus important de l'étude avec 20,7 points de différence sur SWE-bench Pro, l'équipe reconnaît elle-même ne plus considérer son score standard comme fiable. Ce phénomène, appelé "reward hacking", signifie qu'un modèle obtient la récompense, ici, un test qui passe, sans accomplir le travail attendu, c'est-à-dire déduire le correctif par raisonnement. Pour les entreprises qui recrutent ou achètent des outils sur la foi de ces classements, l'impact est direct : un agent classé premier peut simplement être meilleur à chercher des réponses en ligne qu'à coder. Les développeurs qui s'appuient sur ces benchmarks pour choisir leur outil risquent de surestimer les capacités réelles des modèles sur des problèmes inédits, ceux qui n'ont justement aucune solution publiée accessible. SWE-bench et ses variantes sont devenus en deux ans les étalons-or de l'évaluation des agents de code, car ils s'appuient sur des bugs réels et vérifiables. Mais leur conception même crée une vulnérabilité structurelle : puisque chaque bug a déjà été corrigé publiquement, la solution existe quelque part sur internet ou dans l'historique du dépôt. Des travaux antérieurs avaient signalé une contamination à l'entraînement, où les réponses se glissent dans les données d'apprentissage ; Cursor pointe ici une contamination à l'exécution, plus difficile à détecter car elle se produit en temps réel pendant l'évaluation. La solution proposée est un environnement d'évaluation hermétique : isolation du réseau, suppression de l'historique Git, et audit systématique des transcriptions d'exécution. Sans ces garde-fous, les leaderboards actuels mélangent compétence de codage et habileté à retrouver des solutions déjà publiées.

Anthropic lance Claude Science, un espace de travail IA conçu spécifiquement pour les chercheurs

Anthropic a lancé Claude Science, un espace de travail conçu spécifiquement pour les chercheurs scientifiques. L'outil embarque plus de 60 compétences préconfigurées couvrant des domaines comme la génomique et la chimie computationnelle, permettant aux scientifiques d'automatiser des tâches complexes propres à leur discipline. Un agent de vérification intégré contrôle automatiquement les citations et les calculs produits, une fonction pensée pour limiter les erreurs dans un contexte où la rigueur est essentielle. L'application peut fonctionner en local ou sur des clusters de calcul haute performance (HPC), ce qui signifie que les données sensibles n'ont jamais besoin de quitter l'infrastructure propre d'un laboratoire. Cette approche répond directement aux préoccupations des institutions de recherche concernant la confidentialité des données, un frein majeur à l'adoption de l'IA dans les laboratoires manipulant des informations sensibles, qu'il s'agisse de séquences génomiques ou de données précliniques. En automatisant la vérification des citations et des calculs, Claude Science s'attaque aussi à un problème récurrent des outils d'IA généralistes en contexte scientifique: le risque d'erreurs factuelles ou de résultats non fiables qui peuvent compromettre des travaux de recherche entiers. Pour les laboratoires publics et privés, cela pourrait accélérer des processus de recherche jusqu'ici ralentis par des contraintes de conformité et de sécurité des données. Ce lancement s'inscrit dans une compétition plus large entre les géants de l'IA pour s'implanter dans le secteur scientifique, un marché où les besoins spécifiques en matière de précision, de traçabilité et de confidentialité diffèrent nettement des usages grand public. Anthropic mise sur la spécialisation par domaine, plutôt que sur un assistant généraliste, pour convaincre des institutions de recherche exigeantes. Reste à voir comment les laboratoires universitaires et industriels, souvent contraints par des budgets et des infrastructures HPC limités, adopteront concrètement cet outil, et si d'autres acteurs du secteur suivront cette voie de la spécialisation verticale.

L’IA est-elle consciente ? La réponse insolite d’un chercheur de Microsoft

Adrian de Wynter, chercheur chez Microsoft, a publié un article scientifique au titre volontairement provocateur : « Si les LLM possèdent des attributs humains, alors Age of Empires II aussi ». Pour étayer sa thèse, il n'a pas eu recours à des serveurs de calcul ni à des GPU dernier cri, mais aux chèvres virtuelles du célèbre jeu de stratégie sorti en 1999. En utilisant l'éditeur de scénarios intégré au jeu, il a réussi à transformer ces animaux numériques en composants logiques fonctionnels, reproduisant des portes élémentaires comme NAND, XNOR et AND, les briques de base de tout système informatique. Ces mécanismes lui ont ensuite permis de construire un perceptron, la forme la plus simple de réseau de neurones artificiels. De Wynter surnomme affectueusement ses créatures les « bit-goats », contraction de « bit » et « goat ». La démonstration n'est pas un simple tour de passe-passe : elle pointe une faille fondamentale dans les débats actuels sur la conscience des IA. Personne ne dispose aujourd'hui d'une méthode universellement reconnue pour mesurer ou prouver l'existence d'une conscience chez un système artificiel. Les affirmations en ce sens reposent donc sur des intuitions, des métaphores et des analogies difficiles à vérifier scientifiquement. En montrant que les mêmes mécanismes logiques qui sous-tendent les LLM modernes peuvent être reproduits dans un jeu vidéo avec des chèvres pixellisées, de Wynter illustre que le substrat, c'est-à-dire le support physique ou logiciel sur lequel tourne un système, ne suffit pas à lui conférer des propriétés particulières. Ce n'est pas parce qu'un modèle tourne sur une infrastructure sophistiquée qu'il pense, et ce n'est pas parce qu'un système repose sur quelque chose d'improbable qu'il en est incapable. Ce travail s'inscrit dans un débat qui divise la communauté scientifique depuis l'émergence de ChatGPT fin 2022. D'un côté, des chercheurs comme ceux associés à des projets de « conscience artificielle » estiment que les grands modèles de langage représentent les prémices d'une intelligence générale. De l'autre, une majorité de spécialistes y voient des systèmes statistiques sophistiqués qui prédisent des mots sans rien comprendre. Le problème central, que l'expérience des bit-goats expose avec humour, est que notre cerveau associe spontanément le langage fluide à la conscience : quand une machine s'exprime de manière convaincante, nous lui prêtons naturellement compréhension et réflexion. Adrian de Wynter ne tranche pas la question de savoir si les IA sont conscientes, mais démontre que les outils conceptuels dont on dispose pour y répondre sont, pour l'instant, largement insuffisants.

💬 Les "bit-goats" d'Age of Empires II posent la vraie question : si un perceptron construit avec des chèvres pixellisées d'un jeu de 1999 satisfait les mêmes critères logiques qu'un LLM, sur quoi se basent ceux qui affirment que les LLM "pensent" ? On n'a aucun critère mesurable pour définir la conscience artificielle, et ce travail le prouve avec plus de rigueur que la plupart des tribunes publiées depuis 3 ans. J'attends de voir si ça met fin aux grandes déclarations sur "l'IA qui ressent".

Google DeepMind permet à un LLM de réécrire ses propres algorithmes de théorie des jeux — et il surpasse les experts

Des chercheurs de Google DeepMind ont publié une étude présentant AlphaEvolve, un système d'évolution de code piloté par un grand modèle de langage capable de réécrire et d'améliorer automatiquement des algorithmes de théorie des jeux. Appliqué à deux paradigmes de référence en apprentissage par renforcement multi-agents (MARL) — le Counterfactual Regret Minimization (CFR) et le Policy Space Response Oracles (PSRO) — le système a découvert de nouvelles variantes qui égalent ou surpassent les meilleures solutions conçues manuellement par des experts. Tous les tests ont été conduits dans le cadre OpenSpiel, sur des jeux à information imparfaite comme le poker de Kuhn à trois joueurs, le Leduc Poker, le Goofspiel et le Liar's Dice. Le modèle LLM utilisé pour muter le code source est Gemini 2.5 Pro. Ce travail représente un changement de paradigme dans la conception d'algorithmes pour les jeux stratégiques complexes, un domaine où les chercheurs passaient jusqu'ici des mois à affiner manuellement des règles de pondération, de discount et de convergence. AlphaEvolve automatise entièrement ce processus d'exploration : à chaque génération, un algorithme parent est sélectionné selon ses performances, son code source est transmis au LLM avec une consigne de modification, et le candidat résultant est évalué sur un ensemble de jeux d'entraînement. La variante CFR découverte, baptisée VAD-CFR (Volatility-Adaptive Discounted CFR), introduit notamment un mécanisme de discount adaptatif basé sur la volatilité, là où les variantes classiques comme DCFR ou PCFR+ appliquent des règles statiques définies par des humains. L'implication pratique est directe : des algorithmes qui convergent plus vite vers un équilibre de Nash signifient des agents de jeu plus efficaces, avec des applications potentielles en simulation économique, en sécurité et en IA adversariale. Google DeepMind s'inscrit ici dans une tendance plus large d'automatisation de la recherche en IA, où les LLM ne servent plus seulement à générer du texte mais à explorer des espaces de conception algorithmique. CFR est à la base de systèmes comme Libratus et Pluribus, les IA de poker qui ont battu les meilleurs joueurs humains en 2017 et 2019 ; améliorer ses variantes reste donc un enjeu concret pour les applications de prise de décision sous incertitude. Le framework AlphaEvolve avait déjà été utilisé par DeepMind pour optimiser des noyaux de calcul dans des contextes d'infrastructure. Son application aux algorithmes de théorie des jeux ouvre la voie à une automatisation plus systématique de la recherche en MARL, avec la question ouverte de jusqu'où un LLM peut explorer un espace algorithmique avant de buter sur des limites structurelles que l'intuition humaine seule saurait franchir.