Anthropic découvre un espace caché où Claude « réfléchit » aux concepts
Anthropic a développé une nouvelle technique baptisée J-lens qui offre le regard le plus précis jamais obtenu sur le fonctionnement interne des grands modèles de langage. Les chercheurs de l'entreprise ont utilisé cet outil pour mettre au jour une zone cachée qu'ils ont nommée J-space, à l'intérieur de Claude Opus 4.6, version phare du modèle d'Anthropic sortie en février. Ce J-space contient des mots isolés liés à ce que le modèle est susceptible de produire prochainement dans sa réponse, sans que ces mots apparaissent forcément dans le texte final. Le J-lens s'appuie sur un outil existant, le logit lens, capable d'identifier les mots qu'un modèle est sur le point de produire. Mais alors que le logit lens révèle ce que le modèle s'apprête à dire immédiatement, le J-lens capture ce qu'il pourrait exprimer un peu plus tard, à un niveau plus profond de son traitement. Anthropic a publié ces résultats dans un article cette semaine et s'est associé à Neuronpedia, plateforme open source dédiée à l'exploration des modèles de langage, pour proposer une démonstration accessible à tous.
Cette découverte compte parce qu'elle révèle que ce qu'un modèle de langage fait réellement peut différer de ce qu'il prétend faire, un enjeu central pour la sécurité et la fiabilité de l'IA. Anthropic affirme que surveiller les mots qui émergent dans le J-space donne un nouveau moyen de comprendre et de contrôler ses modèles, ce qui pourrait à terme permettre de détecter des comportements trompeurs ou des raisonnements cachés avant qu'ils ne se traduisent en réponses problématiques. Tom McGrath, cofondateur et directeur scientifique de Goodfire, une start-up concurrente travaillant aussi sur l'interprétabilité des modèles, a qualifié ces travaux d'importants et intéressants, tout en notant que le contenu du J-space reste souvent banal mais révèle parfois des thèmes ou processus de pensée internes surprenants.
Cette avancée s'inscrit dans un champ de recherche appelé interprétabilité mécanistique, où Anthropic occupe une position de pointe depuis deux ans en sondant le fonctionnement interne des modèles de langage. La MIT Technology Review a d'ailleurs désigné cette discipline comme l'une des technologies de rupture de l'année. Concrètement, un LLM peut être vu comme un empilement de couches de neurones, les couches d'entrée traitant le texte reçu, les couches de sortie préparant la réponse, et les couches intermédiaires effectuant les calculs complexes les plus déterminants. C'est précisément dans ces couches du milieu que le J-lens permet désormais de regarder, ouvrant la voie à de nouveaux outils de contrôle et de surveillance des modèles, à mesure que les enjeux de transparence et de confiance envers l'IA générative prennent de l'ampleur.
Dans nos dossiers
Vu une erreur factuelle dans cet article ? Signalez-la. Toutes les corrections valides sont publiées sur /corrections.




