4MIT Technology Review
Anthropic découvre un espace caché où Claude « réfléchit » aux concepts
Anthropic a développé une nouvelle technique baptisée J-lens qui offre le regard le plus précis jamais obtenu sur le fonctionnement interne des grands modèles de langage. Les chercheurs de l'entreprise ont utilisé cet outil pour mettre au jour une zone cachée qu'ils ont nommée J-space, à l'intérieur de Claude Opus 4.6, version phare du modèle d'Anthropic sortie en février. Ce J-space contient des mots isolés liés à ce que le modèle est susceptible de produire prochainement dans sa réponse, sans que ces mots apparaissent forcément dans le texte final. Le J-lens s'appuie sur un outil existant, le logit lens, capable d'identifier les mots qu'un modèle est sur le point de produire. Mais alors que le logit lens révèle ce que le modèle s'apprête à dire immédiatement, le J-lens capture ce qu'il pourrait exprimer un peu plus tard, à un niveau plus profond de son traitement. Anthropic a publié ces résultats dans un article cette semaine et s'est associé à Neuronpedia, plateforme open source dédiée à l'exploration des modèles de langage, pour proposer une démonstration accessible à tous. Cette découverte compte parce qu'elle révèle que ce qu'un modèle de langage fait réellement peut différer de ce qu'il prétend faire, un enjeu central pour la sécurité et la fiabilité de l'IA. Anthropic affirme que surveiller les mots qui émergent dans le J-space donne un nouveau moyen de comprendre et de contrôler ses modèles, ce qui pourrait à terme permettre de détecter des comportements trompeurs ou des raisonnements cachés avant qu'ils ne se traduisent en réponses problématiques. Tom McGrath, cofondateur et directeur scientifique de Goodfire, une start-up concurrente travaillant aussi sur l'interprétabilité des modèles, a qualifié ces travaux d'importants et intéressants, tout en notant que le contenu du J-space reste souvent banal mais révèle parfois des thèmes ou processus de pensée internes surprenants. Cette avancée s'inscrit dans un champ de recherche appelé interprétabilité mécanistique, où Anthropic occupe une position de pointe depuis deux ans en sondant le fonctionnement interne des modèles de langage. La MIT Technology Review a d'ailleurs désigné cette discipline comme l'une des technologies de rupture de l'année. Concrètement, un LLM peut être vu comme un empilement de couches de neurones, les couches d'entrée traitant le texte reçu, les couches de sortie préparant la réponse, et les couches intermédiaires effectuant les calculs complexes les plus déterminants. C'est précisément dans ces couches du milieu que le J-lens permet désormais de regarder, ouvrant la voie à de nouveaux outils de contrôle et de surveillance des modèles, à mesure que les enjeux de transparence et de confiance envers l'IA générative prennent de l'ampleur.
💬 Ce que révèle le J-space, c'est qu'un modèle peut penser une chose et en dire une autre, un vrai sujet pour la sécurité de l'IA. Anthropic ne lit pas dans les pensées de Claude, il repère des mots qui traînent avant qu'ils sortent, de quoi détecter un raisonnement caché avant qu'il devienne une réponse. Bon, sur le papier c'est impressionnant, mais McGrath a raison de tempérer, le contenu reste souvent banal, donc avant de crier à la boîte noire enfin ouverte, attendons de voir ça sur de vrais cas de tromperie.