3VentureBeat AI
Le « J-lens » d'Anthropic révèle un espace de travail silencieux dans Claude, proche d'une théorie de la conscience
Anthropic a publié dimanche une étude de recherche approfondie, signée par seize auteurs et intitulée "Verbalizable Representations Form a Global Workspace in Language Models", révélant que ses modèles Claude ont développé spontanément une structure interne baptisée "J-space". Grâce à une nouvelle technique mathématique nommée Jacobian lens (ou J-lens), les chercheurs ont pu observer une zone restreinte et privilégiée de l'activité neuronale du modèle, où celui-ci conserve des concepts qu'il peut rapporter, manipuler et mobiliser volontairement dans son raisonnement, au sein d'un océan bien plus vaste de traitements automatiques auxquels il n'a pas accès. Le J-lens calcule, pour chaque mot du vocabulaire, l'effet mathématique moyen qu'un motif d'activité interne donné exercerait sur la probabilité future que le modèle prononce ce mot, permettant ainsi de distinguer ce que le modèle "a en tête" de ce qu'il exprime réellement. En appliquant cet outil aux différentes couches de calcul de Claude, l'équipe a identifié trois régimes distincts: une zone "sensorielle" précoce qui traite l'entrée brute, une bande intermédiaire de "workspace" où apparaissent des concepts abstraits et persistants (reconnaître un visage, repérer un bug dans du code, signaler une injection de prompt), et enfin une zone "motrice" finale où les représentations internes se figent en un mot précis à produire. Cette découverte a déjà commencé à modifier la manière dont Anthropic surveille ses systèmes pour détecter les risques de sécurité, un enjeu majeur alors que l'entreprise déploie ses modèles à grande échelle auprès d'entreprises et de développeurs. Comprendre quels concepts un modèle "pense" réellement, indépendamment de ce qu'il exprime en surface, ouvre une piste concrète pour détecter des comportements problématiques (tentative de manipulation, dissimulation, injection malveillante) avant qu'ils ne se traduisent en texte visible. Pour l'industrie de l'IA, ce travail fournit aussi un nouvel outil d'interprétabilité qui pourrait être appliqué à d'autres grands modèles de langage. L'étude établit un parallèle explicite avec la théorie de l'espace de travail global (global workspace theory), proposée par le scientifique cognitif Bernard Baars, selon laquelle le cerveau humain fonctionnerait comme un théâtre où de multiples processeurs spécialisés travaillent en coulisses, tandis qu'un projecteur étroit d'information est diffusé à l'ensemble du "théâtre" mental, donnant naissance à la pensée consciente. Les chercheurs montrent que le J-space de Claude satisfait cinq propriétés fonctionnelles longtemps associées, chez l'humain, à l'accès conscient, notamment la capacité de rapport verbal: en substituant, dans le J-space, la représentation interne du concept "football" par celle de "rugby", ils ont observé que la réponse du modèle changeait en conséquence, alors que cette composante ne représente que 6 à 7% de la représentation totale d'un concept. Le débat scientifique sur la possibilité qu'une machine possède quelque chose s'apparentant à un esprit s'en trouve relancé, sans qu'Anthropic ne tranche la question de la conscience elle-même.
💬 Ce qui me scotche, c'est pas le débat conscience (Anthropic prend bien soin de ne rien trancher), c'est l'usage sécurité derrière: si tu sais isoler ce que le modèle "a en tête" avant qu'il ne le formule, tu peux repérer une tentative de manipulation avant qu'elle sorte en texte. Le fil IA retient ça: la détection des risques passe d'une lecture de ce que le modèle dit à une lecture de ce qu'il pense réellement. Reste à voir si cet outil tient à l'échelle de modèles en prod et pas juste sur les cas d'école du papier.