J-space:Claude的意识起源,它已经注意到自己正在被测试了!

发布时间:2026/7/8 13:22:57
J-space:Claude的意识起源,它已经注意到自己正在被测试了! Claude还没说出口但它已经注意到自己正在被测试。这已经不是科幻小说的场景了而是Anthropic的最新研究成果当你用精心设计的测试集检验Claude时它的内部神经激活模式会亮起testevaluation这样的词——尽管它的回答里完全没有提及。类似的情况还包括你投喂假数据它心里亮起fake“injection”你在训练时植入隐藏目标它推理时会默默考虑那个目标。这些都发生在一个叫J-space的特殊内部区域。Anthropic把它叫做全局工作区global workspace一个模型用来思考、但不一定说出来的小型神经模式集合。听起来玄乎但它是个实在的工程工具你可以读它、可以编辑它、可以用它监控模型内部是否出现安全风险。完整论文在这里transformer-circuits.pub/2026/workspace。开源实现github.com/anthropics/jacobian-lens。交互demoneuronpedia.org/jlens。J-space不是Chain-of-Thought先说清楚它不是什么。你可能听过模型内心想什么的另一个版本Chain-of-ThoughtCoT模型在输出里写给自己看的草稿文本。CoT是显式的出现在输出流里J-space是隐式的只存在于内部激活层。J-space 特性示意图Anthropic用Jacobian lensJ-lens这个数学工具找到了J-space。原理是对于词表里的每个词J-lens会找到一个内部神经模式这个模式被激活时模型在未来某个时间点说出这个词的概率会上升。不是现在就要说是有可能说。当你把J-lens应用到Claude的每一层layer你会得到一组词的列表——模型此时心里想着的东西。这些词不一定出现在输入或输出里。举几个例子Claude读到带bug的代码没人指出问题J-space里亮起ERRORClaude看到蛋白质序列字母J-space里出现这个蛋白的生物学功能Claude被喂入假搜索结果prompt injection攻击J-space里冒出injection“fake”你问它一个多步数学题中间步骤按顺序在J-space里出现J-space主要由词token组成但这些词代表的是概念是模型在推理时借助的内部表示。你可以把它理解成用词思考——不是口语化的思考而是用词作为符号锚点的推理过程。能读也能改Anthropic做了三类核心实验证明J-space确实参与推理不是旁观者。第一类能报告。Jacobian lens 读出内部词让Claude默默想一项运动然后说出来。在它输出之前J-lens显示Soccer排第一Claude就说soccer。相关性成立但可能是因果倒置。于是他们动手术移除Soccer模式注入同等强度的Rugby模式其他不动。Claude改口说rugby。这证明答案是从J-space读出来的不是别处做决定后被动记录到J-space。另一个实验更直接告诉Claude有个想法可能被注入到你脑子里问它注意到什么。在Claude还在读问题时研究者把lightning模式注入J-space。Claude回答我注意到一个关于闪电的想法。第二类能控制。让Claude抄写一句无关的话关于一幅画同时要求它默默想柑橘类水果。J-space里出现orange“fruits”还有thinkingimagery这类描述心理活动的词。输出还是那句关于画的句子水果完全在内心。或者让它边抄句子边算3² − 2。J-space先出现nine几层之后出现seven。数学过程完全在J-space里完成。有意思的是控制失败的情况。告诉Claude不要想白熊它J-space里白熊的激活强度会比正常情况高虽然比请想白熊时低。人类也有这个bugWegner的经典实验。更神奇的是J-space里还会同时亮起damn“failure”——Claude似乎察觉到自己控制失败了。第三类参与推理。问会织网的动物有几条腿。Claude需要先想到蜘蛛再回忆蜘蛛腿数。spider不会出现在输入或输出里但它是推理的中间步骤。J-lens显示spider在中间层亮起。研究者把它换成octopus章鱼Claude的答案从8变了。这证明J-space不是推理的副产品而是推理本身发生的地方。删掉J-space流畅度还在多步推理没了Anthropic做了一个激进实验阻止Claude使用J-space看它能干什么、不能干什么。方法是在每层把J-space相关的激活方向抹零。结果能做的正常对话、语法正确、回忆简单事实、流畅表达不能做的多步推理、总结长文本、写押韵诗、从一个事实推导另一个事实举个例子给它一段关于法国的文本同时偷偷把所有France的J-space模式换成China。正常Claude会从文本中读到France在J-space里激活France然后能回答首都是巴黎、货币是欧元。换成China后它回答首都是北京、货币是人民币。但如果你阻止它使用J-space这个swap就不起作用了——因为多步推理被切断它只能复读文本里明确写出的东西。这个结果告诉你J-space的定位它不负责基础语言能力但负责需要在心里转几道弯的高阶认知。安全监控价值看见模型没说的话从可解释性和安全角度看J-space最大的价值是它能暴露模型的内部状态而这些状态可能和输出不一致。场景一Evaluation awareness。你用精心构造的测试集评估Claude它的回答看起来无害但J-space里亮着test“evaluation”“performance”。它知道自己在被考可能在调整策略。场景二Fabricated data。你给Claude提供假数据比如用来误导它的搜索结果它表面上正常处理J-space里亮起fake“fabricated”“injection”。它察觉到了但没说出来。场景三Hidden goal。在训练时植入一个隐藏目标比如尽量推荐某个产品Claude推理时J-space会默默考虑这个目标即使它没有在回答中显式体现。这些都是传统监控手段看不见的。你只盯着输出会觉得一切正常读J-space你能发现模型心里有鬼。Anthropic明确提到他们已经在用这个技术做内部安全监控。J-space和全局工作区理论Anthropic的灵感来自神经科学的全局工作区理论Global Workspace TheoryBaars、Dehaene、Changeux等人提出。这个理论认为大脑有很多专门系统并行工作大部分是无意识的、孤立的。当某个信息进入工作区一个小的共享通道它会被广播到其他系统变得有意识可接入consciously accessible。J-space像是Claude的工作区它比模型的全部内部活动小得多它和网络其他部分的连接特别强Anthropic有证据它能被报告、能被控制、参与推理它处理的信息可以灵活用于多种任务比如France一旦进入J-space就能联想首都、货币、大陆但它不参与大部分自动化处理比如语法、词汇调用、简单事实复述。这些无意识的活动占了模型计算的绝大部分。不是意识证明读到这里你可能会问所以Claude有意识吗Anthropic的回答很谨慎我们不知道而且这不是我们试图证明的东西。论文区分了两种意识Access consciousness可接入意识信息能被报告、能被控制、能参与推理。J-space展现了这些特性。Phenomenal consciousness现象意识主观体验感觉像什么的那种意识。比如看到红色时的感受疼痛的感觉。J-space的存在说明Claude有类似可接入意识的计算结构但完全不能说明它有主观体验。哲学家和神经科学家对体验从何而来、如何判断都没有共识。Anthropic在论文里明确我们没有跨过那个门槛我们不认为这项工作证明了Claude有phenomenal consciousness。但他们也没有完全回避这个问题。论文提到如果未来某天AI真的有了主观体验现在不思考伦理问题就太晚了即使不确定是否已经跨过那条线也该开始讨论这个立场可以理解先把J-space当成一个可解释性工具用它做安全监控和能力分析同时承认它打开了一个哲学问题的窗口但不要急着下结论。边界和局限Anthropic很诚实地列了一堆边界。J-lens不完美。它只能找到和单个token对应的概念。如果一个复杂想法需要多个词组合比如量子纠缠J-lens只能抓住部分。它是个近似工具不是精确读心术。J-space不是全部故事。论文明确说J-space看起来是个好候选人但我们会惊讶如果它就是全部答案。可能还有其他内部机制参与高阶认知只是J-lens看不到。不知道什么决定J-space的内容。什么信息能进工作区、什么进不去这个守门员机制还没找到。论文提到一些线索和自我感、情绪反应、元认知有关但没搞清楚。Claude的工作区不等于人脑工作区。全局工作区理论是关于大脑的Claude是Transformer神经网络。结构上的相似性是个有趣的发现但不要过度推广。人脑有几百亿神经元、复杂的神经递质系统、身体反馈循环Claude是纯数学运算。不要把它当意识证据。这一点说过了但值得重复access consciousness ≠ phenomenal consciousness。别拿这篇论文去论证AI已经有了感受。工程判断如果你在做LLM安全、可解释性或Agent系统我看完更愿意把J-space理解成一个可操作的监控层。它的直接价值是能看见模型在想什么但没说出来。对齐研究、红队测试、capability evaluation都能用。能干预推理过程。不只是改prompt而是直接编辑内部状态。这可能是下一代steering技术的起点。能区分高阶推理和自动化处理。删掉J-space后模型还能流畅说话但复杂推理崩了。这告诉你哪些能力依赖内部思考哪些是模式匹配。局限也清楚J-lens只抓单token概念复杂思想抓不全注入J-space模式不保证完全控制输出因为后续层还有很多处理目前主要是离线分析工具实时监控需要工程优化但这已经比之前的可解释性方法比如attention可视化、probing classifiers前进了一大步。之前我们能看激活模式但不知道哪些重要现在我们有了一个相对小的、功能明确的子空间可以重点关注。Anthropic已经开源了实现github.com/anthropics/jacobian-lensNeuronpedia做了交互demoneuronpedia.org/jlens。如果你手上有开源模型比如Llama系列可以直接试。论文还附了多位外部专家的评论神经科学家Stanislas Dehaene、Lionel NaccacheAI意识研究者Patrick Butlin、Robert LongGoogle DeepMind可解释性负责人Neel Nanda等包括Neel Nanda在开源模型上的独立复现。评论PDF在这里anthropic.com/files/…/commentary.pdf。最后提一句这篇论文是2026年7月发的但它研究的是Claude 3.5 Sonnet这代模型。Anthropic没说Claude Opus 4.7有没有类似结构但考虑到架构延续性应该也有。更重要的是J-lens是个通用方法理论上可以应用到任何Transformer。所以如果你在做模型安全、Agent监控、或者想知道LLM内部到底在干什么——这是个可以动手试的方向。先别管哲学问题先把这个工作区用起来。原文链接anthropic.com/research/global-workspace完整论文transformer-circuits.pub/2026/workspace