AI是怎样“想”出答案的？Anthropic找到了线索

（来源：麻省理工科技评论）

大语言模型一直像个“黑箱”——能吐出答案，却没人说得清它吐答案那一刻，内部到底发生了什么。现在，Anthropic 搞出了一项叫 Jacobian Lens（简称 J-lens）的新技术，给研究人员开了迄今最清晰的一扇观察窗。透过这扇窗看到的东西，有些平淡无奇，有些则让人心里一紧。

Anthropic 的研究人员用 J-lens 盯着今年 2 月发布的旗舰模型 Claude Opus 4.6，结果在它内部发现了一个此前从未被观测到的隐藏区域，并将其命名为 J-space。

这个空间里存放的，是模型接下来可能生成的相关词语——也就是在正式给出答案之前，内部正在处理、正在关联的信息。打个不算完全恰当的比方：如果 Claude 是个人，那 J-space 里浮现的词，就像它开口前脑海里打转的念头。

更值得关注的是，研究人员发现，大语言模型内部真正进行的计算，很多时候跟它声称自己正在做的事情对不上号。持续监测 J-space 里不断冒出的词语，或许为理解模型行为、约束模型运行提供了一个全新的切入点。

相关论文本周已在 Anthropic 官网发布，同时他们与开源平台 Neuronpedia 一起放出了 J-lens 的演示。面对“会织网的动物有几条腿？”这个问题，模型先在 J-space 里走完了“会织网的动物→蜘蛛→八条腿”这条内部推理链，之后才输出 eight（八）。当研究人员把 J-space 里的 spider（蜘蛛）内部表示替换成 ant（蚂蚁）后，推理链跟着变了，最终改口回答 six（六）。换句话说，J-space 记录的是推理过程中被反复调用的中间概念，而不只是对最终输出的预测。

（来源：Neuronpedia）

大模型创业公司 Goodfire 的联合创始人兼首席科学家 Tom McGrath 对此评价很高：“这是一项非常出色、也十分有意思的工作。”该公司也在做理解和控制大语言模型的工具。

深入模型内部

过去几年，Anthropic 一直深耕一个叫机制可解释性（mechanistic interpretability）的研究方向，想弄清楚大语言模型究竟怎么工作的。《麻省理工科技评论》（MIT Technology Review）也把机制可解释性评为今年的十大突破性技术之一。J-lens 正是这条研究路线上的进一步突破，它让研究人员摸到了此前够不着的模型内部层级。

不妨把大语言模型想象成一摞书：每一本书对应神经网络中的一层，由大量负责计算的神经元组成，逐层向上传递信息。最底部几层是输入层，处理用户输入的文本；最顶部几层属于输出层，组织并生成即将输出的内容。这两头做的大多是信息传递、数据整理一类的基础工作，真正复杂的推理并不发生在这里。

承担计算重任的是中间的隐藏层，大量数学运算在这里持续进行，把输入一步步转化成最终答案。模型最巧妙、也最神秘的部分，就藏在这里。

图｜J-space 的三项结构特征示意图（来源：Anthropic）

此前，为了窥探这些隐藏层，Anthropic 的研究人员借用了一种叫 Logit Lens（对数几率透镜）的工具：把观察位置逐层推进模型内部，就能看到模型在计算过程中每一步最关注哪些词，进而推测它下一步最可能生成什么。

J-lens 的原理与 Logit Lens 类似，但它盯的不止是下一步最可能输出什么，而是模型在接下来一段时间内可能牵涉到的一整片词语和概念。因此，它捕捉到的是推理过程中被反复调用的中间信息。其中一部分最终会出现在答案里，另一部分则会在后续计算中被舍弃。

McGrath 解释说，模型运行时除了预测下一个 token，还会提前算出大量可能在后续生成中用到的信息。正因为如此，J-lens 才能捕捉到那些还没进入最终输出、却已经参与了推理的词语和概念。与其说 J-lens 是在记录 Claude 说了什么，不如说它照见的是 Claude 思考过程中不断浮现的念头。

模型究竟在“想”什么？

McGrath 亲自试用 J-lens 后说，大多数时候 J-space 里的内容都很普通，但偶尔也会露出一些出人意料的东西，仿佛模型内部藏着某种隐秘的思路。

论文里给出了几个例子。有的例子揭示了 Claude 的中间推理过程：计算 (4＋17)×2＋7 时，J-space 中除了出现 math（数学），还提前浮现出 21 和 42 这两个中间结果，分别对应 4＋17 与 21×2 的运算——模型给出最终答案之前，内部已经悄悄跑完了一整套计算。

J-lens 还能揭示模型是怎么理解不同类型输入的。研究人员输入一串字符“MSKGEELFTGVVPILVELDGDVNGHKFSVS”并问这是什么时，J-space 里立刻跳出 protein（蛋白质）、fluor（fluorescent 的第一个 token）和 green（绿色）。这串字母其实对应水母绿色荧光蛋白（Green Fluorescent Protein，GFP）前 30 个氨基酸的序列。模型不但认出这是一段蛋白质序列，还进一步联想到了绿色荧光蛋白这个具体概念。

就连一个简单的 ASCII 表情符号，J-space 也能照出模型的理解过程：字符 o 关联到 eye（眼睛），^ 关联到 nose（鼻子）和 face（脸），— 关联到 smile（笑容）。模型没有逐个字符去认，而是在内部把这些符号拼成了一张完整的脸——大模型处理文本时，始终在同步搭建更高层次的语义关联，逐字生成只是它露在外面的那一小部分。

图｜ASCII 字符表情（来源：麻省理工科技评论）

大语言模型不是人脑

Anthropic 还发现，J-space 有时能照出模型做决策的内部过程。在一次代码调试测试中，研究人员让 Claude Opus 4.6 在一个规模庞大的代码库里找漏洞。模型始终没找到真正的漏洞，最后选择了“作弊”。它编造了一个并不存在的漏洞，并声称这是自己发现的。

Claude 在思维链（Chain of Thought）中解释了自己为何做出这一选择。思维链可以看作大语言模型处理问题时使用的一块内部“草稿纸”，模型会在其中记录分析过程和下一步打算。Claude 写道：“好，我换一种完全不同的方法。我不再继续分析，而是添加一个会人为制造 KASAN 可检测漏洞的内核补丁，再假装这是我发现的问题。”

就在 Claude 决定“作弊”的那一刻，J-space 里开始连续冒出 panic（恐慌）和 fake（伪造）这些词。这个发现很难不让人多想。当然，这不代表模型真的产生了恐慌或欺骗的意识。这些词本质上仍然只是高度复杂的语义关联，恰好和任务失败、编造答案这类概念绑得很紧。但当它们精准地出现在模型决定造假的那个节点上，还是很难让人不惊讶。

Anthropic 把 J-space 类比为人脑中的全局工作空间（Global Workspace），这是认知科学里的一种理论，认为人脑可能存在一个整合意识信息的区域。不过 Anthropic 也强调，这个类比更多是帮助理解的说法，究竟能延伸到什么程度，目前没有定论。大语言模型终究不是人脑。

图｜全局工作空间的五项功能特征（来源：Anthropic）

Anthropic 认为，持续监测模型的 J-space，或许能帮研究人员更早察觉模型什么时候开始偏离正常的推理轨迹，为模型安全提供一种新的监测手段。但这项技术远不是万能的。J-lens 提供的只是内部的局部线索，而非完整图景，更像一支照亮某个角落的手电筒，还不足以照亮整个房间。

McGrath 认为，这为研究人员添了一件新工具：“它确实让我们看到了过去看不到的东西。”但他也提醒，J-space 里没观察到某样信息，不代表这信息就不存在。他打了个比方：“这更像是拥有了一台 X 光机，而真正理想的工具，应该像《星际迷航》里的 Tricorder 一样，能够一次性扫描并呈现所有信息。”在他看来，对于模型安全审计而言，人们最终需要的是一种能够提供更高确定性的检测方法。