爱丁堡大学揭秘AI"阅读理解"的隐藏秘密

爱丁堡大学、赫瑞瓦特大学与Miniml.AI联合搞了一项新研究，预印本已经在2026年7月1日挂出来了，论文编号是arXiv:2607.01002，感兴趣的可以去arXiv平台翻翻原文。

咱们来做个思想实验：你问AI“埃菲尔铁塔附近住着哪位角色”，和“哪位角色去过巴黎”，这两个问题乍一看完全不同，可它们指向的其实是同一段文字。有意思的是，大多数AI在第一个问题上表现完美，到了第二个问题却会悄悄犯错。这背后到底发生了什么？这支跨机构的研究团队花了大量精力，去追查AI大脑里那个真正负责“理解而非照抄”的神经机制，最终找到了一个此前被所有人忽略的关键线索。

从“照抄机器”到“理解专家”：一个被长期忽视的区别

要弄清楚这项研究在说什么，得先理解一个基本设定。现代大型语言模型——就是GPT、Qwen、Gemma这类AI——在处理长篇文字时，并不是把整篇文章都“记”在脑子里，而是靠大量内部神经元协同工作，从中“捞出”相关信息来回答问题。研究人员把这些负责“捞信息”的神经元叫作“检索头”（Retrieval Heads）。

过去几年，学界已经知道这些检索头的存在。早期的研究者——比如吴等人2025年的工作——把这些检索头定义为：当模型在回答问题时，某个注意力头（你可以把它理解成AI大脑里的小侦探）会把目光集中到文章中包含答案的那段话上，而且它关注的那个词，恰好就是最终生成的答案词。这是一种“照抄式检索”：模型在文章里找到了“埃菲尔铁塔”这个词，然后直接把它输出。

然而，真实世界里的问题很少这么直白。当有人问“哪位角色去过巴黎”，文章里根本没有“去过巴黎”这种说法，只有“Yuki住在埃菲尔铁塔附近”。模型必须知道埃菲尔铁塔在巴黎，然后反推出“Yuki去过巴黎”。这种理解需要的不是“找到原词然后复制”，而是“理解语义然后转化”。这就是研究团队所说的“非字面检索”（Non-Literal Retrieval）。

核心问题随之而来：现有的所有检索头识别方法，全都基于“这个注意力头关注的词是不是最终答案词”这一标准。这个标准对于照抄式检索完全有效，但对于语义转化式检索，它从根本上就是错误的——因为模型关注的是“埃菲尔铁塔”，而最终输出的是“Yuki”，两者根本不是同一个词。

AI大脑里的两条流水线：我在“读哪里”和我在“写什么”

研究团队引入了一个极其重要的区分，而这个区分在此之前几乎没有人在检索头研究中认真对待过。

每个注意力头（那个小侦探）在工作时，实际上分成两个独立的步骤。第一步叫作“QK电路”，负责决定“我应该把目光投向文章的哪个位置”。第二步叫作“OV电路”，负责决定“我从那个位置读到信息之后，应该往最终输出方向写入什么内容”。

这里有个很形象的比喻。假设你是一位厨师，面对一桌子食材。QK电路相当于你的眼睛，负责决定“我要盯着那碗盐看”。OV电路相当于你的手，负责决定“我从盐罐里拿出来的东西，最终要放进菜里，让菜变成什么味道”。过去的研究只盯着厨师的眼睛，研究他在看哪里；这项新研究则开始关注厨师的手，研究他到底放进了什么、最终改变了什么。

对于字面检索，这两条流水线是一致的：厨师看着盐，拿起盐，放进菜里——眼睛看到什么，手就放什么。但对于非字面检索，两条流水线发生了“解耦”：厨师看着的是“埃菲尔铁塔”（一个地标），但他的手放进菜里的是“Yuki”（一个人名），因为这位厨师懂得“住在埃菲尔铁塔附近的那个人”意味着什么。

如果只看眼睛，你会错误地认为“这个侦探专注于埃菲尔铁塔，所以它是处理地标信息的检索头”。但如果同时看手，你才能发现“不对，这个侦探虽然盯着地标，但它真正服务于的是找出那个人的名字”。

LOCOS：一套盯着“写什么”而非“看哪里”的侦探方法

基于这个洞察，研究团队提出了他们的核心方法，命名为LOCOS（Logit-Contribution Scoring，逻辑贡献评分）。这个名字拆开来理解：“Logit”是AI内部计算每个候选词概率分数的原始数值，“Contribution”是贡献，“Scoring”是打分。合在一起，意思就是“通过每个注意力头对正确答案分数的贡献量来给这个头打分”。

具体操作分三步，每一步都有清晰的数学表达，但我们可以用厨师比喻来完整还原这个过程。

第一步叫作“逐位置计算贡献”。对于每个注意力头，在它关注文章中的每一个位置时，研究团队都计算一个数值：这个头从那个位置“读”到信息之后，经过OV电路的转化，最终对正确答案词的得分贡献了多少。这个数值用数学公式表达为 φ = u?·(α·W_O·v)，其中u是正确答案词在模型词典中的“方向向量”，α是注意力权重，W_O是OV电路的权重矩阵，v是那个位置的值向量。通俗说就是：这个头从某个位置读到的信息，有多少是在朝着“正确答案的方向”推进？如果一个头关注着“埃菲尔铁塔”，但经过OV电路转化后，输出的内容明显在推动“Yuki”这个词获得更高分数，那它就有很大的贡献值。

第二步叫作“空间对比”。仅仅知道某个头“有贡献”还不够，关键是要判断它的贡献是真的来自文章中藏有答案的那段话（研究中称为“针”，needle），还是来自文章中其他无关内容（称为“干草堆”，haystack）。于是研究团队将每个头在“针”位置的总贡献与在其余位置的总贡献（做了长度归一化，使两者可比）进行相减。如果差值为正且很大，说明这个头是真正在从“针”的位置提取答案相关信息；如果差值接近零或为负，说明这个头的贡献主要来自其他地方，与检索针中的答案无关。这个设计非常精妙，因为它排除了那些“对任何词的得分都有贡献”的头——比如某些头可能无论在哪里都会稳定推高某个常见词的分数，这种贡献是位置无关的，不能算作真正的检索贡献。

第三步叫作“跨样本汇总”。为了让评分更可靠，研究团队在多个测试样本上重复上述计算，只保留模型回答正确（ROUGE-1召回率超过0.5）的那些样本，然后对所有答案生成步骤取平均值，得到每个注意力头的最终LOCOS评分。评分越高，说明这个头越可能是真正负责非字面检索的关键头。

值得一提的是，LOCOS的评分可以为负数。这意味着某个头对正确答案有贡献，但贡献主要来自文章中与答案无关的位置。这类头可能参与的是参数化知识提取（即模型“背”下来的知识），而不是从当前文章中检索。这个设计让LOCOS能够区分“从文章中提取”和“从记忆中提取”这两种本质不同的机制。

真刀实枪的考验：把找到的“检索头”废掉，看AI会怎样

找到候选头之后，研究团队用一种非常直接的方式来验证自己的判断是否正确：把那些头“废掉”，看AI的表现是否会崩塌。

废掉的具体方式叫作“均值消融”（Mean Ablation）。做法是：对于被选中的每个注意力头，把它在处理查询时产生的查询向量替换为一个从大量样本中计算出的平均向量——这个平均向量不携带任何当前特定问题的信息，导致这个头的注意力分配变得近似均匀随机，无法再聚焦于文章中的任何特定位置。这样一来，这个头就相当于被“蒙住了眼睛”，无法再为检索贡献任何有效信息。

然后，研究团队在NoLiMa基准测试上评估被废掉后的模型表现。NoLiMa（Non-Literal Matching，非字面匹配）是一个专门为检验非字面检索能力而设计的测试集，每道题都要求模型读懂一段包含隐含信息的文章，然后回答一个与文章措辞完全不同的问题——正是字面检索无法应付而必须依赖语义理解的场景。评估指标使用ROUGE-L，这是一种衡量模型生成答案与标准答案相似度的分数，满分为1，越高越好。

实验结果非常鲜明。在Qwen3-8B（由阿里巴巴开发的一款拥有80亿参数的大型语言模型）上，废掉LOCOS排名前5的头，ROUGE-L就从基线的0.401下降到0.321；废掉前50个头，分数直接跌至0.000——模型几乎完全丧失了从文章中提取答案的能力。相比之下，用过去最强的基线方法（吴等人的NIAH评分法）选出的50个头废掉后，模型还能保持0.292的分数。随机废掉50个头，分数基本不变，始终在0.358到0.402之间徘徊。这说明LOCOS找到的头是真正起作用的那批，不是随便哪50个头都能达到这个效果。

这一系列对比在研究团队测试的全部六个模型（Qwen3的8B、14B、32B版本，Gemma-3的12B和27B版本，以及OLMo-3.1的32B版本）上均呈现出一致的趋势：LOCOS产生的ROUGE-L下降曲线在所有方法中最为陡峭，在六个模型中的五个里，废掉50个头后分数接近于零。

防止“自说自话”：严格的控制实验排除各种干扰

发现了有效结果之后，研究团队并不满足，而是设计了多层控制实验，逐一排除可能让结果看起来更好但实为假象的因素。

第一层控制：OV电路究竟贡献了多少？LOCOS与过去方法相比，有两处不同：一是使用了OV电路投影，二是使用了空间对比（而非时间对比）。研究团队构造了一个“注意力权重版LOCOS”，保留空间对比的聚合方式，但把每个位置的指标从OV贡献值换回纯注意力权重。结果表明，在Qwen3-8B、Qwen3-32B和Gemma-3-12B上，完整LOCOS明显优于仅使用注意力权重的版本；在其他模型上，两者表现相当。换句话说，OV电路的信息并非在所有情况下都必不可少，但它提供了更高的跨模型可靠性——LOCOS是唯一一个在所有六个模型上都能让分数接近崩塌的方法。

第二层控制：会不会只是因为废掉了“对答案分数贡献大”的头，所以得分下降？这是一个合理的质疑。为了排除这种可能，研究团队废掉了LOCOS评分最低（最负）的50个头——这些头对正确答案也有较大的贡献，只不过贡献主要来自文章中与答案无关的位置。结果显示，废掉这些“底部”头之后，ROUGE-L分数基本不变，与随机废掉头的效果相差无几。这直接证明：关键不在于头的绝对贡献大小，而在于贡献是否来自文章中包含答案的正确位置。

第三层控制：这些头是不是AI整体功能的关键头，而不只是检索的关键头？如果废掉这些头连基本知识问答都会崩，那就说明LOCOS找到的不是“检索专用”的头，而是“万能重要头”。为此研究团队专门测试了三类不需要从文章中检索的任务：城市与国家的对应关系（比如“巴黎属于哪个国家”，这种知识直接存在模型参数里）、PopQA流行知识问答（“耶稣的母亲是谁”这类常识题），以及两个数字的加减运算。结果显示，废掉LOCOS选出的前50个头后，这三类任务的准确率几乎没有变化，始终保持在基线水平附近。这清晰地表明，LOCOS找到的这批头确实是“检索专项”的，而不是模型的通用核心。

研究团队还引入了一个叫“解离分数”（Dissociation Score）的指标，专门用来量化“检索能力下降”和“参数知识损失”之间的差距。解离分数越高，说明方法找到的头越是检索专属的。在所有测试的六个模型上，LOCOS产生的解离分数始终是最高的，超过所有基线方法。

字面检索还是非字面检索：LOCOS找到的头究竟属于哪类？

一个自然的问题是：LOCOS方法选出的这些头，是只对非字面检索有效，还是对字面检索也有影响？研究团队用一个精心设计的对比实验来回答这个问题。

他们用同一批LOCOS选出的头（这些头是在NoLiMa非字面检索任务上选出来的），同时在NoLiMa和标准NIAH（字面检索任务）上评估废掉这些头的影响。结果出现了一个有趣的不对称：NoLiMa分数下降得更快、更陡；NIAH分数虽然也会下降，但下降幅度明显较小。

这个结果说明：LOCOS选出的这些头里，有一部分头在字面和非字面检索中都发挥作用（因为两种检索都需要“读取正确位置”这个能力），但还有一部分头是专属于非字面检索的——只有当模型需要从语义层面转化信息时，它们才真正起作用。字面检索受到的影响较小，说明字面检索有其他冗余路径；而非字面检索受到严重破坏，说明那些专属头对语义转化至关重要，而这正是过去的方法完全找不到的那部分。

从测试场景到真实任务：检索头的“实战能力”

最后，研究团队把目光从实验室场景转向了真实任务，测试废掉LOCOS选出的头是否会影响模型在实际长文本理解任务中的表现。

第一个测试任务是MuSiQue（多跳问答），这类题目要求模型把散落在多段文字中的信息拼接起来才能得出答案，比如先找到“某公司的CEO是谁”，再找到“这位CEO出生于哪个城市”，才能回答“这家公司的CEO的出生地在哪”。第二个测试任务是BABILong（长文本路径追踪），具体使用了qa2和qa3子集，要求模型在一大段混入了干扰叙事的文章中，追踪某个物品被多次搬动后的最终位置。这类任务无法通过字面匹配完成，因为物品出现在文章里许多不同位置，模型必须追踪完整路径并判断最新状态。

实验结果令人印象深刻，尤其在Qwen3系列模型上。废掉Qwen3-8B的前50个LOCOS头后，MuSiQue的准确率从0.55骤降至0.08，BABILong从0.62骤降至0.20。相比之下，随机废掉50个头，两个任务的分数几乎没有变化，始终在基线0.05范围内。在全部12个模型-任务组合中，LOCOS在6个上造成了最大幅度的下降，在8个上造成了超过0.10的显著下降。

不过研究团队也如实指出，在Gemma-3和OLMo-3.1的部分任务上，基线方法吴等人的NIAH评分法造成的MuSiQue下降幅度更大。这可能是因为多跳问答同时依赖字面和非字面检索，而NIAH评分法在字面检索头的识别上可能有其独到之处。

层次分布的秘密：关键头集中在哪些位置？

研究团队还对LOCOS选出的头在模型层次结构中的分布进行了仔细观察。结论是：LOCOS高分头明显集中在模型的后几层，尤其是Qwen3家族（三个规模的模型都表现出这一规律）和Gemma-3-27B。比如在Qwen3-8B中，前10个LOCOS头全部集中在第29到第34层（全部36层中的最后几层）；Qwen3-32B的64层中，高分头集中在第54到第62层。

对于这种后层集中现象，研究团队做了多层次的验证和解释。一方面，后层的头在输出层更近，其直接路径投影（LOCOS所使用的近似方法）理论上更准确，因为信息经过的后续非线性变换更少。为了排除这是纯粹的“方法偏置”而非真实现象，研究团队用了两种额外方式进行验证：其一是“调谐透镜”（Tuned Lens），这是一种通过学习到的线性变换来修正层间差异的投影方法；其二是因果激活修补（Causal Activation Patching），一种无需线性假设的非线性因果验证方法。两种方法都确认，后层集中并非仅仅是测量方法的偏差，而真实反映了这些层在检索任务中的更大作用。与此同时，吴等人的NIAH评分法会额外在早中层识别出大量头，显示两种方法选择的头集合差异显著，重叠率很低。

研究团队也谨慎地指出，这种后层集中现象是家族依赖的，而非跨所有模型的普遍规律——在Gemma-3-12B和OLMo-3.1-32B上，高分头跨越了更广泛的层次范围。

说到底，这项研究做了一件听起来简单但颇有意义的事情：它指出了一个长期存在于研究界的盲点，并用一套新方法把这个盲点填上了。过去的检索头研究只关心AI在“读”哪里，却忽视了AI在“写”什么——而这两件事在面对需要语义理解的问题时，完全可能指向不同的头。LOCOS通过追踪每个头对正确答案方向的实际贡献，找到了那批真正在做语义转化工作的头，并通过严格的消融实验、控制实验和下游任务测试，验证了这些头的关键作用。

这对普通人意味着什么？AI在读长文、回答复杂问题时有多可靠，可能就取决于这批关键头有没有正常工作。未来，如果要在手机或服务器上更高效地运行AI，一个思路就是压缩掉那些“不重要”的计算；而LOCOS提供了一个更精准的判断标准，让工程师知道哪些头是真正不可缺少的，从而在不损失核心能力的情况下大幅降低计算开销。此外，当AI在回答基于文档的问题时出现错误，通过LOCOS可以更准确地定位是哪个环节出了问题，而不是茫然地调整整个模型。

对这项研究感兴趣的读者，可以在arXiv平台通过编号arXiv:2607.01002查阅完整原文，代码和数据集也已在GitHub上公开，仓库地址在论文附录中有详细说明。

Q&A

Q1：LOCOS方法和过去检测AI检索头的方法有什么本质区别？

A：过去的方法只看AI的“注意力”集中在文章哪个词上，然后判断那个词是不是答案词，属于“只看眼睛”。LOCOS则同时追踪注意力头的输出内容是否真的在推动正确答案得分提升，也就是“同时看手”。这个区别在面对非字面问题时非常关键，因为AI关注的词和最终输出的答案词可能根本不是同一个词。

Q2：废掉检索头之后AI的表现为什么会崩塌得那么彻底？

A：因为那些被LOCOS选中的头承担了将文章中的语义信息转化为答案方向的工作。废掉它们后，模型无法再从文章中有效提取相关信息，只能依赖内部参数化知识作答，而参数化知识显然无法应对需要读取当前文章才能回答的问题，导致分数接近零。

Q3：LOCOS对普通用户使用AI有什么实际影响？

A：短期内普通用户不会直接感知，但它是优化AI运行效率和可靠性的技术基础。未来借助LOCOS，开发者可以在压缩AI模型体积时更精准地保留负责理解的关键部分，同时更容易定位AI在长文档理解任务中犯错的原因，从而让AI在回答文档类问题时更稳定可靠。