上交大&爱丁堡大学联手破解AI"记忆过载"难题

这项由上海交通大学LUMIA实验室与爱丁堡大学信息学院联合开展的研究，于2026年6月25日发布在预印本平台arXiv，论文编号为arXiv:2606.26875v1。

当你和一个超级聪明的助手长时间对话时，它必须把之前所有的内容都“记在脑子里”，才能回答你现在的问题。但问题是，这种“记忆”占用的空间会越来越大，大到普通计算机根本承受不了。研究团队面对的，正是这样一个“AI记忆过载”的难题——而他们给出的解决方案，不仅聪明，而且出人意料地简洁。

一、AI的“记忆”为什么会撑爆？

要理解这个问题，可以把大型语言模型（也就是ChatGPT、DeepSeek这类AI）的工作方式，比作一位速记员在开会时记笔记。会议开始时，速记员只需记录几句话，轻松自如。但随着会议持续，需要记录的内容越来越多，笔记本越来越厚，翻阅和查找的时间也越来越长，最终速记员可能根本跟不上发言的节奏。

AI的“笔记本”在专业上叫做KV缓存（Key-Value Cache），其中K和V分别是“键”和“值”，可以理解为AI在处理每个词语时留下的“备忘录条目”。随着对话或推理过程越来越长，这些条目会以线性速度增长，占据大量计算机内存。对于那些需要进行深度推理、生成数千乃至数万字分析的大模型来说，这个问题尤为严峻——就好像速记员被要求在一张A4纸上记录一整天的会议内容，这根本不可能。

解决这个问题的一个自然思路，是让AI学会“选择性遗忘”：只保留重要的备忘录条目，删掉无关紧要的内容。这就是KV缓存压缩技术的核心思想。在此之前，学界已经有了若干方案，但它们都有一个共同的盲点，而这正是这项新研究要正面突破的地方。

二、旧方法的盲点：只看“谁最近被提到”

现有的主流压缩方案，比如SnapKV、PyramidKV、FastKV等，采用的是一种叫做“注意力权重”的指标来判断哪些词语重要、哪些可以删除。注意力权重，简单说就是：AI在回答当前这句话时，对之前哪些词语“最上心”。被“上心”最多的词语，就被认为是重要的，保留下来；其余的则被丢弃。

这种方法乍看合理，但有一个根本性的缺陷：它只关注“现在最受关注的内容”，而忽略了“未来可能需要的内容”。用速记员的比喻来说，这就像速记员每隔一段时间，把自己最近频繁翻阅的页面留下，把最近没翻过的全部撕掉。但问题在于，有些关键信息可能现在暂时用不上，却在半小时后的总结环节中至关重要。一旦被撕掉，就再也找不回来了。

研究者们将这个问题描述为：现有方法依赖的是“短视的、向后看的信号”。注意力权重反映的是过去和现在的关联，而在漫长的推理过程中，AI需要的信息往往不是刚才刚被提及的内容，而是早就埋下的“伏笔”。

三、新视角：一个词语“有多重要”，要看它对未来的影响

研究团队提出了一个全新的衡量角度，他们称之为“前向影响力”（Forward Influence）。这个概念的核心很直白：如果把某个词语从AI的记忆中删掉，AI对未来内容的预测会发生多大变化？变化越大，说明这个词语越重要；变化几乎为零，说明删掉它无所谓。

用具体数字来说，研究团队定义的前向影响力，是用一种叫做KL散度的数学工具来量化的——这个工具可以衡量两个概率分布之间的差异，就像测量两张地图之间的不同程度。删掉某个词语前后，AI预测接下来内容的“地图”差异越大，该词语的前向影响力就越强。

为了验证这个思路，研究团队在Llama-3.1-8B-Instruct模型上，用来自Arxiv论文摘要数据集的100篇文章做了实验。他们分别用三种方式选出排名前1%的词语：纯注意力权重、纯信息熵、两者结合，然后测量被选词语对后续内容的影响力。结果非常清晰地揭示了一个规律。

在近距离范围内（接下来128个词语），注意力权重选出的词语影响力还算可观，毕竟它们确实和当前语境紧密相关。但在远距离范围内（接下来14000个词语），注意力权重选出的词语影响力急剧萎缩，而信息熵选出的词语却展现出持续且显著的影响力。把两者结合起来，则能在近距离和远距离上都保持不错的影响力，实现了一种“两头兼顾”的平衡。

这个发现直接启发了InfoKV的诞生。

四、信息熵是什么？为什么它能预测“哪些词语影响未来”？

信息熵这个概念，其实和日常生活中的“不确定性”密切相关。当你预测明天的天气时，如果当地处于雨季、乌云密布，你的预测会很确定：明天下雨。但如果当地天气变化多端，忽晴忽雨，你就很难确定，心里充满不确定性。这种不确定性的程度，就是信息熵。

对AI来说，当它预测某个位置上应该填什么词语时，有时候答案非常显然（比如“北京是中国的____”，AI几乎确定填“首都”），有时候则充满变数（比如“这个实验的结果表明____”，可能有很多种续写）。当AI不确定、需要“动脑筋”的地方，往往意味着这里承载着更丰富的信息——就像一本书中最悬念迭起的章节，总是包含最关键的情节转折。

从词语类型来看，高信息熵的词语往往是内容词，比如名词、动词、形容词——它们承载着具体意义；而低信息熵的词语往往是功能词，比如“的”“是”“和”——它们只是语法连接，本身信息量有限。保留那些让AI“踌躇不决”的词语，自然比保留那些“顺理成章”的词语更能为未来的推理提供支撑。

五、InfoKV的工作原理：把“现在的相关性”和“固有的信息量”结合起来

研究团队在理解了信息熵的价值之后，设计了InfoKV这个框架，把信息熵信号和传统注意力权重信号有机结合。整个框架由两个维度的信号组成，可以用一个厨房的比喻来理解：注意力权重相当于“客人现在点的菜”，告诉厨房现在最需要准备什么；信息熵相当于“食材的营养密度”，告诉厨房哪些食材本身最有价值。一个好的厨房，既要响应客人的当前需求，也要优先采购高营养价值的食材备用，而不是只按照点单来决定一切。

具体来说，InfoKV的计算过程分为几个步骤，但彼此紧密衔接。第一步，在序列维度上计算每个词语的信息熵——也就是AI在预测这个词语时的不确定程度，这反映了词语在序列中的“信息含量”。为了计算更稳定，研究团队没有对整个词汇表（通常有几万个词）计算熵，而是只取预测概率最高的前k个词来计算，这叫做Top-k受限熵。这样做的原因是：概率极低的词语对AI的决策几乎没有影响，把它们纳入计算只会引入噪声，就像在做菜时不需要考虑那些几乎没人会点的冷僻菜品。

第二步，在层次维度上，计算每个词语在Transformer模型不同层之间的表示变化程度。Transformer是目前大型语言模型的核心架构，它由很多层叠加而成，每一层都会对词语的表示进行加工和细化，就像一块原石经过多道工序逐渐打磨成宝石。研究团队计算的，是某个词语在中间某一层的表示，与最后一层的表示之间的余弦距离——这个距离越大，说明这个词语在经过后续各层加工时发生了更大的变化，意味着它“尚未收敛”，还承载着更多待解读的信息；距离越小，说明这个词语的语义在中间层就已经基本稳定，信息已大致被消化。

第三步，把信息熵和层次变化程度相乘，得到每个词语的“熵分数”——这个分数综合反映了词语在序列维度上的不确定性和在层次维度上的语义演变程度。最后，熵分数与注意力分数按照一定比例加权求和，得到最终的重要性分数，用于决定哪些词语保留、哪些词语从缓存中删除。

权重参数α控制两者的比例，α越接近1，越偏向注意力权重；α越小，信息熵的影响越大。实验表明，α=0.9时整体效果最佳，也就是说注意力权重仍然是主导信号，而信息熵作为一个有力的补充，专门弥补注意力权重在长距离推理上的短板。

六、实验结果：在长文推理和长输出推理上都超越了现有方法

研究团队在两类任务上对InfoKV进行了系统测试，分别是“长文本输入推理”和“长输出生成推理”，这两类任务分别对应AI阅读超长材料后回答问题、以及AI自己生成数万字推理过程这两种场景。

在长文本输入推理上，实验使用了LongReason基准，这是一个专门设计的测试集，把普通推理题目的背景信息大幅扩展，塞入大量干扰信息和无关细节，考验模型能否在冗余信息中精准保留关键推理所需的内容。测试模型包括Llama-3.1-8B-Instruct和Llama-3.2-3B-Instruct，上下文长度从16k到64k词语不等，缓存保留比例设置为40%和20%两档。

以Llama-3.1-8B-Instruct为例，在保留40%缓存时，InfoKV在16k上下文、带思维链的设置下得分55.32，而SnapKV为53.15、PyramidKV为53.67、Expected Attention为54.16，InfoKV均高于这三种基线。在更严苛的20%缓存条件下，InfoKV同样保持领先。随着文本长度从16k增加到64k，InfoKV相对其他方法的优势进一步扩大，说明在超长文本场景下，信息熵的价值尤为突出。

在长输出生成推理上，实验使用了DeepSeek-R1系列的两个版本：R1-Distill-Qwen-7B和R1-Distill-Llama-8B。测试涵盖三类任务：IFEval（指令遵循），AIME 2024（数学竞赛题），以及LiveCodeBench（编程能力测试），最大生成长度设置为32768个词语，每1024个词语触发一次缓存压缩。对比基线是RPC，一种把SnapKV方法扩展到解码阶段的周期性压缩方案。

结果显示，在保留25%和12.5%缓存的两种设置下，InfoKV在三类任务上均优于RPC。其中有一个特别有趣的现象：在IFEval任务上，InfoKV使用25%和12.5%缓存的得分，甚至超过了R1-Distill-Llama-8B使用完整缓存的得分。这个结果表明，长推理过程中存在大量冗余——保留所有历史词语，反而可能引入干扰，降低模型专注关键信息的能力。有选择地删除低信息量内容，有时候比什么都不删更好。

七、细节考究：如何选择最优参数

研究团队对InfoKV的各项参数进行了系统的消融实验，逐一测试每个设计选择对最终效果的贡献。

关于偏置项τ的选择：这个参数控制层次距离信号对熵分数的贡献程度。当τ增大时，层次距离的权重降低，熵分数更多依赖最后一层的预测不确定性。实验在Llama-3.1-8B-Instruct、40%保留率、16k文本的带思维链设置下进行，结果表明τ=1时整体表现最佳，且跨不同设置时的波动最小。因此τ=1被确定为默认配置。

关于Top-k受限熵的k值选择：实验测试了k=128、256、512以及使用完整词汇表四种设置。结果一致表明，将熵计算限制在概率最高的token上，比使用完整词汇表效果更好，而k=256在不同τ值下均表现最优。这验证了低概率token对不确定性估计贡献有限、引入噪声的判断。

关于注意力权重与信息熵的比例α：实验测试了α从1.00到0.80的多个取值，分别在使用Top-256受限熵和完整词汇表熵的条件下进行比较。当α=1时，InfoKV退化为纯注意力方法，效果明显下降，说明单独依赖注意力无法充分捕捉词语的长程价值。引入信息熵后，效果持续提升，α=0.9时达到峰值。但继续降低α，效果又开始下滑，说明注意力权重提供的短程依赖信号同样不可或缺。

此外，研究团队还探索了一种自适应压缩策略：根据每一层的累积熵分数动态分配缓存预算，熵分布越丰富的层分配更多缓存，熵分布越集中的层则被更激进地压缩。这种策略在R1-Distill-Llama-8B上的IFEval任务中取得了小幅提升（从60.07到61.18），但在R1-Distill-Qwen-7B上反而出现了明显下降（从59.70到55.82）。研究团队推测，过于不均衡的层间分配可能破坏某些层的稳定性，损害长程推理的连贯性。由于自适应策略的效果因模型架构而异，均匀分配策略最终被确定为默认方案，以确保跨模型的稳定性。

八、通过可视化理解：注意力看到的和信息熵看到的究竟有何不同

研究团队还提供了两个具体推理案例的词语评分可视化对比，用蓝到红的颜色梯度展示每个词语的得分高低，蓝色代表得分低（不重要），红色代表得分高（重要）。

第一个案例是一道关于自控力的逻辑推理题，AI需要分析哪个选项是论证的必要假设。在注意力评分图中，“Option”“A”“B”“C”“D”这几个词被高度标红——这非常好理解，因为AI当前正在思考“答案是哪个选项”，所以注意力自然聚焦在这些与当前查询直接相关的词语上。而在信息熵评分图中，“argument”“mistakes”“importance”“depletion”这类承载具体语义的实质性词语被标红——这些才是推理过程中真正蕴含信息的词语，保留它们能为后续的推理步骤提供更充分的支撑。

第二个案例是一道关于文学评论的阅读理解题，同样展现了类似的规律：注意力权重倾向于保留与当前查询形式高度相关的词语，而信息熵倾向于保留承载实质内容的语义核心词语。

这两个可视化案例非常直观地说明了，为什么信息熵能弥补注意力权重在长程推理上的不足：注意力告诉你“现在最需要什么”，而信息熵告诉你“哪些内容本身最有价值”。两者各有所长，结合使用才能在压缩时真正做到“该留的留，该扔的扔”。

归根结底，这项研究做的事情，是帮AI学会一种更聪明的“选择性遗忘”。旧方法让AI只记住“最近有人问起的内容”，但AI推理时真正需要的，往往是那些“充满不确定性、信息量丰富”的内容，即便这些内容暂时还没被问起。InfoKV通过把信息熵这个“词语本身的信息含量”指标，与传统注意力权重结合起来，让AI在压缩记忆时既考虑“眼下的相关性”，也考虑“内在的信息价值”，从而在缓存只有原来四分之一甚至八分之一大小的情况下，依然保持接近甚至超越完整记忆的推理质量。

对普通用户来说，这项技术的潜在影响很具体：未来你和AI进行超长对话时，AI可以在占用更少内存和算力的情况下，依然记住那些对后续回答至关重要的内容，而不是因为“记不住”而给出前后矛盾、丢失关键信息的回答。对于需要处理长篇文档、复杂数学证明或大型代码库的专业用户，这意味着更高质量的AI辅助成为可能，而无需购置极其昂贵的硬件。

当然，研究团队也坦诚地指出了现有局限：信息熵本质上是对未来重要性的间接估计，而非对“这个词对未来到底有多大用”的直接优化。此外，自适应层间预算分配在不同架构的模型上表现不一致，说明不同AI模型的信息分布特性可能存在显著差异，如何设计出更具架构普适性的分配策略，仍是一个开放的研究问题。有兴趣深入探讨这些细节的读者，可以通过arXiv:2606.26875v1查阅完整论文。

Q&A

Q1：KV缓存压缩技术是什么？为什么大模型推理需要它？

A：KV缓存是大型语言模型在处理文本时保存的“工作记忆”，记录每个词语的关键信息。随着对话或推理过程变长，这个缓存会线性增长，占用大量内存，导致推理速度变慢甚至无法运行。KV缓存压缩技术通过有选择地丢弃“不重要”的词语记录，在保持回答质量的同时大幅降低内存占用，让AI能够处理更长的文本。

Q2：InfoKV中的信息熵和注意力权重有什么本质区别？

A：注意力权重反映的是“当前这个词和最近上下文的关联程度”，属于一种由外部查询决定的动态指标，容易偏向近期被频繁提及的词语。信息熵则反映的是“AI预测这个词时的不确定程度”，属于词语自身携带的信息量的度量，和当前查询无关。高信息熵的词语通常是名词、动词等实质性内容词，对长距离推理的持续影响更强。

Q3：InfoKV压缩到只保留12.5%缓存时，为什么在某些任务上表现反而超过了使用完整缓存的模型？

A：长推理过程中存在大量重复、冗余或低价值内容，比如推理链中的格式性语句、过渡词等。把所有历史词语都保留在缓存中，这些冗余内容会干扰模型的注意力，让它难以聚焦在真正关键的信息上。InfoKV通过删除低信息量内容，等于帮模型“过滤噪声”，反而让它能够更专注地利用高价值信息进行推理，从而在某些任务上实现了“少即是多”的效果。