清华AIR与字节联手：只需0.58%的参数，AI推理能力竟然不降反升？

这项研究来自清华大学人工智能产业研究院（AIR）与字节跳动Seed团队，成果于2026年7月以论文形式发表在arXiv上，编号为arXiv:2607.03065v1。

不妨先做个思想实验。假设你是一位音乐老师，花了十年时间教会学生演奏各种乐器——钢琴、小提琴、吉他、长笛，每一种的基本功都刻在了骨子里。现在，你想让他们学会即兴演奏爵士乐。你有两条路：一是让他们从头开始接受全新训练，把原有的习惯打碎重建；二是帮他们发现，其实脑海中那些零散的技巧，只要换一种组合和搭配方式，爵士乐自然就流淌出来了。

这篇论文，讲的就是第二种方法。只不过主角不是学生，而是大型语言模型——也就是像GPT、DeepSeek这类AI系统。研究团队发现，当我们用强化学习训练一个AI模型去提升推理能力时，真正起作用的那些改变，其实早就在模型的“记忆结构”里埋下了伏笔。他们把这个发现做成了一种后处理工具，取名为**子空间对齐重连线**（Subspace-Aligned Rewiring，简称SAR）。它的妙处在于：只需在训练完成后对模型做一次数学处理，不必重新训练，就能让模型表现更好、参数更精简、跨任务协同也更顺畅。

一、先搞清楚问题所在：AI越训练，反而越“死板”？

要理解这项研究的价值，得先看清当下AI训练面临的两个棘手困境。

第一个困境叫“推理饱和”。当AI通过强化学习反复解数学题或写代码时，它会逐渐变得“专一”，越来越擅长用固定的几种套路拿高分，但同时也失去了灵活尝试不同方法的能力。用音乐来打比方，这个学生练到最后只会一种风格，给他一首从未听过的曲子，他就卡住了。在实际测试中，这种现象被称为“测试时扩展饱和”——哪怕你让AI多生成几十个答案再从中挑最好的，它能达到的上限也很有限，因为答案来来去去都是那几种套路。

第二个困境叫“跨领域干扰”。如果你想让AI同时精通数学、编程、问答，最直觉的做法是把这三种任务混在一起训练。但麻烦在于，这三种能力的“训练方向”往往互相矛盾——提升数学能力的参数更新，可能会压制编程能力，反之亦然。就像一个乐手同时练古典和摇滚，两种风格的肌肉记忆会互相干扰，结果两种都练不精。

这两个困境指向同一个核心问题：AI的训练过程就像一个黑箱，我们很难精确控制“哪部分参数更新是真正有用的，哪部分是噪音甚至有害的”。研究团队由此提出了一个关键问题——能不能找到一个坐标系，把“真正有用的推理能力更新”从“无关甚至有害的更新”中分离出来？

二、乐谱里藏着的秘密：模型的“原子技能”

研究团队给出的答案，从一种叫做奇异值分解（SVD）的数学工具开始。这个名字听起来很学术，但背后的思想其实非常直观。

每一个AI模型的神经网络层，本质上就是一张巨大的数字表格（数学上叫矩阵）。当输入信息进来时，这张表格决定了模型如何将其变换成输出信息。奇异值分解这个工具，能把这张表格拆解成三部分：一组“输入方向”（右奇异向量），一组“输出方向”（左奇异向量），以及连接这两组方向的“权重数字”（奇异值）。

用音乐的比喻来理解：右奇异向量是“听到什么乐器声音”的感知器，左奇异向量是“要输出什么音乐动作”的执行器，而奇异值则是把“听到A乐器声音”和“做出A演奏动作”连接起来的一对一映射。一个训练好的基础模型，它这套“乐器感知器-演奏动作”体系，就是积累的“原子技能库”。

在这套框架里，原始的矩阵只允许“一对一”的简单映射：听到钢琴声，输出钢琴动作；听到小提琴声，输出小提琴动作。每个技能是孤立的，互不相关。

但爵士即兴演奏需要的是“多对一”的组合：同时感知到钢琴节奏、贝斯线条、鼓点，然后综合判断，输出一个和声织体。这种“多个输入方向共同激活一个输出方向”的能力，正是复杂推理的核心。

研究团队发现，当我们用强化学习训练AI之后，模型参数的变化，放在这套坐标系里看，恰好体现为一个“重连线矩阵”（Rewiring Matrix，用字母M表示）。这个矩阵不再是单纯的对角线，而是充满了丰富的非对角元素——这些非对角元素，正是“把原本孤立的技能方向重新连线、让它们协同工作”的骨架。

矩阵M中的对角线元素，只是把某个原有技能放大或缩小，并不会创造新的联系；而非对角元素，才是让模型能够“把多个前提条件综合成一个结论”的推理机制。这与人类思维中的关系推理高度相似——不是简单地“看到X想到Y”，而是“同时看到X、Y、Z三个线索，综合推断出结论W”。

三、SAR是怎么工作的：一次精准的“乐谱精炼”

基于以上发现，SAR方法的操作逻辑相当简洁，可以理解为一次“乐谱精炼”。

训练完成后，我们拿到的是完整的强化学习更新量ΔW（原始的“全套新乐谱”）。这份乐谱里有真正有价值的内容，但也掺杂了大量冗余的、甚至带有干扰性的音符。SAR做的事情，就是用基础模型的奇异向量坐标系作为滤网，把这份更新量过滤一遍：只保留那些“在基础模型原有坐标系内可以表达的部分”，丢弃那些“跑出了原有坐标系之外的部分”。

具体操作分为六步。第一步，对基础模型的权重矩阵做奇异值分解，得到左右奇异向量U和V。第二步，计算强化学习前后的参数差ΔW。第三步，从ΔW中提取“排名最靠前的k个低秩成分”，相当于先粗筛一遍，只保留最主要的变化方向。第四步，把这个低秩成分投影到基础模型的坐标系里，得到重连线矩阵M。第五步，用U和M以及V重建出精炼后的更新量ΔW*。第六步，把ΔW*加回基础模型，得到SAR处理后的模型。

整个过程不需要任何新的训练，不需要额外数据，不需要修改原有的训练目标，计算量也相当低。它只是一次针对已训练参数的数学后处理。

四、核心发现一：用0.58%的参数，保住99%以上的推理能力

这一部分的实验结果，堪称整篇论文最令人印象深刻的地方。

研究团队在多个不同大小的模型上测试了SAR的效果，包括1.5B参数的DeepScaleR、4B参数的POLARIS、7B参数的OLMo-3.1-7B以及32B参数的OLMo-3.1-32B-Think。测评基准选用的是AIME数学竞赛题（2024和2025年版本），这是目前公认对推理能力要求极高的测试集。

最核心的发现是：对于1.5B的DeepScaleR，只需要保留基础模型顶部1%的奇异向量坐标（对应的重连线矩阵M只占模型总参数量的约0.58%），就能让SAR处理后的模型在数学推理上与完整强化学习模型几乎持平。对于32B的OLMo-3.1-32B-Think，同样只需1%的奇异坐标，对应约0.64%的参数量，就能保住原始强化学习训练带来的推理增益。4B的POLARIS稍微需要多一点，需要保留10%的坐标，但仍然远比完整参数少得多。

用具体数字来说：在AIME 2024上，1.5B的DeepScaleR完整强化学习版本A VG@32（每道题生成32个答案取平均）是40.31%，而SAR 1%版本是40.21%，差距几乎可以忽略不计；Pass@32（32个答案里至少一个正确的概率）两者都是76.67%，完全一致。

对于从零基础出发、不是专门为数学优化的OLMo-3-7B-Base，情况稍有不同——它需要30%的奇异坐标才能充分恢复强化学习带来的推理能力。研究团队的解释也很合理：如果基础模型本身已经“练过基本功”，那强化学习只需要调整“连线方式”，一小部分坐标就够了；如果基础模型的“原子技能库”相对薄弱，强化学习需要动用更多坐标来做出更大范围的重连线。

这个发现意味着什么？意味着强化学习带来的真正有用的推理能力提升，并不是均匀分散在所有参数里的，而是高度集中在基础模型的少数几个奇异坐标上。大量的参数更新，对于最终的推理表现来说，其实是冗余甚至有噪声的。

五、核心发现二：去掉噪声之后，AI反而能“探索”得更远

这个发现在某种程度上更让人意外：SAR处理后的模型，在高采样数量下的表现，竟然超过了完整的强化学习模型。

研究团队测量的指标叫做Pass@k——给每道题生成k个答案，只要有一个答案正确就算通过。k越大，对模型“探索能力”（能不能生成多样化的正确答案路径）的要求就越高。

实验结果显示：在AIME 2024上，完整的DeepScaleR强化学习模型，随着k增大，Pass@k的提升速度会越来越慢，出现明显的“探索饱和”。而SAR处理后的模型，虽然在k=1时与完整模型几乎一样（Pass@1都约为40%），但随着k增大，它的提升速度更快——到k=2时就超过完整模型，并且在更大的k值下保持领先。在256次采样的覆盖率测试中，SAR模型能解决AIME 2024中26道题，而完整强化学习模型只能解决25道。

32B的OLMo-3.1-32B-Think也呈现完全相同的规律：SAR在k=4时越过完整强化学习模型的Pass@k曲线，之后持续领先。

为什么会这样？研究团队给出的解释是：完整的强化学习更新中，除了“真正的推理重连线”之外，还包含一些残差方向——这些方向虽然没有直接损害单次准确率，但会让模型倾向于反复生成相似的答案路径，从而压缩了有效的探索空间。SAR去掉了这些残差方向，让模型保留了原始的多样性，因此在多次采样时能够覆盖更多不同的解题路径。

六、核心发现三：代码能力被“压住”了，SAR帮它重见天日

研究团队还将SAR应用到了混合领域强化学习（Mix-RL）场景，结果揭示了一个有趣的现象：多领域同时训练时，某些能力会被其他领域的训练“压制”，而SAR能把这些被压制的能力释放出来。

实验对象是OLMo-3.1-32B-Think，这个模型是在数学推理、编程、指令跟随、对话等多个领域同时进行强化学习训练的。理论上，多领域联合训练应该让模型在所有领域都表现良好，但实际上，由于不同领域的参数更新方向存在冲突，往往会有此消彼长的现象。

SAR只保留了该模型奇异坐标系里前1%的重连线部分。结果令人惊喜：在编程领域，SAR处理后的模型在LiveCodeBench v5测试集上从67.61%提升到69.09%，在v6测试集上从64.30%提升到65.25%——这是在完整强化学习训练已经完成的基础上，仅通过后处理就实现的提升，说明原本的混合训练中，编程能力确实被其他领域的训练方向压制了一部分。与此同时，数学推理能力基本保持不变，A VG@32误差在1%以内；指令跟随能力（IFEval测试）从92.42%微降至92.05%，几乎没有损失。更关键的是，数学探索能力明显增强：AIME 2025的Pass@16从88.33%提升到91.71%。

用刚才的音乐比喻来说：这个学生被要求同时练古典、摇滚和爵士，结果爵士被另外两种风格“盖住”了。SAR做的事情，就是帮他把三种风格里共同的、最基础的音乐感知能力提炼出来，去掉三种风格之间互相干扰的部分，让他在爵士领域反而能发挥得更好，同时古典和摇滚也没有退步。

七、核心发现四：把数学专家和编程专家“合体”，结果超越了两个单独专家

最后一个实验场景，最能体现SAR在实际应用中的潜力：把两个分别在不同领域训练的专家模型合并成一个，能不能让合并后的模型在两个领域都表现优异？

传统的模型合并方法（如Task Arithmetic、TIES、DARE+TIES），大体上是把两个模型的参数更新量按照某种规则加权叠加。但问题在于，两个模型的参数更新量方向往往不兼容，简单叠加会引发干扰，导致合并后的模型反而不如其中一个单独的专家。

研究团队在两个规模下做了测试。在1.5B规模（基础模型DeepSeek-Distill-Qwen-1.5B）上，数学专家是DeepScaleR，编程专家是Archer-Code。在14B规模（基础模型DeepSeek-Distill-Qwen-14B）上，数学专家是OpenReasoner-Zero，编程专家是DeepCoder。

SAR的做法是：先对数学专家的参数更新量做奇异坐标投影，提取出紧凑的数学推理重连线矩阵M，然后把这个精炼后的更新量叠加到编程专家上。

结果在两个规模上都呈现出一个规律：SAR合并后的模型，在数学和编程两个领域的主要指标上，都超过了两个单独专家中的最佳者。在1.5B规模上，数学上的AIME A VG@32达到43.44%，超过了数学专家DeepScaleR的40.31%；编程上的LiveCodeBench A VG@8达到32.25%，超过了编程专家Archer-Code的31.80%。在14B规模上，SAR合并模型的数学表现（74.38%）同样超过数学专家（74.27%），编程表现（63.40%）超过编程专家（61.00%）。

反观传统方法Task Arithmetic，它直接把两个完整的参数更新量叠加，结果数学能力大幅下滑（1.5B规模下AIME A VG@32只有36.25%，Pass@32降到63.33%），说明未经精炼的参数更新量之间存在严重冲突。TIES和DARE+TIES有所改善，但在大多数指标上仍不及SAR。

用音乐比喻来说：传统方法是把古典乐手和爵士乐手的全套演奏习惯强行叠加，结果两种风格互相干扰，谁都演奏不好。SAR则是先从古典乐手的演奏习惯里提炼出“最核心的音乐感知能力”，再把这部分精华叠加给爵士乐手——结果这位乐手不仅保住了爵士演奏水平，连古典曲目也能弹得更好了。

八、SAR什么时候最有效，什么时候会遇到边界？

研究团队也坦诚地讨论了SAR不是万能的情况，这让整个研究的评估更加可信。

SAR最有效的场景，是当强化学习的作用主要是“激发和重组基础模型里本来就有的能力”时。在这种情况下，奇异坐标系里原有的“原子技能”已经足够，强化学习只需要改变它们之间的连线方式，SAR就能精确提取这部分改变。

但有几种情况，SAR的效果会打折扣。第一种是训练时间特别长的深度优化场景——研究团队测试了一个训练超过4000步的JustRL模型，发现SAR投影后确实能恢复约43%的AIME 2024得分（接近DeepScaleR水平），但无法完全追上这个模型最终约52%的得分。这说明在长时间优化后，有一部分参数变化已经超出了“重连线”的范畴，开始真正改写基础模型的知识结构，这部分SAR就无法捕捉了。

第二种是直接从基础模型出发做代码强化学习的场景。代码能力的习得，不只是推理能力的重组，还涉及代码语法规范、函数接口格式、标准输入输出处理等“执行协议”，这些在基础模型里并没有完善的基础。SAR对这类情况的压缩效果明显不如数学推理场景。但有一个有趣的发现：如果先做代码监督微调（SFT）建立基础，再做强化学习，此时强化学习的更新就变得与奇异坐标系更加兼容，SAR也能有效提炼。

第三种是使用PPO等外部价值模型做密集奖励强化学习的场景。外部价值模型带来的梯度方向，与基础模型奇异坐标系的对齐程度不如稀疏结果奖励信号，因此SAR在这类训练方式上的效果也相对弱一些。

九、消融实验：证明“精炼”的价值不只是“压缩”

为了排除“SAR的效果只是因为参数更少，更不容易过拟合”这一种解释，研究团队设计了一系列对比实验，直接戳穿了这个疑虑。

第一个对比是“不投影控制”——用同样的低秩提取，但不把提取出来的更新量投影回基础模型的奇异坐标系，直接加回去。结果显示：在单次准确率（Pass@1）上，不投影控制与SAR相近；但在高采样数量下的探索表现（Pass@32及以上）上，不投影控制明显比SAR差，并且在跨领域合并实验里，不投影版本虽然保住了编程能力，但数学推理大幅下滑，而SAR在两个领域都提升了。

第二个对比是“随机投影控制”——用随机生成的奇异向量替代基础模型的真实奇异向量做投影。结果是Pass@1虽然比基础模型稍好，但远不如SAR，说明“用基础模型真实的奇异向量坐标”这一点不可或缺，不能换成任意低维坐标系。

第三个和第四个对比，是只保留重连线矩阵M的对角元素（只做“技能放大缩小”），或者只保留非对角元素（只做“跨技能连线”）。只保留对角元素时，Pass@1大幅下滑（30.73% vs 完整强化学习的40.31%），说明单纯调整技能权重并不够。只保留非对角元素时，Pass@1能恢复到38.54%，但Pass@32下降，说明跨技能连线承担了推理的主要信号，但配合对角调整效果更完整。

这些对比实验共同指向一个结论：SAR的效果来自于“用基础模型的真实奇异坐标系做精准投影”这个核心机制，而非简单的参数压缩或低秩近似。

十、在实际应用场景中的表现：代码智能体基准测试

研究团队还在一个内部（in-house）模型上做了实际代码智能体场景的测试，进一步验证SAR的实用价值。他们在7个公开的代码智能体基准测试上对比了基线模型和SAR处理后的模型，测试类型涵盖了GitHub问题修复（SWE-Bench系列）、多语言代码修复（MSWE-Bench）和命令行终端任务（TerminalBench）。

结果是7个基准中有6个得到了提升，平均提升幅度为+2.52%，最大提升出现在TerminalBench 2.0上，提升幅度高达+25.10%（从0.194到0.243）。只有MSWE-Bench的CodeAct智能体版本出现了微小下滑（-0.33%），几乎可以视为波动范围内。这个结果说明SAR不仅在学术数学测试集上有效，在实际的工程应用场景中同样能发挥作用。

说到底，这项研究告诉我们一件很有意思的事：AI的推理能力，或许并没有我们以为的那样神秘。它很大程度上是把基础模型里本来就存在的“技能碎片”重新连接组合的过程。而强化学习整个训练过程所产生的大量参数变化中，真正在做这件有意义的事情的，只是其中极小的一部分——最少只有0.58%的参数。其余的大部分变化，要么是冗余的，要么是在不同任务领域之间互相干扰的噪声。

这意味着我们或许不需要用那么大的代价去追求AI的能力提升。一次精准的“后处理精炼”，不改变训练过程，不需要新数据，在几分钟内就能完成，却能让模型表现得更好、探索能力更强、跨领域兼容性更高。这为未来构建多能力AI系统提供了一条成本更低的路径：先分别训练各个领域的专家模型，再通过SAR把每个专家的精炼推理核心提取出来，合并成一个在多个领域都表现优异的统一模型。

Q&A

Q1：SAR处理之后的模型参数变少了，会不会导致某些能力变弱？

这是一个很关键的疑问。实验结果显示，SAR保留的是基础模型奇异坐标系内的精炼更新部分，而不是随机删减参数，所以它的效果并不等同于“压缩”。在数学推理上，SAR处理后的模型保留了超过99%的强化学习训练增益；在混合领域场景中，数学和指令跟随能力几乎没有损失，编程能力反而提升了。只有在基础模型原本不具备相关技能的领域（如直接从零做代码强化学习），SAR的效果才会相对有限。

Q2：SAR和LoRA这类低秩适配方法有什么本质区别？

LoRA是在训练阶段把参数更新限制在低秩结构里，相当于在练琴时就只练特定的指法组合。SAR则是在训练完成之后，把已经完成的全量训练的参数变化投影到基础模型的奇异坐标系里——它不改变训练过程，而是对训练结果做后处理。更重要的是，SAR提炼出来的是“与基础模型坐标系对齐的低秩更新”，而不是任意低维结构，这让它在探索能力和跨领域迁移上都优于单纯的低秩提取。

Q3：SAR能用在中文大模型或者其他语言的模型上吗？

从方法本身来看，SAR对语言没有假设，它依赖的只是模型权重矩阵的奇异值分解，这在任何语言的Transformer架构模型上都可以做。研究团队测试的模型包括基于Qwen（千问）架构的DeepSeek系列和OLMo系列，其中Qwen本身就是一个中文能力很强的模型家族。所以理论上，SAR完全可以应用于中文大模型，只要该模型经历了强化学习的后训练过程。