中科院：AI大模型"更努力学习"反而更容易忘光，真相让人意外

这项由香港创新科技及工业局人工智能与机器人研究所（HKISI-CAS）、中国科学院自动化研究所、中国科学院大学以及南京理工大学联合开展的研究，于2026年7月2日发布在arXiv预印本平台，论文编号为arXiv:2607.01763v1，有兴趣深入了解的读者可以通过该编号查询完整论文。

当“拼命学新技能”遇上“记忆力急剧下滑”的两难困境

假设你正在辅导一个孩子学习新知识。孩子有两种学习方式：第一种是让孩子自己先做一遍题，你看着他的答题过程，只在最终对错上给出反馈；第二种则是直接拿着满分答卷，手把手地、从每一个字每一个步骤都细细地临摹给他看，要求他一字不差地跟着抄写。

直觉上，第二种方式学得更扎实——毕竟连过程都照着来了，哪有不会的道理？然而，这项最新研究却发现，这种“临摹满分答卷”的学习方式，反而会让孩子在学完新内容后，更彻底地忘记以前学过的其他知识。更令人担忧的是，在极端情况下，孩子甚至会完全崩溃，以后什么都学不进去。

这个比喻，正是当今AI大语言模型（Large Language Models，简称LLMs）训练领域一个真实存在的困境的缩影。研究团队针对一种叫做“自蒸馏策略优化”（SDPO）的训练方法展开了系统性研究，对比了它与更传统的“序列级强化学习”方法（GRPO）在让AI持续学习新技能时的表现差异。他们的发现，彻底推翻了此前学界流行的一个乐观预判。

一、 AI的“连续复习”困境，以及我们为何曾经错误地乐观

要理解这项研究，先得搞清楚AI大模型训练中一个核心挑战：持续学习中的遗忘问题。

现实中，一个好用的AI助手不能只会数学，也要懂编程、会科学问答、还能使用各种工具。这就要求对AI进行“分阶段、跨领域的连续训练”——先训练数学，再训练科学，再训练工具使用，依此类推。但这里有个致命的陷阱：当AI学完新技能后，往往会把以前学过的旧技能“忘”掉，就好比你学了一门新语言，结果母语都开始磕磕绊绊了，这在AI领域被称为“灾难性遗忘”。

近几年，研究者发现，采用强化学习的方式训练AI（让AI自己生成回答，然后根据对错给出“奖励”），比直接喂给AI大量标准答案的传统方式（即“监督微调”）造成的遗忘要少很多。这带来了一种乐观的想法：如果这种训练的“保守性”来自于它使用了AI自己生成的数据，那么，只要数据来自AI本身，这种保守性就应该普遍存在。

正是在这个逻辑下，一类叫做“在线自蒸馏”的方法开始流行。这类方法的基本思路是：不需要一道题答对了才给奖励，而是让AI在看到“更多信息”（比如正确答案）的情况下，生成一个“信息更充分的教师回答”，然后要求AI本身（作为“学生”）的每一个字、每一步推理，都紧紧跟随这个“教师”的做法。这样，原本稀疏的“对或错”反馈，变成了密密麻麻的逐字指导——理论上学得更快、更细。

然而，这项研究的团队抱着一个关键疑问：数据来自AI自身，就真的足以保证“学新不忘旧”吗？

二、 “字字监督”与“最终对错”：两种截然不同的训练哲学

为了彻底搞清楚这个问题，研究团队设计了一个系统性的对比实验，把AI的训练分成了两个核心方法。

第一种是GRPO（组相对策略优化），可以理解为“最终结果评分”模式。教练（训练程序）先让AI做一批题，每道题AI自己写出答案，最后只根据答案对不对来打分，然后告诉AI“这道题你做得比平均水平好一些，那道题差一些”，AI据此调整自己的策略。整个过程像期末考试——只看最终成绩。

第二种是SDPO（自蒸馏策略优化），则是“逐字逐句临摹”模式。同样让AI先自己生成一个回答，但与此同时，再给AI看同一道题配上正确答案（这就是“更多信息”），让AI在拥有“作弊条”的情况下再生成一个“更好的教师回答”。然后，训练过程要求AI的“学生自答版本”中的每一个词的概率分布，都尽可能接近“教师回答版本”中对应位置的概率分布。这就把原本一道题只有一个“对/错”信号，变成了成百上千个词级别的精细信号。

研究团队在四个不同能力领域依次训练AI：数学推理、科学知识、工具使用、代码编写，然后在每个阶段后都测试AI在所有领域（包括从没专门训练过的“陌生领域”）的表现。他们测试的基础模型包括了阿里巴巴的Qwen3系列和美国艾伦人工智能研究院的OLMo-3系列。

三、 “更努力的学生”在期中考试大放光彩，却在期末考试一败涂地

实验结果让研究团队既兴奋又警惕，因为两个方法的表现呈现出一种戏剧性的分裂。

在每个领域刚训练完时，SDPO确实厉害得多。以数学训练阶段为例，SDPO训练完的AI在AIME（美国邀请数学竞赛）题目上的正确率达到了56.42%，而GRPO方式只有44.67%。科学领域训练后，SDPO同样以65.70%对56.39%领先。这就是那个“刚学完马上考，逐字临摹的学生分数更高”的效果。

但当四个领域全部训练完，再回头测验时，画面完全翻转了。SDPO训练完的AI，数学正确率从最高峰的56.42%跌回了34.38%，工具使用能力从刚训练完时的还凑合，直接跌到了9.93%——几乎退化到不会用工具的程度。更糟糕的是，SDPO还拖累了那些根本没有专门训练过的能力：逻辑推理和知识问答，都跌到了基础模型水平以下。

反观GRPO，虽然每次“期中考试”成绩都不如SDPO，但四轮训练结束后，所有测试领域的成绩都比最初的基础模型有所提升。它的提升不够快，但每次提升都能稳稳保住，不会被之后的训练冲垮。

这个差异揭示了一个关键事实：能快速掌握当前任务，和能在学了很多新任务后还保住旧技能，是两件完全不同、甚至可能相互矛盾的事情。

四、 密集监督的隐患：当“好老师”变成“制造噪音的机器”

研究团队并不满足于记录这种表现差异，他们深挖进去，想弄明白SDPO为什么会出现这个问题。他们发现，SDPO的核心缺陷藏在它最引以为傲的“逐字监督”机制里。

首先是教师的“新鲜度与稳定性两难”问题。在SDPO的设计里，“教师”（那个看过正确答案的版本）可以随着训练进行而不断更新，让教师始终跟上学生的进步——这听起来很合理。研究团队为此测试了不同的教师更新速度，从完全冻结不变（α=0），到每次训练都有5%的幅度向学生靠拢（α=5%）。

结果发现，没有任何一个更新速度在所有任务上都是最优的。更新太慢，教师会逐渐过时，给出的指导越来越跟不上学生的实际水平；更新太快（α=5%），教师就像一个随着学生状态不断抖动的风向标，每一步的变化都会被学生吸收，最终导致训练崩溃——就像两面镜子相对，会产生无限叠加的杂像。研究团队提出了一个折中方案：周期性地把教师完全同步到学生的当前状态，然后在一段时间内彻底冻结。这种“定期刷新、区间冻结”的策略（命名为StableSDPO）确实比纯粹的快速更新好很多，但它只是“减少了伤害”，并不能从根本上解决问题。

其次是“思维链蒸馏”带来的意外危害。思维链（CoT）是让AI在给出最终答案前，先写出一步步的推理过程。很多人认为，把这些推理步骤也纳入逐字监督，能让AI学到更多。研究团队专门测试了“仅蒸馏最终答案”和“连推理过程一起蒸馏”两种模式。对于工具使用类任务——这类任务的“思考过程”格式固定、步骤清晰——连推理一起蒸馏确实有帮助。但对于数学和科学类任务，情况恰恰相反。数学题的推理过程往往很长，充满了“等一下，让我再想想”式的自我校正、模糊的中间步骤，甚至偶尔的错误推断。把这些不可靠的中间过程也作为“金标准”强迫AI去临摹，不仅没有帮助，还会让AI生成的回答越来越长、越来越混乱，最终导致性能下滑。

五、 为什么密集学习会伤害“陌生考场”上的表现

研究团队还发现了一个精妙的规律：SDPO训练对AI的伤害，并非简单地“学什么，忘什么”，也不是“学什么，都忘”，而是呈现出一个奇特的“距离相关性”。

他们用一种叫做“最大均值差异”（MMD）的数学工具来测量不同考试任务在题型分布上的相似程度——简单来说就是量化两个领域的“八字合不合”。结果显示，SDPO训练对AI表现的影响形成了一条倒U形曲线。

和训练领域高度相似的任务，AI的表现往往有所提升，因为学到的新技能可以直接迁移过来。和训练领域完全不同、风险上八竿子打不着的任务，因为学新技能时的参数调整根本没怎么触碰到它，所以也基本不受影响甚至略有提升。

最危险的是那些“不远不近”的中间地带任务——它们和训练领域有一些相似之处，所以训练过程中的参数调整会波及到它们，但又没有相似到能直接从中受益。研究中，GPQA（一个研究生级别的综合科学问答测试）就是这个“中间地带受害者”的典型代表：无论AI在数学、科学还是工具使用上接受SDPO训练，GPQA的成绩都会下滑，尽管GPQA并不是任何训练阶段的直接目标。

这个规律在学界被称为“干涉区”（interference zone），此前在理论研究中曾被预测过，而这项研究是在真实大语言模型的持续训练实验中第一次清晰观察到这种模式。

六、 参数漂移与崩溃：用显微镜看AI大脑内部发生了什么

为了从机制层面理解为什么SDPO训练会有这么强的副作用，研究团队开展了一系列“AI大脑内部解剖”实验，用数学工具追踪了每一层神经网络权重在训练过程中的变化。

他们用奇异值分解（SVD）这个数学工具，把AI每一个“神经元矩阵”拆解成若干个方向向量和强度值，然后追踪这些方向和强度在训练前后的变化幅度。这就好像在观察一块橡皮泥的形变：不仅看它整体有没有变形，还要看它的主轴方向有没有转动、最重要的部分有没有被动到。

结果非常清晰：在所有测试的训练方式中，GRPO对AI参数的改动最小，就像用铅笔轻轻描了一遍；SDPO（尤其是连推理步骤都蒸馏的版本）的改动则相当于用橡皮大力涂抹了好几遍，不仅幅度更大，而且改动的位置正好是AI最核心、最重要的那些“主轴参数”。这种大幅度的内部改写，在学新任务时带来了更快速的适应，但同时也把旧技能赖以存在的参数结构破坏得更彻底。

与此同时，研究团队还分析了AI生成的回答在语义层面的变化——用一个叫做“文本嵌入”的工具，把AI的每个回答转换成一个多维空间中的“坐标点”，通过测量训练前后坐标点的移动距离来评估AI“回答风格和语义”的漂移程度。SDPO训练让AI的回答坐标移动得更远，而且移动的分布更加分散——这说明SDPO不只是让AI在对的地方更对，而是从根本上重塑了AI思考和表达问题的方式，这种全面重塑在面对熟悉任务时是优势，在面对其他任务时却成了包袱。

最极端的崩溃案例来自快速更新教师版本（α=5%）的连续训练实验。在从科学知识训练切换到工具使用训练时，AI突然陷入了一种特殊的死循环：它开始不停地输出重复的“boxed”字符——这是数学题答案的格式标记——无论面对什么问题，都输出这一串毫无意义的符号。这种崩溃可以从训练曲线上清晰看到：JS散度（一个衡量“教师”和“学生”输出差异的指标）在切换任务后的最初几步内就直接降到了零，意味着AI完全停止了自我探索，完全被一种重复的格式模式锁死了。

研究团队把这种现象命名为“确认偏差循环”：学生输出了一个重复的格式，教师（因为和学生高度同步）也认可了这个格式，于是下一步更新时这个格式得到了进一步强化，如此循环，形成了一种无法自行纠正的正反馈死锁。

七、 用数学证明：在线数据≠不遗忘

这项研究最令人印象深刻的部分，是它不仅仅靠实验结果说话，还提供了一个严谨的理论证明，从数学层面解释了为什么“数据来自AI自身”并不足以保证“不遗忘”。

这里需要引入一个思维框架。研究团队证明了，当AI被要求以某种成功率去完成新任务时，存在一个理论上“最理想”的更新方式，叫做“成功匹配剃刀策略”（Razor Policy）。这个最理想策略有一个特性：在保证AI完成新任务的前提下，它对AI原有参数的改动是最小的——就像一把剃刀，精准地只切掉需要改动的部分，其他地方完全不碰。

GRPO这类基于最终奖励的强化学习方法，其实在数学上近似于向这个“最理想最小改动策略”靠拢——每次更新都倾向于在“完成任务”和“改动最小”之间找到最佳平衡点，这正是它“学慢但记得住”的根本原因。

而SDPO的情况则完全不同。SDPO逐字追随的是“教师版本”的概率分布——这个分布是AI在看到正确答案后生成的，它确实比纯凭猜测的输出质量高，但它并不等同于那个“最小改动的理想策略”。教师版本会带入特定的推理风格、格式偏好，甚至一些并非必要的语言习惯。研究团队从数学上证明，这些“额外的不必要的差异”会以一种可量化的方式累积成额外的参数漂移，而这种额外漂移，正是额外遗忘的根源。用论文中的正式语言来说：SDPO的在线数据保证了监督是在AI自己生成的“历史”上施加的，但施加的“方向”（即教师的逐词分布）并不是KL散度意义上的最优方向，二者之间的差距，就是多余的遗忘的来源。

八、 结论：不是越细越好，而是要有选择地细

归根结底，这项研究想说的不是SDPO这类方法没有价值，而是它价值的边界在哪里，以及为什么我们不能把它当成持续学习的“万能解药”。

当训练任务结构清晰、正确答案格式固定、教师信号稳定可靠时，SDPO确实是一把利器——它能让AI在新领域迅速飞奔。工具使用训练就是这种情况的典型：格式规范，步骤明确，教师信号可靠，SDPO带来的密集监督真实有效。

但当训练任务充满长篇推理、不确定中间步骤、或者需要在多个领域之间持续切换时，SDPO就变成了一个潜在的危险工具。它的密集信号会把噪音放大得和有效信息一样响，会让AI的参数“过度重塑”，会在学新技能的同时冲刷掉旧能力，甚至在极端情况下彻底崩溃。

所以，这项研究最重要的启示是：持续训练AI时，那种“学了就能立刻在当前考题上大放异彩”的训练方式，和“经过长期多领域训练后综合能力依然扎实”的训练方式，是两个不同的目标，需要不同的策略。当下的技术路线，如果追求的是后者，应当更审慎地使用密集自蒸馏，对教师更新策略进行严格控制，并在训练过程中对不同类型的词元（尤其是格式词元）实施区分对待。研究团队指出，未来的方向不是把信号做得更密，而是把信号做得更精准、更稳健、更有选择性。

如果你对这个话题充满好奇，想了解更多细节，可以在arXiv平台上搜索编号arXiv:2607.01763v1，阅读完整论文。

Q&A

Q1：SDPO（自蒸馏策略优化）和GRPO（组相对策略优化）到底有什么区别？

A：GRPO只在AI最终给出的答案上打分，类似于只看期末考试成绩；SDPO则要求AI的每一个词都紧紧跟随一个“看过答案的教师版本”，监督密度要密集得多。这种密集监督让AI在刚学完新任务时表现更强，但长期多领域持续训练后，SDPO造成的遗忘更严重，甚至可能导致完全崩溃，而GRPO虽然进步慢，但保住旧能力的能力更强。

Q2：SDPO训练崩溃时具体发生了什么？

A：研究中记录的最极端崩溃案例是，AI在完成工具使用任务的训练时，突然开始不停地重复输出“boxed”符号——这原本是数学答案格式标记。无论面对什么问题，AI都只输出这串符号。这是一种“确认偏差循环”：快速更新的教师不断强化了这个格式习惯，形成了正反馈死锁，最终导致AI完全丧失正常输出能力，所有任务准确率归零。

Q3：思维链蒸馏为什么在数学训练中反而有害？

A：数学推理过程往往很长，包含大量不确定的自我修正和可能出错的中间步骤，这些步骤与最终答案的正确性之间关联并不稳定。当SDPO把这些不可靠的推理过程也作为“金标准”强制AI去逐字模仿时，AI反而学到了许多噪音和格式习惯，而不是真正的解题能力。研究结果显示，对数学和科学任务加入思维链蒸馏后，AI的回答变得更长、更混乱，最终性能不升反降。