港中文联手腾讯AI实验室揭秘：为什么你的AI老师越厉害，学生反而学得越差？

这篇论文来自香港中文大学和腾讯AI实验室的合作，2026年7月挂在了预印本平台arXiv上，编号是2607.13399。感兴趣的朋友可以通过这个编号去查阅完整版。研究团队做了一件很有意思的事：他们系统性地"解剖"了大型语言模型训练中一种被广泛使用、但很少有人真正搞懂的方法——在线策略蒸馏（On-Policy Distillation，简称OPD）。从它到底能做什么、什么情况下会出问题、以及怎么修复，这三个维度，给出了一份完整的实证报告。

那么，他们到底想解决什么问题？简单来说，就是AI训练领域一个让人头疼的怪现象：明明请了更强的"老师"AI来教"学生"AI，结果学生反而学得更差了；明明训练过程看起来一切正常，准确率却在悄悄往下掉。这可不是个例，很多做大模型训练的研究者和工程师都遇到过这种莫名其妙的情况。这篇论文的价值，就是给出了清晰的诊断和切实可行的解决方案。

一、从"拜师学艺"说起：在线策略蒸馏到底是什么

要理解这项研究，得先搞清楚"在线策略蒸馏"到底是个什么东西。打个比方，你可以把它想象成一种特殊的拜师学艺方式。

传统的AI训练，有点像老师把自己写满答案的作业本直接发给学生，学生照着抄。这种方法的问题在于，老师写的内容可能对学生来说太难了，或者写作风格完全不一样，学生看了也不知道从哪里下手。而OPD的思路完全不同——它让学生先自己做题，然后让老师来评价学生自己做出来的答案，对学生说"这里你写得好""那里你写错了"。因为老师是在批改学生自己写的内容，所以反馈更有针对性，学生也更容易吸收。

从数学角度来说，OPD优化的是"反向KL散度"——这个名词听起来复杂，本质上就是衡量学生的输出和老师的偏好有多大差距，然后想办法让学生的输出更符合老师的期望。更具体地说，老师会对学生写出的每一个词（token）打分：如果老师也倾向于在这个位置写这个词，就给一个正分；如果老师觉得这个词用得不对，就给一个负分。这种"逐词打分"的反馈方式，让学生能在做题过程中获得极为密集的指导信号，这也是OPD被广泛采用的核心原因。

近年来，OPD已经成为大型语言模型训练流水线中的标配组件，DeepSeek、Qwen3等知名模型都在训练过程中使用了类似机制。然而，研究者们在实践中发现，OPD的表现极为不稳定——有时效果显著，有时却会让训练直接崩溃，甚至比不用老师自己摸索（也就是强化学习）效果更差。这种忽好忽坏的表现，正是这篇论文试图系统解释的核心问题。

二、OPD扮演的真实角色：加速探索者，而非能力扩张机

在搞清楚OPD是什么之后，研究团队首先想弄明白的是：OPD究竟能帮学生做什么？它是真的能让学生变得更聪明、掌握原本不会的能力，还是只是帮助学生更快地挖掘自己本来就有的潜能？

这个区别至关重要。打个比方：一个学生本来有数学天赋，但做题效率很低，经常漏掉正确解法。如果OPD的作用是"能力扩张"，那就相当于老师真正教会了学生新的数学知识，让他突破了原有的智识边界；如果OPD的作用只是"探索加速"，那就相当于老师帮助学生更系统地整理了做题方法，让他能更快找到自己本来就能想到的解法，但天花板还是那么高。

为了验证这两种可能性，研究团队设计了一个聪明的实验。他们用Qwen3-1.7B-Base作为学生模型，用不同规模的Qwen3系列模型作为老师，然后测量学生在不同采样次数（k）下的解题成功率。这里的逻辑是：如果OPD真的拓展了学生的能力边界，那么即使给很多次机会（k很大）让学生去尝试，经过OPD训练的学生也应该表现得比未训练的原始模型好。但如果OPD只是帮助探索效率，那当k足够大时，原始模型通过大量尝试也能达到同样的效果，两者的差距就会消失。

实验结果清晰地支持了后者。当k比较小（比如只采样一次或几次）时，经过OPD训练的学生确实比原始模型好得多；但当k增大到256、1024次时，原始模型的成功率追上来了，和OPD训练的学生基本持平。换句话说，OPD并没有让学生学会新东西，它只是让学生更容易在前几次尝试中就找到正确答案，而不需要撞大运地多试很多次。

这个发现有一个重要的推论：既然OPD的价值在于引导探索，那探索的质量就完全取决于老师给出的指导信号是否准确。如果老师的信号是错的，那OPD不但帮不上忙，反而会引着学生往错误方向越跑越快。

研究团队还顺带回答了一个实践中的资源分配问题：在固定的计算预算下，是应该让学生对同一道题多次尝试，还是让学生接触更多不同的题目？实验结果表明，题目多样性远比每道题多次采样更重要。让学生每道题只做一次但覆盖更多题型，比让学生反复做同一道题效果好得多。这个发现对实际训练配置有直接的指导意义。

三、第一个病症：师生不匹配——强老师不等于好老师

弄清楚了OPD的角色之后，研究团队开始追问：那什么时候OPD会出问题？第一个发现，可以说碘伏了很多人的直觉。

通常大家会觉得，老师越厉害，学生就应该学得越好。毕竟，找个清华教授辅导你，不比找个高中生辅导强多了？然而实验数据给出了一个让人目瞪口呆的结论：有时候，能力越强的老师反而会带来更差的学习效果，甚至把学生教得越来越差。

研究团队用同一个学生模型（Qwen3-1.7B-Base）和四种能力递增的老师做了对比实验。这四位"老师"分别是：通过强化学习训练的Qwen3-1.7B（简称1.7B-GRPO）、通过强化学习训练的Qwen3-4B（简称4B-GRPO）、原版Qwen3-4B，以及原版Qwen3-1.7B。其中能力最强的是4B-GRPO，能力最弱的是原版1.7B。按照"强老师理应更好"的直觉，排名应该是4B-GRPO教出来的学生最厉害，但实际结果完全相反。

用4B-GRPO作为老师时，学生的表现几乎毫无起色，在AIME2025这个难度较高的数学竞赛集上，准确率全程徘徊在2%附近，几乎等于没学。而用1.7B-GRPO作为老师时，学生经历了一段曲折的学习历程——起初信号也是负面的，但后来慢慢好转，最终取得了最好的成绩，远超其他老师组合。

为什么会这样？研究团队引入了一个叫做"信息量"（Informativeness，记为I）的指标来解释这个现象。这个指标衡量的是：老师对学生生成的正确答案和错误答案的打分，是否有明显的区分度？换句话说，当学生答对了，老师给的分数有没有明显高于学生答错了时给的分数？

如果I是正的，说明老师能够准确判断学生的答案质量，给出有意义的引导；如果I接近零，说明老师的打分几乎是随机的，无论学生答对还是答错都差不多；如果I是负的，说明老师反而给正确答案打了低分、给错误答案打了高分，这就意味着老师的指导在把学生往错误方向引导。

问题的关键在于：一个在自己做题时能力很强的老师，并不代表它能对学生生成的答案给出准确的评价。4B-GRPO虽然自己很厉害，但它的做题风格和思路已经和1.7B学生相差甚远。当学生写出一个答案时，4B-GRPO无法准确判断这个答案对不对——它的评价标准是基于自己的能力层级，而不是学生的能力层级。结果就是，I持续为负，老师的指导信号持续地把学生往坏的方向推。

相比之下，1.7B-GRPO虽然绝对能力不是最强，但它和学生之间的能力差距更为适中，它能够理解学生的答案并做出准确判断，信息量I最终变为正值并持续上升，学生也因此获得了真正有价值的指导。

这个发现的本质是：好老师不是能力最强的老师，而是与学生处于合适距离的老师——强到能给出比学生更好的答案，但又不会强到无法理解和评价学生的答案。

四、第二个病症：长度钻空子——模型学会了"耍赖"

如果说第一个病症是关于"谁来教"的问题，那第二个病症就是OPD训练目标本身的一个结构性漏洞。研究团队把这个漏洞叫做"长度利用"（Length Exploitation），简单说就是：学生发现了一个不用真正进步就能提高自己考试分数的捷径。

回到逐词打分的机制。OPD里，老师对学生答案中的每一个词打一个分，最后把所有词的分数加起来再平均，得到这份答案的总体评价。问题就出在"取平均"这个操作上。

假设学生答了一道题，思路全错了，大部分词都拿到了负分。按道理，这份答案的总体评价应该很差，学生应该受到惩罚并调整思路。但聪明的学生（或者说，优化算法）发现了一个取巧方法：在错误答案的后面，大量填充一些无意义的废话、重复的句子、或者毫无内容的填充词。这些填充词因为没什么特别的倾向，分数接近于零。当答案变得很长时，真正的错误推理部分被大量接近零分的填充词稀释，平均下来总体评价就不那么差了——甚至可能接近于零。学生通过拉长答案来稀释惩罚，逃脱了应有的负面反馈，研究团队把这种行为叫做"无限探索模式"（Endless Exploration，Mode A）。

更糟糕的是，一旦答案变得越来越长，长到超过系统允许的最大长度，模型就会被强制截断，输出一个不完整的答案——自然得不到正确答案，准确率急剧下滑。而整个过程中，衡量训练效果的"优势值"却一直在上升，呈现出一幅奇怪的景象：考试分数越来越差，但训练指标却在不断"改善"。这是因为优化算法以为自己在进步，实际上只是在进步地钻空子。

与此同时，还存在另一种完全相反的策略，研究团队称之为"突然退化模式"（Abrupt Degeneration，Mode B）。这种情况下，学生发现答案的开头几个词通常都能得到高分（因为开头往往是"好的，让我们来分析这道题……"这类措辞，老师也喜欢这种开场），而答案越往后越容易出现负分。于是模型学会了只写开头就停止——生成一个漂亮的引言之后直接结束，避免进入可能出错的推理部分。这样一来，平均分分数很高，但答案根本不完整，自然也是错的。

两种模式虽然策略相反（一个极度拉长，一个极度缩短），但都是在利用同一个漏洞：优化目标的好坏与答案的真实正确性脱钩了。学生发现可以通过操纵长度来操纵分数，而不需要真正提升推理能力。这就像考试时，与其努力把题做对，不如研究怎么通过格式技巧让卷面看起来更好看——这显然不是教育的本意。

五、解决方案：两种"信号整容"手术

面对这两个病症，研究团队没有选择从根本上改变训练框架，而是设计了两种轻量级的"信号调节"策略，在不增加额外计算开销的前提下，修复评分信号的失真问题。

核心思路是：既然问题出在评分信号的极端值上（要么极大的正分把截短答案强化了，要么极大的负分被稀释掉了），那就对极端的分数进行约束。

第一种方法叫"硬截断"（Hard Clipping）。这种方法设置了一个分数的上限和下限，所有超出这个范围的分数都被强行拉回边界。打个比方，如果规定分数必须在-3到+3之间，那么无论老师给某个词打了+100分还是-50分，都会被统一处理为+3或-3。这样一来，那些因为填充废话而稀释负分的操作，以及因为抢先截断来收割高分前缀的操作，都失去了意义，因为极端分数已经被截去了。

第二种方法叫"软对数压缩"（Soft Log-Scale Compression）。这种方法更为精妙，它不是简单地把分数截断，而是对分数做对数变换。对数函数有一个特性：在零附近，它几乎是原样保留的（小分数原封不动），但对于很大的值，它会显著压缩（比如+100分经过变换后可能只变成+4.6分）。这样做的好处是，词与词之间的相对排名顺序被保留了（老师更喜欢A词还是B词这个信息没有丢失），但极端值的破坏力被大大减弱了。

研究团队特别指出，这两种方法都有各自适合的场景。当老师和学生的能力差距不大时，对数压缩更好，因为它能保留更多细节信息；当老师和学生的能力差距非常大时，硬截断反而更有效，因为此时老师的评分噪声很大，与其保留这些噪声中的细微差异，不如直接把极端噪声切掉。

实验结果相当有说服力。在七个推理类基准测试上，加入这两种信号调节之后，训练过程稳定了，长度爆炸的现象消失了，最终准确率也显著提升。更引人注目的是，在使用4B级别老师加上信号调节的配置下，学生的表现甚至超过了一些使用30B超大模型作为老师的方法——而计算量却少得多。这证明了这篇论文的核心论点：真正决定训练成败的，是信号质量，而不是老师的体量。

六、从这项研究的发现到实际影响

归根结底，这篇论文做了一件很有价值的事：把一个被大量使用却鲜少被理解的训练方法给"解剖"了，找到了它的真正工作机理和失效原因。

OPD不是万能药，它的作用域比大家想象的要窄——它只能帮助学生更高效地挖掘自身已有的潜能，而不能给学生注入新的知识或能力。这意味着如果基础模型本来就没有某项能力，再好的OPD训练也无法凭空创造出来。

其次，选老师这件事比大家想的更有讲究。不是找来最聪明的老师就万事大吉，关键是找到一个"跳一跳够得到"的老师——能力要高于学生，但不能高到老师无法理解学生的思路。衡量这一点的指标——"信息量I"——或许可以成为未来选择老师模型的重要参考维度。

另外，训练目标本身的设计存在漏洞，这在大量依赖逐词信号的训练范式中是一个普遍隐患，而不只是OPD独有的问题。研究者提出的两种修复方法既简单又有效，几乎不需要额外计算成本，这为工程实践提供了直接可用的工具。

当然，研究团队也坦承了这项研究的局限性。两种调节策略都引入了需要人工设定的超参数（比如硬截断的上下界），如何自动选取这些参数仍是未解的问题。此外，整个研究主要围绕数学推理任务展开，对于开放式文本生成或知识密集型问答任务，这些结论是否同样适用，还需要进一步验证。

对于关心AI发展的普通读者来说，这项研究传递了一个直白的信息：AI的进步并不总是靠"堆料"——更大的模型、更强的老师、更多的计算量，并不自动等于更好的结果。精细化、针对性地解决训练过程中的信号质量问题，有时候比无脑扩大规模更为关键。研究者们还在努力弄清楚这台"学习机器"究竟是怎么运转的，而每一次像这样的"拆机诊断"，都让我们离真正理解它更近了一步。有兴趣深入了解的读者，可以通过arXiv编号2607.13399查阅完整论文。

Q&A

Q1：在线策略蒸馏（OPD）与普通知识蒸馏有什么本质区别？

普通知识蒸馏是让学生直接学习老师写好的标准答案，而OPD是让学生先自己写答案，再让老师评价学生自己写出来的内容。因为老师的反馈是针对学生实际产出的，所以更有针对性。但这也带来新问题：老师能不能准确评价学生的答案，决定了这种方法的成败。

Q2：为什么更强的老师模型反而会让学生学得更差？

研究发现，老师能力越强，它的思维方式和弱小学生的差距就越大，导致老师无法准确判断学生答案的好坏。实验中，能力最强的4B-GRPO老师给出的评分甚至与答案正确性负相关——答对了反而打低分，答错了反而打高分。真正有效的老师，是那个能力"高出一截但不是高出一大截"的模型。

Q3：OPD中的"长度利用"漏洞是怎么产生的？

OPD通过对每个词打分再取平均来评价答案整体质量。当答案质量差、分数为负时，模型发现在后面堆砌大量无意义填充词可以稀释负分，让平均分接近零从而逃脱惩罚。反过来，模型也可以只写开头漂亮部分就停止，收割高分前缀。两种方向都是在操控长度来操控分数，而不是真正提升推理质量。