三种AI训练方法其实只是同一个旋钮的三种拨法

这篇由伊利诺伊大学厄巴纳-香槟分校研究人员完成的工作，以预印本形式在2026年6月30日发布，论文编号是arXiv:2607.00152。有兴趣深挖的读者，可以直接用这个编号去查原版论文。

**一个你可能没意识到的问题**

先说个核心判断。如今市面上那些最能打的AI推理系统——能解复杂数学题、能写代码、能进行抽象逻辑推理的那类模型——它们背后有一套训练机制，绝大多数人压根没听说过，就连不少AI从业者对其中细节也只是一知半解。过去几年里，研究界陆续冒出了三种训练方法，每一种都顶着独立的名头，有自己的论文、自己的命名、自己的改进逻辑。但这两位研究者做了一件看似简单却让人拍案的事：他们把三种方法的数学推导彻底拆开、并排对比，结果发现——这三种方法根本不是三个不同的发明，它们只是对同一个数字做了三种不同的操作。

这个数字，就是“标准差”。更精确地说，是同一道题多次作答中，正确答案与错误答案之间的分歧程度。

**一、AI学习的底层机制：为什么要让模型反复做同一道题**

要理解这个发现的分量，得先搞清楚这类AI到底是怎么训练出来的。

现代AI推理模型的训练方式，和我们平常理解的“刷题”有一个根本差异。在训练阶段，系统会把同一道题目交给模型做很多遍——比如八遍、十六遍。这些重复作答不是给用户看的，是给训练系统自己看的。每次答完后，自动检验程序（就像个不知疲倦的阅卷老师）会打分：答对得1分，答错得0分。

为什么要这么干？逻辑其实很朴素：如果模型八次全都答错，说明它完全不会这道题，没有任何成功路径可以借鉴；如果八次全都答对，说明它已经掌握得滚瓜烂熟，没有任何失败案例可以用来警示。只有当部分答对、部分答错的时候，训练系统才能做点真正有意义的事——它能对比“做对时的思考路径”和“做错时的思考路径”到底差在哪，然后告诉模型：往对的那条路走，离错的那条远一点。

这种分歧，就是所谓的“组内标准差”。当答案一半对一半错时，分歧最大，标准差最高；全部一致时，分歧为零，标准差也是零。

**二、三种方法的真实面目：同一个旋钮，三种拨法**

接下来看这三种方法。

第一种叫GRPO（群体相对策略优化），是目前应用最广的方法，由DeepSeek团队在训练数学推理模型时带火的。它的核心操作是：算出这道题的“分歧程度”（也就是那个标准差σ），然后把训练信号**除以**这个数。这个操作的效果，相当于给所有题目的训练强度做了一种特殊的均衡——特别难和特别简单的题目，会拿到更大的训练权重。

第二种叫Dr. GRPO（正确版GRPO），是另一个团队对GRPO的“纠错”版本。他们认为GRPO有个问题——极端难度的题目被过度关注了。于是他们的解决方案是：**把那个除法直接去掉**。不再除以标准差，直接拿原始训练信号用。这样一来，每道题得到的关注，只和“这道题有多大比例答对了”成正比，不会再特别偏向某个难度区间。

第三种叫DAPO（解耦裁剪动态采样策略优化），它关心的则是另一个麻烦：如果一道题八次全对或八次全错，标准差是零，根本产生不了任何训练信号。DAPO的解决方案很直接：**直接丢掉这种全对或全错的题目组**，另外多采一些有分歧的题目来顶上。

把这三种方法并排摆在一起，研究者注意到一件事：它们全都在处理同一个数——那个标准差σ。GRPO把它当分母用，Dr. GRPO把分母去掉，DAPO把让它等于零的情况过滤掉。用论文的标题来说，这就是“三种操作”——不是三个独立的发明，而是同一个旋钮被拨向了三个不同的位置。

**三、那个精妙的等式：学习信号恰好等于分歧程度本身**

研究者接下来证明了一个在数学上干净得出奇的结论，也是这篇论文的核心定理。

通俗点说：假设对同一道题采了G次样，其中k次答对、G−k次答错。那么GRPO对这道题产生的实际训练更新，恰好等于√(k×(G−k)/G)——也就是那道题的“组内标准差”——再乘上“正确答案的平均特征与错误答案的平均特征之差”。

这个等式不管用什么基准线（baseline）来减都成立，不管模型有多少参数、在哪个维度的参数空间里操作，都永远成立。这就是论文所称的“群体标准差恒等式”。

这个等式的意义在于：那个标准差，不只是一个用来做除法的分母，它本身就是训练信号的大小。一道答案五五开、半对半错的题，产生最强的学习信号；一道答案一边倒的题，学习信号为零。分歧程度，就是学习量。

打个比方吧：这就像学生面对一套测试题，只有那些“有时候做对、有时候做错”的题目，才是真正值得反复练习的。每次都做对的，不用再练；每次都做错的，暂时也无从下手——因为你连一个可以参照的正确版本都没有。只有那些摇摆不定的题目，才是当下最有价值的练习材料。

**四、这个发现带出了三个具体的实用结论**

从这个核心等式出发，研究者推导出了三个可以直接用在实践中的结论，每一个都能回答训练AI时经常挠头的问题。

第一个关于“每道题该采样几次”。采样越多，当然越能准确感知这道题的真实难度，但计算资源是有限的。研究者推导出了一个简洁的公式：如果想让一道题的训练信号达到理论最大值的至少(1−ε)倍，需要的采样次数G大约是1/(8εp(1−p))，其中p是这道题被答对的概率。

这个公式揭示了一个有趣的现象：难度越极端的题目，需要的采样次数越多。一道答对概率正好50%的“中等难度”题，大约采样10到11次就够了；而一道答对概率只有5%的“超难题”，要达到同样精度，需要接近70次。换句话说，固定的采样数量（比如常用的G=8），对中等难度题已经很充分，但对极难题严重不足——在G=8时，超难题只能实现大约54%的理论最大学习信号，而中等难度题能实现93%。

这不是泛泛的定性结论，而是有具体数字可查的。研究者提供了一张对照表：在不同难度、不同目标精度（90%、95%、99%）下，各自需要多少次采样。需要99%精度、题目答对率为5%时，要273次采样；同样精度、答对率50%时，只需要51次。

第二个结论关于“有多少训练资源被白白浪费了”。当一道题全部答对或全部答错时，标准差为零，整组训练数据产生零学习信号——这种情况被称为“沉默组”。沉默组的概率精确等于p的G次方加(1−p)的G次方，其中p是这道题的答对概率。

研究者把这个公式套到真实数据上。他们用了一个叫Big-Math的大型数学题数据集，包含215,608道题，每道题都有Llama-3.1-8B模型做了64次尝试的实际答对率。在这份数据里，当采样次数G=8时，44%的题目组成了沉默组，产生零学习信号；就算把采样次数加到64，仍有17%的题目组保持沉默。更麻烦的是，其中11.2%的题目在任何采样次数下都永远沉默——因为它们要么每次都答对（太简单），要么每次都答错（太难），无论抽多少次样，都不会出现有对有错的分歧局面。这就是DAPO需要额外动态替换采样的原因：它实际上是在系统性地消除这些沉默组。

第三个结论关于“GRPO和Dr. GRPO到底优化的是什么目标”。当采样次数趋向无穷大时，GRPO的训练方向等价于优化一个叫做“反正弦变换”的数学函数：2×arcsin(√p)，而Dr. GRPO优化的是原始的答对率p本身。这两个目标在数学形状上区别很大：反正弦变换对极端难度的题目给了更高的边际权重，原始答对率则对所有难度一视同仁。

具体来说，GRPO给每道题赋予的“边际学习权重”等于1/√(p(1−p))。当题目难度恰好50%时，权重为2；当难度是5%时，权重约4.6——是中等难度题的两倍多。这就是Dr. GRPO论文中提到的“难度偏差”：GRPO会自动过度关注极难和极简单的题目。而Dr. GRPO去掉除法后，每道题的权重变成固定的1，没有任何难度偏向。

这个发现的重要性在于：这种“难度偏差”不是GRPO的意外副作用或设计失误，而是它在数学上必然带来的结果——只要你用标准差做除法，你就是在隐式地优化那个反正弦变换，就必然会得到这个难度偏向的权重分配。理解了这一点，你才能有意识地选择：是要GRPO那种偏向极端难度的优化方式，还是Dr. GRPO那种均等对待所有难度的方式。

**五、在真实数据上的验证：理论预测与现实高度吻合**

研究者在Big-Math数据集上验证了上述所有理论预测，还做了一次受控的模拟训练实验。

在数据集分析部分，他们先描述了Big-Math的难度分布：这份数据呈明显的双峰分布，4%的题目从未被答对（答对率为0），7.2%的题目每次都被答对（答对率为1），中间区域有广泛的分布。这说明极端难度的题目在现实数据中占了真实比例，绝不是理论上的边角案例。

在梯度预算分配方面，对比GRPO和Dr. GRPO在这份数据上的实际差异：GRPO把24.7%的有效训练梯度分给了极端难度题目（答对率低于10%或高于90%），而Dr. GRPO只分了13.9%——差距将近1.8倍。相应地，GRPO给中等难度题分配的梯度比例（17.5%）低于Dr. GRPO（22.8%）。这一差异不是小数字游戏，而是训练信号分布的实质性改变。

在模拟训练实验中，研究者构造了6,000个简化版“模型”，每个模型对应一道题，初始难度从Big-Math的真实分布里抽取，然后用GRPO、Dr. GRPO和DAPO三种规则分别训练150步。

实验结果和理论预测的吻合程度让人印象深刻。沉默组比率的变化曲线与理论公式的预测值达到了R²=0.999的契合度——几乎完美。梯度质量分布也与有限采样下的理论修正公式精确匹配。在学习轨迹方面，对初始最难的那25%题目，GRPO在150步后将平均答对率提升到0.99，Dr. GRPO只到了0.88，而DAPO（动态替换沉默组）最快达到高答对率，但代价是需要3.5倍的额外采样开销。

这个实验不只是验证了数学公式，它还展示了三种方法在实际训练动态上的差异：GRPO因为给极端难度题目更高权重，所以在最难掌握的题目上进步更快；Dr. GRPO进步更均匀，但对极难题目的推进较慢；DAPO通过避免在沉默组上浪费计算，把所有资源都花在有实际学习信号的题目上，速度最快，但需要持续检测和替换采样。

**六、这个发现对AI训练实践意味着什么**

研究者在论文中非常谨慎地指出：这项研究的结论并不是“哪种方法最好”，而是揭示了这三种方法的实质差异，让从业者能有意识地做出选择。

选GRPO，意味着你认为对极端难度的题目施加更多训练压力是值得的——这样可以更有效地“救活”那些极难题目，但代价是你的隐式目标变成了那个反正弦变换，而非原始答对率。选Dr. GRPO，意味着你希望模型在整体答对率上均匀提升，不偏不倚地对待每个难度层级。选DAPO的动态采样策略，意味着你重视计算效率——宁愿多花几次采样来确保每次更新都有实际意义，而不是把更新浪费在全对或全错的无效题目组上。

论文还有一个更深层的启示：这种“单组精确核算”的分析框架，可以被推广到其他训练设计选择上。基于排名的优势函数、基于分位数的奖励、奖励裁剪、长度归一化——每一种都可以用同样的方式，从“一道题、一组采样、一次精确更新”出发做分析，把各种看似神秘的工程选择还原为可理解的数学操作。

当然，这项研究的局限性同样值得提一下。论文中的核心等式专门针对二元奖励（答对得1，答错得0）和单次在线更新的情况。对于奖励裁剪、KL惩罚项、离策略更新、非二元奖励这些情况，同样的分析框架需要额外处理。受控实验是在一个大幅简化的标量模型上做的，真实语言模型的训练动态会更复杂。不过研究者指出，核心等式本身在数学上对任意维度的策略都成立，真实语言模型的训练日志里，理应能观察到相同的现象。

归根结底，这项研究做了一件很朴素的事：把三个被人分开讨论的东西，找到了它们共同的根。那个根，是一个你可以直接从采样数据里算出来的数字——组内标准差。它不只是一个做除法用的分母，它就是这道题当前能产生的学习量本身。分歧越大，学习越多；完全没有分歧，就什么都学不到。

有兴趣深入了解完整数学推导和实验细节的读者，可以通过arXiv编号2607.00152查阅原论文。研究团队还在GitHub上开放了全部代码，供任何人复现验证。

Q&A

Q1：GRPO和Dr. GRPO到底有什么实质区别，哪个效果更好？

A：GRPO在计算训练信号时多了一个“除以组内标准差”的步骤，这让它在数学上等价于优化反正弦变换目标，会给极难和极简单的题目赋予更高的训练权重；Dr. GRPO去掉了这个除法，优化的是原始答对率，对所有难度一视同仁。没有绝对更好的说法，取决于训练目标：想要更用力攻克极难题目就选GRPO，想要整体均匀提升就选Dr. GRPO。

Q2：GRPO训练时为什么要让AI对同一道题做很多遍，不是很浪费资源吗？

A：这些重复作答不是真正的“浪费”，而是测量AI当前在这道题上的不确定性。只有当部分尝试答对、部分答错时，才能比较两种路径的差异，产生有效学习信号。如果全答对或全答错，根本没有对比可做，重复多少遍都是零学习信号。重复采样的目的，正是为了找到这种“有分歧”的状态。

Q3：DAPO的动态采样是什么意思，它解决的是什么问题？

A：DAPO发现，当AI对某道题的所有尝试结果完全一致（全对或全错）时，组内标准差为零，这组数据完全无法产生任何训练更新。DAPO的解决方案是检测到这种“沉默组”后直接丢弃，换一道有对有错分歧的题目顶替。在包含215,608道题的Big-Math数据集里，G=8时有44%的题目组会出现这种沉默情况，DAPO通过动态替换把这部分计算资源用到了刀刃上。