当我们用错误的尺子量对了东西，会发生什么？

这项研究来自Ezgi Korkmaz，论文以预印本形式发布于2026年7月8日，编号为arXiv:2607.07769，发表于cs.LG（机器学习）领域，并将出版于2026年人工智能促进协会（AAAI）会议论文集。有兴趣深入了解的读者可以通过arXiv编号2607.07769查询完整论文。

深度强化学习——听起来像是科幻小说里的概念，但事实上，它已经悄悄渗透进了我们日常生活的方方面面。让机器学会打游戏、让机器人学会走路、让语言模型按照人类喜好回答问题……这些背后都有它的影子。过去十年，这个领域成果斐然，研究论文如雪片般涌现，每隔一段时间就有人宣称新算法打败了旧算法，整个领域似乎在高歌猛进。

不过，最近这篇论文提出了一个相当棘手的问题：如果科学界一直在用一把弯曲的尺子量东西，那些看起来漂亮的测量结果，真的可信吗？

一、强化学习到底是怎么回事

在正式进入这场“审判”之前，有必要先搞清楚我们在讨论什么。

强化学习的核心思想，其实和驯狗没什么区别。你想让狗学会“坐下”这个动作，就在它做对的时候给它零食，做错的时候不给。狗在反复试错中慢慢摸清什么行为能得到奖励，于是学会了“坐下”。强化学习中的“智能体”（AI程序）扮演的就是狗的角色，它在某个环境里不断尝试各种行动，环境给它一个分数反馈（奖励），通过无数次循环，它逐渐学会了哪些行动能拿到更高的分数。

更技术性地说，整个问题被建模为一个“马尔可夫决策过程”，用一组数学符号来描述：状态空间（你现在的处境）、动作空间（你能做什么）、转移概率（做了某个动作后会到达什么新处境）、奖励函数（做了这个动作能得多少分）以及折扣因子（未来的奖励要稍微打个折扣，毕竟远水解不了近渴）。AI的目标是找到一个最优策略，让它在每个处境下都知道该采取什么行动，从而最大化长期累积的奖励。

当状态和动作的种类太多，无法用一张大表格记录每种组合对应的价值时，研究者就用深度神经网络来近似这个“价值函数”——这就是深度强化学习的核心。深度神经网络就像一个超级复杂的函数，能从输入（当前状态）映射到输出（每个动作对应的预期长期奖励）。这个神经网络会在训练过程中不断调整自身的参数，让预测越来越准确。

这个领域有几个重要的技术流派值得了解，因为它们是后面故事的主角。第一个是对决架构（Dueling Architecture），它把神经网络分成两条并行的流：一条专门估算“在这个状态下，不管做什么动作，大概能得多少分”，另一条专门估算“做这个特定动作比平均水平好多少或差多少”，最后把两条流的输出合并起来。这个设计的妙处在于，很多时候不同动作之间的差别并不大，让网络分开学这两件事，会比混在一起学更高效。

第二个流派叫做“分布式强化学习”，代表算法包括C51、QRDQN和IQN。普通的强化学习只预测一个动作“平均能得多少分”，但这些算法走得更远——它们预测的是“得分的整个概率分布”。打个比方，普通算法告诉你“这个投资项目预期回报是10万元”，而分布式算法告诉你“这个项目有30%的概率赚20万，有40%的概率赚10万，有30%的概率亏5万”——后者显然包含了更丰富的信息。C51把可能的得分划分为固定数量的“原子”，学习每个原子对应的概率；QRDQN则学习得分的分位数；IQN走得最远，直接学习完整的分位数函数。这些方法天然就比简单算法携带更多的参数和更高的“容量”，理论上能学到更精细的价值估计。

二、两种训练制度：土豪玩家与穷学生

现在来到故事的关键背景。在这个领域，有两种截然不同的训练方式，可以用“土豪玩家”和“穷学生”来区分。

土豪玩家模式，也就是“高数据训练制度”，指的是让AI玩上两亿帧的游戏。两亿帧是什么概念？如果按照每秒60帧来算，这相当于连续玩了将近38天不睡觉。在这种训练条件下，AI有足够充裕的时间慢慢摸清楚游戏的所有规律。上面提到的那些大名鼎鼎的算法——Double Q-learning、对决架构、Rainbow（把各种改进技巧集于一身的综合算法）——都是在这种“土豪”条件下被设计和测试的。

穷学生模式，也就是“低数据训练制度”，指的是只给AI看十万帧的游戏，也就是ALE 100K基准测试。十万帧对比两亿帧，大约是两千分之一。这个基准测试的设立初衷是好的：在现实中，很多应用场景没有条件让AI无限制地试错，研究者希望找到在数据稀缺时仍然表现良好的算法。于是，大量论文开始在这个低数据基准上跑实验，声称自己的新算法在“穷学生”条件下比其他算法强。

这里有一个看似合理的隐含假设，悄悄支撑着所有这些研究：如果某个算法在“土豪”条件下是最强的，那么在“穷学生”条件下，它应该也比普通算法强——毕竟，更好的工具在任何情况下都应该更好用，对吧？

事实证明，这个假设是错的。而且错得相当彻底。

三、弯曲的尺子：隐含假设如何扭曲了整个领域

回到那把弯曲的尺子的比喻。当所有人都用同一把弯曲的尺子量东西，测量结果之间的相对关系看起来是一致的——A比B长5厘米，C比A长3厘米，一切都显得很合理。但如果这把尺子本身就是歪的，那所有这些“合理的比较”都建立在一个错误的基础上。

在深度强化学习的低数据研究领域，那把弯曲的尺子就是“单调性假设”——即算法在高数据条件下的性能排名，会单调地平移到低数据条件下。正是因为这个假设，研究者在设立低数据基准测试时，会把高数据条件下最强的算法（比如Rainbow，一个天生就有高容量的算法）作为比较基准，然后声称“我的新算法比Rainbow强，所以我的算法是先进的”。

这篇论文把这种做法叫做“系统性偏差”，并且用大量理论和实验证据证明：这种比较方式从根本上就是错的。

更具体地说，被大量低数据研究拿来作为“强基准”的高容量算法（如C51、QRDQN、IQN），在低数据条件下的表现，其实远不如一个2016年就提出的“老算法”——对决架构。而那些声称“比Rainbow强”的新算法，如果真的和对决架构正面比较，优势往往微乎其微，有时甚至根本不存在。

被忽略的对决架构算法就像一个被错误归类的长跑运动员：因为大家默认“马拉松冠军在短跑中也应该最快”，所以在组织短跑比赛时，压根儿就没有把他纳入参赛名单。等到有人真正把他拉进来跑一跑，才发现他把那些被吹捧的“短跑专家”全都甩在了身后。

四、数学说了什么：非单调性的理论证明

这篇论文不只是在做实验观察，它还从数学层面为这个发现提供了严格的证明。

核心的理论框架建立在一个叫做“有限时域马尔可夫决策过程”的模型上，配合“线性函数近似”的设定。为了让非专业读者理解这些概念，可以这样打比方：假设你在学弹钢琴，你的当前水平（状态）决定了你能尝试什么难度的曲目（动作），练习某首曲子（动作）会让你的水平发生变化（转移），而每次成功演奏出一段美妙的音乐（奖励）给你正向反馈。“有限时域”意味着我们只看一段固定时间内的学习过程，“线性函数近似”意味着我们用一个相对简单的数学公式来描述你的学习能力。

在这个框架里，有两个关键参数决定了算法的特性。第一个是“特征维度”（d），可以理解为算法模型的“容量”或“复杂度”——容量越大，模型能记住的模式越多，就像一个更大的大脑能记住更多知识。第二个是“内在贝尔曼误差”（I），可以理解为模型的“近似精度”——误差越小，模型对价值函数的估计越准确。通常情况下，容量越大（d越大）的模型，近似误差（I）越小，因为大模型有更多参数可以用来拟合复杂的函数。

论文引用了Zanette等人2020年的定理，该定理精确刻画了在这个框架下，学习一系列策略的“遗憾”（regret）是如何随着训练轮数K变化的。遗憾，在这里是个专业术语，指的是“如果从一开始就知道最优策略，能得到多少奖励”减去“实际学习过程中得到的奖励”之间的差距——可以理解为因为不知道最优答案而白白损失的分数。好的算法遗憾值应该低，因为它能快速学到接近最优的策略。

换句话说，数学严格地告诉我们：在数据稀缺时最好的，和在数据充裕时最好的，可能根本不是同一类算法。性能排名不是单调的，而是会随着训练数据的多少而发生完全的翻转。

为什么会这样？直觉上的解释是：高容量模型（比如学习完整价值分布的IQN）需要大量样本才能把那个复杂的分布估计准确，在数据少的时候，它精密的“大脑”反而是累赘，因为根本没有足够的数据来填满这个大脑。而低容量模型（比如只预测一个平均值的对决架构）对数据的需求少得多，在同样少的数据条件下，它能更快地得到一个“够用”的估计。

五、样本复杂度：学习不同难度知识需要多少课时

论文进一步从“样本复杂度”的角度分析了为什么高容量模型在低数据条件下会吃亏。

命题4.1提供了一个精妙的洞察。假设有两个动作A和B，它们的真实期望回报非常接近，差距只有ε（一个很小的数）。论文证明，只要你的价值分布估计在全变差距离意义下有ε的误差，就足以让你把动作的优先级排反——本来A更好，误差一来就觉得B更好了。这就好比两个菜品的口味评分相差0.1分，但你的评估系统有±0.1分的误差，那你随机地就可能做出错误的选择。

要确保正确排序，就需要把价值分布估计得足够准确（误差小于ε）。C51这类支持集固定的算法，需要k/ε²个样本才能达到这个精度，其中k是预设的“原子数”。而QRDQN这类支持集未知的算法（命题4.2），需要的样本数可能远不止这些——论文证明至少需要Ω(M/ε²)个样本，其中M是某个与支持集规模相关的参数，这个下界可以比k/ε²大得多。IQN更进一步，学习完整的分位数函数，虽然表示能力更强，但所需的样本量也相应更高。

用一个更直白的类比来说：C51就像一个只需要掌握10个固定音符的乐手，QRDQN是一个需要掌握任意音符位置的乐手，IQN则是一个需要掌握整个连续音高范围的乐手。后者的表达能力无疑更强，但在只有有限练习时间的情况下，学得最快、最“够用”的反而可能是那个只学10个固定音符的乐手。

这就是为什么在低数据条件下，简单的对决架构能够胜过那些更“高级”的分布式算法。

六、实验结果：数字说话

理论固然重要，但实验数据才是最有说服力的证据。论文在Arcade Learning Environment（ALE，一个基于雅达利游戏的标准强化学习测试平台）上进行了大规模实验，覆盖了低数据制度（100K帧）和高数据制度（2亿帧），测试了DQN、Double Q-learning、对决架构、C51、QRDQN、IQN和优先经验回放（Prior）等多种算法。

实验结果用“人类归一化分数”来衡量——这个指标告诉你，AI的表现相当于人类玩家水平的多少倍（0分等于完全随机乱按，1分等于人类平均水平）。

在100K低数据基准上，对决架构的人类归一化中位数得分是0.2304，远高于C51的0.0941、QRDQN的0.0820和IQN的0.0528。对决架构的20百分位数（代表在最差的那些游戏上的表现）是0.0764，同样远优于C51的0.0274、QRDQN的0.0189和IQN的0.0091。

与此同时，当训练规模扩展到2亿帧的高数据制度时，情况发生了完全的逆转：IQN、QRDQN和C51这些高容量算法开始反超，逐渐在多项指标上超越对决架构，与理论预测完全一致。

图表中的学习曲线直观地展示了这种翻转：在低数据阶段，对决架构（蓝线）稳稳地领跑，其他高容量算法在较低的水平挣扎；随着训练帧数的增加，高容量算法的曲线开始攀升，在大约某个临界点之后反超对决架构。这个完整的剪刀形交叉，就是非单调性最清晰的视觉呈现。

图4的数据尤其令人震惊：为了让C51在某些游戏上达到对决架构在低数据条件下的表现水平，C51需要多达175倍以上的环境交互次数；IQN则在某些游戏上需要高达3500倍的样本数。换句话说，对决架构用十万次交互就能达到的水平，那些被认为更先进的高容量算法，要用几千万次交互才能赶上。

七、被错误比较的具体案例

论文并不只是停留在统计数字层面，而是具体点名了几个在评价体系上出现问题的研究案例，用实际数据说明问题的严重性。

DRQ（数据高效强化学习）是一个把数据增强技术应用于强化学习的算法，在对决架构基础上构建。它的ICLR版本（DRQ^ICLR）在原始论文中声称比数据高效Rainbow（DER）提升了82%，比OTR提升了35%。这些数字看起来相当可观。

然而，当论文作者把DRQ^ICLR与它真正的“基础算法”——对决架构——进行直接比较时，会发现DRQ^ICLR相对于对决架构的实际提升只有11%。更尴尬的是，DRQ的NeurIPS版本（DRQ^NeurIPS）相比对决架构甚至有性能下降。也就是说，DRQ原始论文中那个82%的“巨大进步”，实际上是在和一个在低数据条件下本就表现糟糕的高容量模型比较得来的——换了一把合适的尺子，这个进步几乎消失了。

问题并不止于DRQ。论文还提到，CURL（用对比学习做表示学习的强化学习）、SimPLE（基于模型的高效强化学习）、SPR（自预测表示强化学习）以及Efficient-Zero，都存在类似的问题：它们的基准测试对象是Rainbow这类高容量算法，而不是真正在低数据条件下表现最强的对决架构。这意味着，这些论文所宣称的“改进”，很大程度上是相对于一个在低数据条件下本就不公平的弱基准而言的。

八、基准测试本身也是问题的一部分

更深层的问题在于，连ALE 100K这个基准测试集本身的建立，都受到了单调性假设的污染。

这个低数据基准最初由Kaiser等人在2020年提出，他们从完整的ALE游戏库中选取了一个子集来构成这个基准。然而，选择哪些游戏纳入基准，并不是随机或中立的——游戏的选择倾向于那些用论文自己提出的算法或用Rainbow效果比较好的游戏，而这正是单调性假设影响下的产物。

如果Rainbow在低数据条件下本就表现不佳，那么基于Rainbow表现好坏来筛选游戏，必然会引入系统性偏差——筛选出的游戏本身就是对高容量模型更友好的游戏子集，而不是对低数据学习能力的公正考验。在一个带偏见的考场里考试，得出来的成绩当然也是带偏见的。

这意味着，问题不只是“我们和错误的对手比较”，而是“我们连考试题目都是在偏见下选出来的”。整个低数据研究领域的评估体系，从基准的建立到比较对象的选择，都被同一个隐含假设系统性地扭曲了。

九、原则性评估框架：如何不再用弯曲的尺子

发现了问题，论文自然也提出了解决方案。研究者提出了一套原则性评估框架，用五条核心准则来指导未来的深度强化学习研究。

第一条准则：假设很重要，性能排名在不同数据制度间是非单调的。任何研究在设计实验和解释结果时，都必须意识到这种非单调性的存在，不能想当然地认为高数据条件下的强者在低数据条件下也一定强。

第二条准则：评估中的偏差要被识别。如果把算法纳入比较基准是基于单调性假设，那这个评估本身就带有系统性偏差，结论的可靠性值得怀疑。

第三条准则：核心算法必须被纳入比较基准。凡是在核心算法基础上改进的研究，都必须直接和那个核心算法比较，而不能绕过核心算法去和其他高容量基准比较。

第四条准则：内在容量和维度会深刻影响不同数据制度下的性能排名。研究者在选择比较对象时，必须考虑算法的内在容量差异。

第五条准则：基于单调性假设建立的数据集和基准会产生有偏见的测试环境。基准的建立本身也需要接受同样严格的审查。

十、这场“审判”的判决

归根结底，这篇论文做了一件在科学上十分有价值但颇为不讨好的事：它系统性地揭示了一个研究领域内广泛存在的方法论缺陷，并指出这个缺陷导致了大量论文得出了有误导性的结论。

被质疑的那些研究并非出于主观恶意，而是在一个大家都默认同一个错误假设的环境里自然产生的。当整个领域都相信“高数据强者在低数据条件下也更强”时，没有人会特意去质疑这个假设，也没有人会去做那个“多余”的实验——把高数据时代的老算法也拉进低数据比赛来跑一跑。

然而，这个“多余”的实验，恰恰是戳破泡沫的关键一针。当论文作者真的把对决架构（2016年的老算法）拉进100K基准测试时，它轻而易举地打败了一大批被认为“更先进”的算法，把那些华丽的82%进步变成了11%，甚至变成了负增长。

更重要的是，理论和实验在这里高度吻合。不是“凑巧对决架构比较强”，而是数学告诉我们“在低数据条件下，低容量算法本就应该优于高容量算法”，实验只是把这个理论预测变成了清晰可见的数据点。

这种理论与实验的双重一致性，才是这篇论文真正的力量所在。它不仅发现了一个问题，还解释了为什么会有这个问题，并且提供了一个在未来避免重蹈覆辙的框架。

说到底，科学进步的前提是评估工具的准确性。一把弯曲的尺子用得再勤快，也量不出准确的长度。深度强化学习领域在过去五年里投入了大量资源和才智，研究者们真诚地相信自己在不断进步，却没有意识到量进步的那把尺子本身已经歪了。现在，这篇论文提供了一把校准过的新尺子——而用新尺子重新测量的结果，让人大吃一惊：有些东西比我们想象的进步要小得多。

对于这个领域的研究者而言，这是一个需要认真对待的信号。对于普通读者而言，这个故事提醒我们：在任何领域，当所有人都在用同一套标准评判进步时，最值得警惕的，往往是那个标准本身是否正确。

Q&A

Q1：深度强化学习的低数据基准测试ALE 100K为什么会产生系统性偏差？

A：ALE 100K基准最初在选择游戏时，倾向于选那些用Rainbow或论文自己提出的算法表现较好的游戏。然而Rainbow是一个高容量算法，在低数据条件下本身表现就不佳，基于它的表现来筛选游戏，相当于建了一个对高容量模型更友好的偏斜考场，在这个考场上得出的实验结论自然也带有系统性偏差。

Q2：对决架构在低数据条件下为什么能胜过C51、IQN等更复杂的算法？

A：复杂的分布式算法（如C51、IQN）需要学习完整的价值概率分布，这意味着它们需要大量样本才能把分布估计准确。在只有十万帧数据的情况下，样本根本不够填满这些高容量模型的“大脑”。对决架构只预测一个平均值，对数据的需求小得多，所以在数据稀缺时反而能更快得到一个足够好的估计，从而胜出。

Q3：深度强化学习中的单调性假设具体指的是什么，为什么它被证明是错误的？

A：单调性假设指的是“算法在高数据训练条件下的性能排名，会直接平移到低数据条件下”。这个假设是错误的，因为理论证明（论文定理3.2）和大规模实验都表明，高数据条件下最强的高容量算法，在低数据条件下反而会被低容量的简单算法超越，性能排名会发生完全的翻转，两者之间根本不存在单调关系。