当AI优化器"过于自信"时，机器人和推理模型会崩溃

先说几个关键判断。这项由密歇根州立大学、思科、明尼苏达大学和IBM研究院联手推进的研究，2026年5月以预印本形式发布，论文编号arXiv:2605.19282。它的核心问题听起来学术味十足，但背后的故事足够引人入胜：一个在语言模型训练中间出类拔萃的优化器，为什么跑到机器人控制和推理强化学习这两个场景里，就彻底“翻车”，甚至直接“崩了”？而研究团队又是怎么通过重新设计一个数学工具，把这个场子找回来的？

理解这篇研究，不妨就用“频道滤波器”这个比喻来串起全部。收音机里那个调频旋钮，作用是把你想要的频道信号放大，同时把其他频道的噪声压下去。要是这个滤波器坏了，所有频道的信号一视同仁地被放大，你听到的就是一锅大杂烩。研究团队发现，眼下非常流行的一个优化器，恰恰就犯了这样的毛病——把真正有用的信号和无用的噪声都放大到同样的强度，在某些训练场景下，这可就捅了马蜂窝了。他们随后捣鼓出一个新的“高通滤波器”版本，让有用的信号过去，把噪声死死按住，效果立竿见影。

一、优化器是什么，它为什么重要

在深入讨论之前，有必要先搞清楚“优化器”在机器学习里到底扮演什么角色。每次训练AI模型，本质上就是在不断地调整那几千万甚至几百亿个内部参数，让模型的输出越来越接近正确答案。而优化器，就是那个负责“怎么调”的策略——它告诉整个训练系统，每次该往哪个方向调、调多大。

长期以来，一个叫AdamW的优化器稳坐头把交椅。它对每个参数独立地进行自适应调整，想象一下，一个车间里有几千万个独立的小调节旋钮，每个旋钮根据自己那一亩三分地的信号，自己决定转多少。这种方式的灵活性的确没话说，但也有它的天花板。

近几年，一类新型的“矩阵感知”优化器开始崭露头角。其中，Muon（全称MomentUm Orthogonalized by Newton–Schulz）是风头最劲的一个。它不再孤立地看待每一个参数，而是把一个权重矩阵当作一个整体来处理，利用矩阵本身的几何结构来决定更新方向。具体操作是，Muon通过一种名为Newton–Schulz迭代（简称NS迭代）的数学套路，把梯度矩阵里所有方向的“强度”都统一拉成1，这个过程就叫“均匀谱白化”。可以把它想象成一个均衡器，不管某个频道的信号原本是强是弱，它都一视同仁地把音量旋钮拧到同一个刻度。这套打法在预训练大语言模型时效果炸裂，能让模型更充分地探索参数空间，在多项任务上都成功超越了AdamW。

但研究团队发现，这招“把所有频道音量都调成一样的策略”，在两类非常重要的非预训练场景里，埋下了大隐患。这两类场景就是：机器人视觉-语言-动作模型（VLA）训练，以及带有可验证奖励的强化学习（RLVR）。

二、机器人训练时遇到了什么麻烦

VLA模型是这几年机器人领域的一个热点方向。目标很明确：让机器人能看懂图像和语言指令，然后输出具体动作，比如“把那个红色的杯子放到托盘上”。这类模型内部通常由三个模块组成：视觉编码器、语言主干，以及动作头。前两个模块负责“看”和“听”，动作头负责“做”。

研究团队发现，这三个模块在训练时产生的梯度，其内在复杂度天差地别。他们用一个叫“有效秩”（erank）的指标来衡量这种复杂度，说白了就是看梯度信息分布在多少个有意义的方向上。视觉模块梯度的有效秩非常高，信息分散在好几百个方向上；语言模块居中；而动作头的梯度有效秩低得可怜，往往只集中在屈指可数的几个方向上。这其实很合理：机器人的一个动作不过就是个7维向量（手腕的平移、旋转和夹爪状态），复杂度跟处理像素或词汇压根不在一个量级上。

回到频道滤波器的比喻：动作头的梯度就像是一个只有3个真正重要频道、其余全是弱噪声的信号。Muon的均匀白化操作，会把这3个重要频道和其他几百个噪声频道都放大到同样音量，结果有用的信号就彻底被噪声淹没了。研究团队用实验证实了这一点：在LIBERO Object这个机器人基准测试上，当动作头使用Muon训练时，成功率只有82.2%，反而还不如直接用AdamW的93.6%。

研究者也考虑过一个现成的改进方案——Low-rank Muon（低秩Muon，简称LRMuon）。它的思路是：先通过精确的奇异值分解（SVD），找出梯度里最重要的前k个方向，只保留这些方向进行更新，其余的直接扔掉。这个办法确实能自适应地处理低秩梯度，将成功率提升到97%。但问题在于，SVD计算极其昂贵，会导致总训练时间暴增大约15倍。这在现实应用中，完全是不可接受的代价。

三、强化学习训练时又遇到了什么麻烦

RLVR是另一个热门方向，它的目标是让模型通过与那些“答案能自动判断对错”的题目互动，来提升推理能力，比如数学题、编程题。这些题目有明确的对错之分，不需要人工判分。像DeepSeek-R1这类模型推理能力的提升，就离不开类似的技术路线。

研究团队注意到，RLVR的梯度信噪比（SNR）远远低于普通的监督微调（SFT）。所谓信噪比，就是说在所有的梯度更新信号里，真正有意义的部分到底占多少。SFT的信噪比很高，因为每个token都有明确的教师信号；RLVR则不同，它依赖轨迹级别的奖励（得做完一整道题才知道对不对），信号稀疏，再加上重要性采样、截断和归一化这些操作带来的额外噪声，信噪比自然就低了。研究团队从理论推导上给出了严格的信噪比对比公式，证实了RLVR的梯度信噪比确实显著低于SFT。

在这种低信噪比的环境下，Muon的均匀白化就成了灾难。再打个比方：RLVR的梯度就像一个真正有意义的信号只占一小部分、剩下的全是噪声的广播。把所有频道都调到同样音量，等于让噪声彻底主导了更新方向。研究团队在实验中发现，用Muon训练Qwen3-1.7B模型在MATH数学题上进行GRPO强化学习时，模型的精度从训练开始就一路走低，最终趋近于零，完全崩溃了。而AdamW在同样的设置下，可以稳定地提升精度。

除此之外，研究团队还指出了Muon的另一个问题：它把注意力机制的权重矩阵当成一个整体来处理，完全忽略了不同注意力头（attention head）之间在预训练中已经形成的异质性。预训练完成后，不同的注意力头各司其职，它们各自的权重范数（可以理解为“音量旋钮的初始位置”）差异相当明显。这种差异本身是有意义的，它决定了不同头的注意力模式和对梯度的贡献。Muon对整个矩阵搞均匀处理，相当于强行抹平了这种差异，强制所有头都以相同的幅度去更新，这就不经意地破坏了预训练阶段积累下来的宝贵作用结构。

四、Pion的设计：一个精心调校的高通滤波器

面对上面提到的两个限制，研究团队提出了Pion（sPectral hIgh-pass Optimization on momeNtum，基于动量的谱域高通优化）。Pion的核心想法，源于对NS迭代本质的深刻把握。

NS迭代的每一步，在数学上都等价于对矩阵中的每一个奇异值（也就是每个“频道强度”）独立施加一个标量多项式变换。Muon使用的那个NS迭代多项式，会把所有奇异值都逼近1——这就是均匀白化。而Pion的关键洞察在于：设计NS迭代，本质就是在设计这个标量多项式。如果能把这个多项式换成“高通滤波器”的形状——让大的奇异值保持在1附近，让小的奇异值趋向0——那么问题不就迎刃而解了吗？

研究团队把这个新的NS迭代过程拆成了两个阶段，称之为“促进+抑制”机制。第一阶段叫促进（Promotion）：用一个精心设计的多项式，先把所有奇异值都尽可能地往上抬，让原本较弱的方向也有机会跨过后面的筛选门槛。第二阶段叫抑制（Suppression）：再用另一个多项式，把小的奇异值往0压，同时把大的奇异值锚定在1。这两个阶段串联起来，就产生了一个非常尖锐的高通滤波效果：大奇异值（代表真正重要的信号方向）被完整保留，小奇异值（代表噪声）则被压为零。

这两个多项式的系数可不是随便拍脑袋定的，而是通过严格的数学约束推导出来的。以促进多项式为例，它得同时满足三个条件：当奇异值已经是1时保持不动（固定点条件），当奇异值接近1时不能进一步放大扰动（一阶平稳条件），以及在奇异值等于1处曲率不能向上弯（边界凹性条件）。这三个约束加上全区间单调性的要求，唯一确定了促进多项式的系数为(1.875, -1.25, 0.375)。抑制多项式则额外要求在原点处斜率为零（谱滤波条件），强迫小奇异值被高阶项压向0，其系数也因此唯一确定为(0, 2.5, -1.5)。

整个迭代的总步数固定为5步（和Muon一样），其中促进步数kp可以在0到5之间选择，剩下的步数用于抑制。这个kp就是Pion唯一需要调节的超参数了，它控制着滤波器的截止频率——kp越小、抑制步数越多，过滤的效果就越激进。研究团队发现，在VLA和RLVR这两种场景下，抑制步数ks不小于3（也就是kp不超过2）时效果最好。由于总步数没变，Pion每一步的计算成本与Muon是完全一致的。

五、针对注意力头异质性的额外设计

除了高通滤波机制，Pion还专门针对RLVR场景引入了一个“按头处理”的模式。具体来说，在处理注意力层的权重矩阵时，Pion先沿着注意力头的维度把矩阵切成多个小块，每个头对应一个小块，然后对每个小块独立地运行高通NS迭代，最后再拼回原来的形状。这个操作带来的额外代价几乎可以忽略不计，无非是多了一次形状变换而已。

研究团队用实验验证了这个设计的必要性。他们测量了Qwen3-1.7B模型在RLVR训练前后，不同注意力头的Q投影权重矩阵范数的跨头方差。训练前，这个方差在所有28个层都相当显著，说明不同头的“初始音量”差异确实很大。而如果使用整体模式的Pion（不分头处理），训练后各头的更新幅度几乎完全一样，方差趋近于零，这说明整体模式会强制平均掉各头之间的差异。相反，按头模式则能根据每个头的实际情况给出差异化的更新，从而保留了预训练阶段建立起来的异质性结构。

有一个细节很值得玩味：按头模式对Muon是无效的。即便把Muon改成按头处理，它在RLVR上照样会崩溃，因为噪声放大的问题（也就是Limitation 2）并不会因为分头处理就自动消失。这说明，高通滤波才是RLVR稳定训练的关键，按头分解只是一个辅助机制，用来保护预训练中形成的头部结构。

六、在模拟机器人环境中的测试结果

研究团队在LIBERO和LIBERO-Plus两个机器人基准测试套件上，用两种不同架构的VLA模型，验证了Pion的实际效果。

第一个模型叫VLA-Adapter，它用l1回归方式预测动作，模型骨干基于Prismatic-Qwen2.5-0.5B。在LIBERO Object任务上，用AdamW训练的模型跑了1500步后成功率为32.2%，Muon达到了97.0%，而Pion直接拿下了100%。在Spatial、Goal、Long这三个任务上，Pion同样在训练15000步后取得了最高的成功率，分别为99.4%、97.2%、92.4%，均超过了Muon（99.0%、95.8%、88.0%）和AdamW（97.0%、89.2%、69.6%）。

从训练曲线来看，Pion达到95%的成功率只需要大约500步，而AdamW和Muon都需要消耗更多步数才能达到同样的水平。这说明Pion不仅最终效果更好，收敛速度也明显更快。

第二个模型叫VLANeXt，它使用流匹配（flow-matching）的方式生成动作，骨干网络是Qwen3-VL-2B-Instruct，结构与VLA-Adapter完全不同，用来验证Pion的效果是否会局限在特定架构上。测试选在更有挑战性的LIBERO-Plus上进行，这个测试集包含了背景变化、摄像头角度变化、语言描述变化、场景布局变化、光照变化、噪声干扰和机器人本体变化等七种扰动。结果，Pion在所有扰动类别下的表现都优于Muon和AdamW，总平均成功率分别为：Pion 75.93%、Muon 72.34%、AdamW 64.57%。尤其在语言描述变化这一扰动下，Pion比Muon高出了约9个百分点；在噪声和机器人变化扰动下，也各自高出约6个百分点。这充分表明，用Pion训练出来的策略，对分布变化拥有更好的鲁棒性。

研究团队还提供了一个非常具体的对比案例。在一个“抓取装有柑橘类饮料的容器并放入编织托架”的任务中，用AdamW训练的模型抓错了瓶子，显然是语言理解出现了偏差；Muon训练的模型虽然抓对了瓶子，但在移动过程中碰撞了旁边的物体，体现了均匀白化导致的“动作抖动”；而只有Pion训练的模型，干净利落地完成了全程，没有任何碰撞发生。

七、在真实机器人上的测试结果

模拟环境中的成功，终究要到真实世界里走一遭才算数。研究团队用了一台Franka Research 3机械臂，在DROID硬件平台上对Pion进行了检验。他们使用π0.5这个现有的VLA骨干模型，用200条遥操作示范轨迹进行微调，然后在三个抓取放置任务上进行了评估：黄瓜→盘子、方块→盘子、方块→碗。每个任务都进行了30次随机初始位置的试验。

结果相当惊人：AdamW的平均成功率只有31.1%，Muon为38.9%，而Pion则达到了85.6%。具体到单个任务：黄瓜→盘子，Pion为93.3%，Muon为56.7%，AdamW为40.0%；方块→盘子，Pion为83.3%，两个基线模型均为33.3%；方块→碗，Pion为80.0%，Muon为26.7%，AdamW为20.0%。这些性能提升全部是在仅有20000个训练步的低预算设置下取得的，比AdamW通常所需的训练量要少得多，这说明Pion在真实机器人任务上同样具备更高的“步效率”。

从视频帧的对比中可以直观地看到：AdamW在黄瓜任务中反复尝试抓取，但始终无法将黄瓜从桌面提起；Muon能抓起黄瓜，可中途夹爪会过早张开，导致黄瓜在运输过程中掉了下来；而Pion则稳定地完成了从抓取到放置的全部动作。在最困难的方块放碗任务里，AdamW能提起方块，但高度不够，无法越过碗沿；Muon的夹爪与方块对位不准，形不成稳定的抓取；只有Pion成功地将方块放入了碗中。

八、在推理强化学习中的测试结果

除了机器人场景，研究团队还在RLVR场景下进行了大规模的测试。他们使用了Qwen3-1.7B和Qwen3-4B两个模型，分别用GRPO和GMPO两种强化学习算法，在MATH和GSM8K两个数学推理数据集上训练，总共构成了8个测试设置。

在所有这8个设置中，Muon的表现都是灾难性的：精度在整个训练过程中始终接近于零，有些时候甚至比训练开始时的检查点还要低。这和理论分析的结果完全吻合——低信噪比的RLVR梯度，在均匀白化操作下，噪声被放大到和有效信号同等的强度，最终模型的参数被彻底搞坏。

AdamW在所有设置下都能稳定地训练，精度随着步数稳步提升。而Pion则更进了一步，在所有设置下都表现出了更快的收敛速度。研究团队还测量了整个训练过程中Pion和AdamW的梯度信噪比，发现Pion始终能维持比AdamW更高的梯度信噪比，这从机制上解释了为什么Pion更稳定、也更有效。

为了确认Pion的收益确实来自“高通滤波”这个特定设计，而不是其他因素在起作用，研究团队还特意构造了一个“反向消融”实验——Low-pass Muon（低通Muon，简称LPMuon）。这个变体保持了与Muon相同的NS迭代结构和计算成本，只是把系数改成了相反的效果：大奇异值被压缩、小奇异值被放大。结果呢？LPMuon完全无法训练，精度就停在初始检查点上，一动不动。这三种变体的对比清晰地说明：Muon无过滤导致失败，LPMuon反向过滤也是失败，只有Pion的正向高通过滤能够成功。关键的胜负手，就在于滤波的方向。

九、消融实验揭示的更多细节

研究团队还设计了一系列细粒度的消融实验，来更深入地理解Pion的工作机制。

关于Pion和LRMuon的比较，研究团队在LIBERO Object任务上系统测试了LRMuon在不同秩k（1、16、64、256）下的表现。结果显示，LRMuon在所有秩的设置下都优于Muon，但始终不如Pion——这说明，软性的高通过滤，要优于硬性的截断排名投影。而且，LRMuon在秩为256时，总训练时间高达7.03小时，而Muon和Pion都只需要大约0.47小时，二者之间的时间成本差距高达15倍。

关于按头模式和整体模式在VLA任务上的比较，研究发现两种模式的效果非常接近，整体模式的表现甚至还稍微好一点（四个任务的平均成功率为97.25% vs 96.85%）。这印证了研究团队的判断：VLA的动作头是从头开始训练的，并没有预训练阶段形成的头部异质性，所以按头处理的额外收益很小，用整体模式就已经足够了。相比之下，RLVR所用的LLM骨干网络有大量预训练积累下来的头部异质性，因此按头处理才显得至关重要。

研究团队还系统测试了不同模块分配不同优化器的组合效果。在9种组合中，视觉模块用Muon + 语言模块用Muon + 动作模块用Pion（S9组合）达到了100%的成功率，是全部组合中的最高值。相比之下，把视觉模块换成Pion，会使成功率暴跌到17.8%（S7），这说明高秩的视觉梯度并不适合高通过滤；把语言模块换成Pion，会把成功率压低到73.8%（S5）；而动作模块用Pion、其他模块用AdamW时，成功率也只有73.6%（S3）。这个实验有力地表明，Pion的优势来源于对动作头梯度低秩结构的精准适配，而不是一个简单的“Pion比Muon好”这样的笼统结论。

归根结底，这项研究揭示的核心道理是：没有一个优化策略是包打天下的。Muon的均匀白化，在信号丰富、梯度高秩的预训练场景中，是一种极其出色的探索策略；但是，当训练信号变得稀疏、梯度呈现低秩或低信噪比时，同样的策略就变成了噪声的放大器。Pion通过把NS迭代从“全频道均衡器”改造成“高通滤波器”，以完全相同的计算成本，巧妙地化解了这一矛盾。对于机器人训练，这意味着可以更快地实现高成功率，同时需要的训练步数更少；对于推理模型的强化学习，则意味着训练不再崩溃，精度能够稳步提升。

当然，研究团队也坦诚地指出了Pion的一个局限：它并不适合用于LLM的预训练。预训练阶段的梯度通常是高秩的，各个方向都蕴含着有意义的信息，Muon的均匀探索策略恰好能够充分利用这种信息的丰富性。而Pion的高通过滤会丢弃这部分信息，因此表现反而不如Muon。如何让高通截止频率能够自适应地进行调整，在预训练阶段退化为Muon，而在后训练阶段转变为Pion，这是研究团队留给未来的一个开放性问题。

由此可见，优化器的设计不只是一个纯粹的数学问题，它更是一个关于信号处理的哲学问题：什么算噪声，什么算信号，完全取决于你正处于哪个训练阶段、面对的是什么数据结构。这篇发表在arXiv上的论文（编号2605.19282）的价值，不仅在于提供了一个工程上可用的强大工具，更在于提供了一个理解不同训练场景下信号特征差异的分析框架。