阿里Qwen团队教机器人"举一反三"

机器人进工厂拧螺丝、焊零件，这事儿已经不算新鲜了。但你要是指望同一个机械臂，从流水线搬进厨房，让它帮你洗碗、叠衣服、甚至把草莓一颗颗放进篮子里——它大概率会直接“躺平”。不是机械臂不够灵活，根本原因是：大多数机器人只会做它亲眼见过、亲手练过的事。它看过一千遍拧螺丝，就只会拧螺丝；换个场景，就跟换了个人生一样。这种“死板”，才是机器人走出实验室、真正走进家庭的最大拦路虎。

阿里巴巴Qwen团队最近放出的这项研究，正是冲着这个问题去的。他们提出了一条清晰的思路：先对齐，再扩规模。听起来像句口号，但背后的工程考量相当扎实。团队推出了一款名为QWEN-ROBOTMANIP的视觉-语言-动作基础模型，最终让机器人在从没见过的场景里、用从没碰过的机械臂，也能完成复杂的操作任务。相关技术报告已于2026年6月17日上传至arXiv预印本平台，编号为arXiv:2606.17846。

一、为什么机器人学不会“举一反三”

要理解这项研究的价值，得先搞明白一个根本矛盾：为什么给大语言模型喂海量数据，它就能越来越聪明；而给机器人喂更多演示视频，效果却往往止步不前？

语言模型的训练数据来自互联网，新闻、小说、论文、聊天记录，语料够杂、够全、格式也相对统一，文本本身就可以用token统一处理。可机器人的操作数据就完全是另一回事了：每种机械臂有自己的关节配置，每个实验室用的坐标系不同，传感器记录的格式五花八门。这就好比同时收到了用中文、阿拉伯文、象形文字写成的烹饪食谱，虽然都在讲做菜，但你就是没法把它们合在一起学。

更棘手的是，机器人演示数据的体量本身就比互联网文本少得多，且高度集中在少数几类标准操作上。数据源本身就“稀少又单调”，天然不适合大规模训练。于是，即便有研究者把不同机械臂的演示数据收集起来一股脑儿地喂进模型，结果常常是各种数据在内部“打架”，模型反而越学越糊涂。

Qwen团队把这个问题归纳得相当清晰：数据多样性不够用，是表象；真正的病灶在于，必须先在表示层面对齐数据，才能让多源数据产生协同效应，而非相互干扰。这个判断，正是整项工作的出发点。

二、把杂乱的机器人语言统一成一种“普通话”

为了解决不同机械臂之间“语言不通”的痼疾，团队设计了三个层次的对齐机制。可以理解为给机器人世界建立了一套“标准普通话”。

第一个层次：统一状态-动作表示。每种机械臂的“身体结构”都不同：单臂、双臂、夹爪、多指灵巧手……为了让所有机械臂用同一套“词汇”描述自己的状态和动作，团队设计了一个80维的标准向量。你可以把它想象成一张标准表格：关节角度占7格，末端执行器（机械手末端）的位置和朝向占9格，夹爪状态占1格，灵巧手关节占12格，另外还留了些空格供未来扩展。单臂机器人只填一半，双臂填满两半，没有的部分留空就行。同时用一个“二进制掩码”告诉模型哪些格子有效、哪些需要忽略。这样一来，无论什么结构的机械臂，都能用同一张表格描述，训练时就不会因格式不同而相互干扰。

第二个层次：相机坐标系下的末端执行器动作表示。这一点更为巧妙。传统上，机器人的动作描述都是以它自己的底座为原点，不同机器人的底座位置千差万别，同一个“把手伸向右前方30厘米”的动作，在不同坐标系里写出来的数字完全不同。Qwen团队换了个视角：用相机的视角来描述动作。摄像头好比机器人的“眼睛”，如果动作被描述成“从相机看过去，手往右移了点”，那么这种描述就和具体的机器人型号基本无关了——只要摄像头位置相似，动作的数字描述就相似。不管你是用左手还是右手开门，从门口的摄像头看过去，动作看起来都差不多。这种表示法让“视觉上相似的动作，在数字上也相近”，为不同机械臂之间的知识迁移提供了几何上的共同基础。

第三个层次：情境内策略适应。这个设计更聪明。每次执行任务时，机器人会把自己刚才的“所见、所在、所为”作为历史记录喂给模型——我看到了什么、我的状态如何、我做了什么动作。模型读取这段历史，就能推断出当前这台机器人的运动风格、速度习惯和抓握方式，进而调整接下来的行为。相当于让机器人通过观察自己几步前的行为，实时判断“我现在在哪台机器上、该怎么动”，而不需要额外的标签告诉它。

除此之外，团队还采用了双流协同训练的策略：训练时，机器人操作数据和视觉-语言数据（比如图像问答、空间推理等）同时喂给模型，比例大约是9:1。这么做是为了防止模型在学了太多动作预测之后，把之前学会的“看图说话”和“理解语言”的能力给忘掉。毕竟，一个只会动手、不会读指令的机器人，在现实中用处不大。

三、把人类日常视频变成机器人的“练习册”

对齐问题解决了，下一个挑战接踵而至：去哪里找足够多、足够多样的训练数据？

Qwen团队的答案出人意料：直接用人类用手做事的视频。人们每天都在刷各种第一人称视频——做饭、整理桌面、组装家具——这些视频的拍摄角度和机器人头部摄像头的视角高度相似，而且数量巨大。问题在于，人手和机械夹爪的结构完全不同：人的手腕可以随意旋转，而机械夹爪只能开合。

为此，团队开发了一条“人到机器人”的数据合成流水线，分两步处理这个问题。

第一步：动作对齐。通过MANO这套手部姿态估计模型，精确追踪每一帧里人拇指尖和其他手指尖的三维位置。接着，设计了一套数学公式，把“拇指尖和虚拟食指尖的中点”定义为机械夹爪的位置，把两者之间的距离定义为夹爪的开合宽度，再用这两个点和手腕位置共同确定夹爪的朝向。这套映射方式将人类灵活的手部动作转化成了机械夹爪能执行的轨迹。由于逐帧检测会引入抖动，他们还用了数学滤波方法平滑轨迹，确保动作连续自然。

第二步：视觉对齐。把人手从视频里“抹掉”，再换上机械臂的图像。具体操作是：先用SAM3图像分割工具把人的手臂区域圈出来，再用ProPainter视频修复工具把手臂区域用背景填补完整，最后在MuJoCo物理模拟引擎里计算机械臂的摆放位置，将渲染图像叠加回视频中，并利用深度估计判断遮挡关系，让机械臂看起来“置身”于真实场景中。

这条流水线被应用于15种不同的双臂机器人平台，包括Panda、UR5e、ARX-L5等主流型号。最终，约1933小时的人类手部操作视频被转化成了约24808小时的合成机器人演示数据。加上真实机器人数据集的11000多小时，以及三种人类第一视角数据集的1933小时，整个预训练数据集的总时长达到了约38100小时——而且全部来自开源数据，没有任何私有采集。

当然，人手操作的速度通常比机器人遥操作快得多。为了对齐速度分布，团队对不同来源的视频做了不同比例的降帧处理：来自EgoDex的视频降速到原来的60%，来自EgoVerse的降到45%，来自VITRA的降到25%。

在数据质量上，团队还设计了一套多阶段清洗流程，分别处理五类问题：突然跳变的异常帧、状态和动作时间戳不对齐、超出正常范围的极值、关节角度和末端执行器位置之间的正运动学不一致，以及不同数据集之间坐标系朝向的不统一。例如，在清洗RoboMIND数据集的UR型号数据时，状态-动作趋势对齐检验发现其中81%的片段存在严重问题，全部被剔除。这种严格的清洗，确保了喂进模型的数据质量。

四、模型结构：视觉大脑和动作肌肉的分工合作

QWEN-ROBOTMANIP的架构设计遵循了一个清晰的分工原则：用一个擅长“看”和“理解”的大脑，搭配一个擅长“精细执行动作”的手臂。

大脑部分采用Qwen3.5-4B多模态语言模型。它能同时处理来自多个摄像头的图像和自然语言任务指令，将视觉信息和语言信息融合成一组富含语义的特征向量，然后传递给动作执行模块。

动作执行模块是一个基于流匹配方法的扩散Transformer（DiT），共有10个transformer块，隐藏维度768，12个注意力头。它的工作方式有点像雕塑家：先从一堆随机的“噪声动作”出发，通过多次去噪迭代，逐步雕琢出精准的动作序列。每次推理只需要4步欧拉积分就能完成，计算速度足以支持实时控制。

动作模块通过交叉注意力机制与视觉语言大脑连接：偶数层注意力头关注视觉特征，奇数层注意力头关注语言特征，两者交替进行，让动作预测既有空间感知，又有语言理解。

相机坐标系的几何信息，通过一种叫做相机位置编码（CaPE）的机制注入到动作模块中。每个图像特征对应它自己摄像头的位置编码，每个动作特征对应参考摄像头的位置编码，由此在注意力计算中隐式编码了各个视角之间的相对几何关系。

在动作预测时，模型还额外接收三类条件信号：去噪时间步嵌入、末端执行器类型嵌入（区分单臂、双臂左/右、头部等），以及一个二进制标志嵌入，标明当前样本是否有标定好的相机参数——有的话用相机坐标系表示动作，没有的话用机器人底座坐标系表示。

系统提示的设计也很有特色。每次执行任务时，模型会收到一段结构化提示，包含机器人平台名称、任务指令、预期执行速度、帧率，以及摄像头相对机械臂的位置。训练时，这些字段会以15%的概率被随机丢弃，迫使模型学会在信息不完整时也能正常工作。

五、这套系统在实际测试中表现如何

研究团队设计了一套非常有层次感的评测体系。核心主张很明确：只看“在自己家里考得好不好”是没有意义的，必须看“到陌生地方能不能适应”。

在标准基准测试（LIBERO和RoboTwin）上，QWEN-ROBOTMANIP确实表现亮眼：LIBERO达到99.2%的成功率，RoboTwin简单模式93.7%、困难模式94.0%，超越了此前所有公开模型。但团队特别指出了一个值得深思的现象：一个从零开始训练、完全没有大规模预训练的模型，在这些标准测试上的成绩和拥有海量预训练的模型不相上下。这说明标准测试只是在考“背过的题”，不能说明模型学到了真正可迁移的能力。

真正的分野出现在分布外（OOD）测试上。在LIBERO-Plus测试中，该测试在标准LIBERO场景基础上引入了7种扰动——背景变化、摄像头角度改变、指令措辞不同、光照变化、物体摆放随机化、机器人初始状态变化、传感器噪声——QWEN-ROBOTMANIP达到91.4%的总体成功率，比次优模型π0.5高出7个百分点。分维度看，机器人初始状态扰动下的成功率达到83.9%，而没有大规模预训练的同架构模型只有44.9%，差距极为显著。大规模跨机器人预训练给了模型一种“见过各种奇怪起始姿态”的隐性经验。

在RoboTwin-Clean2Rand测试中，模型在“干净白底”场景下训练，然后测试随机化背景、光照、杂乱物品和桌高的扰动。QWEN-ROBOTMANIP在最难的“全部随机”设定下达到69.4%，而π0.5只有47.9%，没有预训练的对照模型则从简单设定的71.6%崩溃到困难设定的22.6%，几乎完全失效。这个对比非常直观地说明了大规模预训练的价值。

在RoboCasa365厨房操作测试中，情况更加说明问题。这个基准包含原子操作、见过的复合任务和没见过的复合任务三个难度层级。QWEN-ROBOTMANIP在“从没见过的复合任务”上达到14.9%，是次优模型的近三倍（次优为5.4%）。也就是说，在需要把多个子技能自由组合、完成全新长序列任务的场景下，这个模型有着远超其他模型的“创造性组合”能力。

EBench是在NVIDIA Isaac Sim里构建的室内移动操作基准，测试平台是一个双臂移动机器人。QWEN-ROBOTMANIP在总体成功率上达到45.6%，比π0.5的27.1%高出18个百分点，在精细桌面操作子集上的成功率是π0.5的近4倍。

六、语言理解和跨机器人迁移：两项更难的挑战

团队还专门构建了两个全新的测试基准，分别考查另外两种更高层次的泛化能力。

第一个：RoboTwin-IF，专门测试语言理解。设计逻辑是：如果模型真正“听懂”了指令，那么在同样的场景下，换一种说法的相同任务应该得到相同的结果，而不同任务应该得到不同的结果。测试包含五个子集，涵盖了不同维度的语言理解。“捡多样物体”子集在桌上放12种日常物品，随机选4个，指令要求捡起其中特定颜色和名称的物体；“相对位置放置”子集测试对“旁边”和“上面”等空间关系词的理解；“操作麦克风-抽屉”子集测试多步骤双臂协调（先用一只手开抽屉，另一只同时拿麦克风放进去）；“操作订书机”子集让模型区分“按压订书机”和“把订书机移到垫子上”这两个动词不同的任务；“操作桌面”子集同时呈现铃铛、订书机和可拾取物品，模型必须根据指令正确判断该对哪个物体做什么动作。

所有模型都只在“干净场景”数据上训练，测试时使用训练时从未出现过的指令措辞模板。QWEN-ROBOTMANIP的平均成功率为72.2%，π0.5为49.6%，差距22个百分点。在最考验空间关系理解的“相对位置放置”子集上，差距达到37个百分点（57%对20%）。这个结果有力地说明，双流协同训练确实帮助模型保留了真正依赖语言的控制能力。

第二个：RoboTwin-XE，专门测试零样本跨机器人迁移。设定是：模型只在AgileX ALOHA这一种机械臂的演示数据上训练，然后直接部署到ARX-X5、UR5-WSG和Franka Panda这三种外形和关节结构完全不同的机械臂上，期间不提供任何目标机械臂的训练数据。

使用关节角度动作表示的版本迁移效果很差——关节角度是机械臂专属的，换了机械臂就完全失效，UR5和Franka的成功率都不到5%。切换到相机坐标系末端执行器动作表示后，迁移效果大幅提升：ARX-X5达到42.9%，UR5-WSG达到22.8%（是关节控制版本的5.6倍），Franka达到5.9%，平均23.9%。对比之下，π0.5的相同设定下平均只有7.5%。迁移效果的梯度（ARX最好、Franka最差）也符合预期——ARX和AgileX在外形和工作空间上最为接近，Franka则有独特的7自由度构型，差异最大。

七、真实机器人实验和比赛验证

除了模拟环境，团队还在实体机器人上做了大量验证，部署平台包括AgileX ALOHA、ARX、Franka和UR四种机型。

在CobotMagic ALOHA平台上，基于22.9小时的遥操作演示数据微调后，QWEN-ROBOTMANIP在7个任务上的平均成功率达到88.6%，π0.5为42.9%，StarVLA（没有大规模预训练）为20.0%。其中“把积木放进抽屉格”、“三块积木堆叠”等高难度任务，QWEN-ROBOTMANIP全部5次都成功完成，而π0.5一次也没成功。

分布外任务测试同样令人印象深刻。“把指定物体放进篮子”和“按左右参考叠碗”两个任务，QWEN-ROBOTMANIP均达到10/10的完美成绩；在有杂乱背景、未见过的小物体（刀、勺子）的“把工具放到毛巾上”任务中达到6/10；在迪斯科灯光照射（剧烈闪烁的彩色光）下的“把香蕉放到毛巾上”任务中达到9/10。对比之下，π0.5在需要左右空间关系理解的任务上只有1/10，StarVLA在所有分布外任务上全部失败。

在ARX平台上的跨机器人技能迁移实验中，模型同时在CobotMagic的6000条数据和ARX的130条数据上微调，然后在ARX上测试四个完全没有演示数据的新任务（叠盘子、叠积木、把水果放进粉色盘子、把纸球扔进桶里）。完整版QWEN-ROBOTMANIP的平均成功率为55.0%，而去掉统一坐标系设计的版本只有7.5%，去掉统一末端执行器设计的版本只有12.5%。四倍以上的差距，直接说明了表示对齐的核心作用。

在RoboChallenge Table30-v1比赛的通才赛道上，该比赛要求一个模型处理4种不同机器人平台上的30个任务，QWEN-ROBOTMANIP以45%的成功率和59.83的过程分排名第一，比第二名（DM0_generalist，37%成功率）高出8个百分点，实现约20%的相对提升。在8个需要精密双臂协调的ALOHA任务上平均成功率达到40%，而π0.5为21.2%；在12个涉及取放操作的任务上达到63.3%，比第二名高出15个百分点。

研究人员还观察到一个自然涌现的“重试行为”：当机器人在某次抓取中失败（比如物体滑落），它不会就此放弃，而是自动重新尝试。在“整理电子产品”任务中，机器人连续失败两次后，第三次成功完成，整体成功率达到50%；而对照模型三次全部失败。这种自我纠错能力，很可能来自于预训练数据中大量包含了失败-重试过程的演示，模型学到了从失败中恢复的隐性策略。

八、消融实验揭示的核心规律

团队还做了一系列“去掉这个看看会怎样”的对比实验，量化了各个设计选择的贡献。

最关键的发现来自数据规模缩放实验。他们用1%到100%不同比例的预训练数据分别训练三个版本：完全没有统一表示的版本、有统一坐标位置但没有相机坐标系末端执行器对齐的版本、完整版。结果显示，后两个有统一表示的版本都呈现出清晰的“数据越多、效果越好”的对数线性规律，而完全没有统一表示的版本则呈现杂乱无章的曲线，增加数据并不能带来稳定提升。这个实验直接证明了“对齐是规模化的前提”这一核心主张。同样重要的是，这种规模化效应只在分布外测试上可见，在分布内的简单测试上，三个版本的差异反而不明显——再次印证了标准测试无法衡量真正的泛化能力。

在情境适应机制的消融中，一个有趣的发现是：引入历史情境后，4步去噪已经不够用，必须增加到10步才能稳定发挥情境信号的作用。这是因为带有历史信息的动作分布更复杂，需要更细致的去噪过程来处理。增加到20步则没有进一步提升。

在人类数据合成的消融中，对比“只用机器人数据”、“加入原始人类视频”和“加入合成机器人数据”三种方案，结果显示合成数据在所有维度上均超过原始人类视频，其中摄像头角度扰动下的提升最为显著（在LIBERO-Plus上达到+7.2个百分点），验证了人类视频提供的视角多样性确实有助于机器人在不同摄像头角度下的稳定性。

视觉语言协同训练的价值也得到了量化：去掉VL数据预训练后，RoboTwin困难分布外设定下成功率下降8.2个百分点，语言指令跟随测试下降7.0个百分点，说明VL协同训练对于在复杂场景下正确解析语言指令至关重要。

说到底，QWEN-ROBOTMANIP这项研究的最大贡献，不仅仅是造出了一个成绩更好的机器人模型，而是系统性地证明了：让机器人真正学会“举一反三”，关键不在于数据多不多，而在于你有没有把来自不同机器人的经验翻译成同一种语言，再统一学习。就像一个语言天才，即使接触的语言再多，如果没有掌握各语言之间的共同语法规律，也只能停留在翻字典的阶段。相机坐标系的末端执行器表示，就是这套机器人世界的“共同语法”。

这项研究对未来有几个值得期待的方向：一方面，人类日常视频的总量远超现有机器人演示数据，随着合成流水线的成熟，预训练数据的规模有望继续大幅扩张；另一方面，该研究明确指出了现有OOD测试仍以模拟环境为主的局限，真实世界的更广泛验证是下一步的重要工作。整个研究数据集基于开源数据构建这一事实也给社区带来一个鼓励：机器人基础模型的数据壁垒，或许比人们想象的更低，只要有正确的对齐框架。

Q&A

Q1：QWEN-ROBOTMANIP是怎么让机器人在没见过的场景里也能完成任务的？

A：核心在于“对齐再规模化”的训练思路。研究团队把不同机器人的动作统一翻译成同一种“语言”——用相机视角下的末端执行器位移来描述所有动作，让视觉上相似的动作在数字上也接近。这样一来，来自几十种不同机器人的38100小时数据可以协同训练，而不是相互干扰。训练出的模型掌握了跨机器人的通用操作规律，碰到新场景时就能“举一反三”。

Q2：把人类手部视频转换成机器人训练数据，效果真的好吗？

A：从实验结果看，确实有实质性提升。团队把1933小时的人类手部操作视频通过专门的流水线转化成24808小时的合成机器人数据。消融实验表明，使用合成后的数据比直接使用原始人类视频效果更好，其中在不同摄像头角度下的泛化能力提升最明显（LIBERO-Plus相机扰动维度提升超7个百分点）。这套流水线支持15种双臂机器人平台，是整个数据规模化策略的核心引擎。

Q3：RoboTwin-IF和RoboTwin-XE是什么样的测试，为什么值得关注？

A：这是团队专门设计的两个新基准，用来测量标准基准无法衡量的能力。RoboTwin-IF测试模型是否真正“听懂”了指令：在同一场景里放多个物体，只有按指令描述找到正确目标并做正确动作才算成功，测试时使用训练中没出现过的指令措辞。RoboTwin-XE则测试零样本跨机器人迁移：模型只见过一种机器人，直接部署到三种外形完全不同的机器人上。这两个测试揭示了真正的泛化能力，而非背题能力。