RSS 2026 Manipulation 论文报告汇总1

7月13日，2026年机器人领域顶级学术会议RSS（Robotics: Science and Systems）在澳大利亚悉尼正式拉开帷幕。 今年的RSS 2026，主会最终接收并放入最新日程的论文仅有160篇左右。这个极低的接受率，足以说明RSS的含金量一如既往地高——每一篇入选的工作，都经得起现场几百位顶尖研究者严苛的推敲。 在简短的开幕式之后，紧跟着的是“Manipulation 1: World Models & Memory”论文报告环节。来自全球顶尖实验室的研究者们，集中展示了机器人操作领域的最新突破。从双臂协同、手术辅助到水下灵巧操作，一个共同的趋势正在浮现：机器人正在摆脱对海量标注数据的依赖，迈向“少样本、强泛化”的新阶段。 研究者们不再死磕高昂的遥操作数据采集，而是各显神通。有的从人类视频里“白嫖”数据，有的用触觉手套实现跨物种对齐，还有的在推理时加装“安全护栏”。 以下是从该环节精选的9篇代表作，带你一文看懂机器人如何以极低的成本，学会干最精细的活。 **打破“数据匮乏”，让机器人向人类“借”经验** 既然真机数据难以海量采集，研究者们自然将目光投向了最丰富的资源库——人类的日常行为。但问题在于，如何跨越“人与机器”的结构鸿沟，直接提取知识？ **一次演示，生成千条训练数据** 双臂灵巧操作一直是机器人领域的硬骨头。两只手的协同远比单手复杂，而高质量的演示数据又极其昂贵。现有的方案往往陷入两难：遥操作采集数据可靠却费时费力，仿真合成效率虽高却难以跨越虚实鸿沟。华南理工大学的研究团队试图打破这一僵局。 他们提出了BiDemoSyn框架，核心思路是将双臂操作任务拆解为“不变协调块”与“可变物体适应”两部分。前者负责捕捉双臂间不随任务改变的协同模式，后者则负责根据具体物体的形状和位姿进行灵活调整。基于这种解耦，该框架通过视觉引导对齐和轻量级轨迹优化，仅需一段真实世界的示范视频，便能在数小时内自动合成数千条物理可行的多样化训练数据。 在六个双臂任务的实验中，用BiDemoSyn数据训练的策略不仅能鲁棒泛化到新物体的位姿和形状，还实现了零样本跨本体迁移。这意味着，即便更换机器人平台，这套系统也能直接上手工作。我们离“教一次就能干活”的实用双臂机器人，又近了一步。 **看人类视频，机器人学会了用刀切苹果** 互联网上充斥着人类切苹果、倒饮料、叠杯子等操作各种工具的视频。但由于人类手部与机器人灵巧手在结构上差异巨大，这些视频的训练价值长期遭到忽视。这种“具身鸿沟”让直接从人类视频中预训练变得极其困难。上海人工智能实验室和清华大学的研究者决定正面攻克这一难题。 他们设计的DexImit是一个四阶段的自动化生成管线：首先从任意视角重建精度极高的手-物交互三维结构；接着对复杂任务进行子任务分解与双臂调度规划；然后合成与人类演示高度一致的机器人轨迹；最后通过综合数据增强确保其能零样本部署到真实世界。 这套流程的革命性在于，它能直接吃透互联网上的任意人类操作视频，甚至AI生成的视频。从工具使用到精细操作，当灵巧手不再需要从头采集昂贵的训练数据，机器人“学会动手”的门槛被大幅降低了。 **触觉手套教机器人拧灯泡，无需配对数据** 仅需人类戴上触觉手套演示一次，机器人便能掌握拧灯泡的技巧——这在以往简直是天方夜谭。穿戴设备采集的人类触觉信号直观丰富，但如何将其迁移到传感器和本体结构截然不同的机器人上，一直是个痛点。现有方法大多要求设备高度一致且需要成对的训练数据，严重限制了扩展性。 来自UC Berkeley和Meta等机构的研究者提出了令人耳目一新的TactAlign：用整流流（rectified flow）将人类和机器人的触觉观测映射到同一个共享潜在空间。最关键的是，这个对齐过程不需要配对数据集、人工标注或特权信息。对齐的“锚点”直接来源于手物交互中自然产生的伪配对。简单来说，无论是人手还是机械手，在抓取同一物体时，其物理交互模式必然存在某种共性。 在接触密集型任务上，TactAlign显著提升了人机策略的迁移效果。在拧灯泡这种高灵巧任务中，仅需不到五分钟的人类触觉数据，就成功实现了零样本迁移。 **跨越“虚实与场景鸿沟”** 解决了数据来源，下一个难题是“环境突变”。在仿真里学得好好的，到了真实世界就翻车；在实验室里能抓水杯，到了水下或手术室就失控。如何让机器人拥有抗干扰的泛化能力？ **手术室里，机器人学会了看眼色行事** 手术机器人面临的环境远比工厂流水线复杂：组织会变形、视野会遮挡，任何一个小失误都可能致命。传统手术机器人严重依赖多相机系统和海量演示数据，导致技术落地异常困难。对此，德国国家肿瘤疾病中心的研究团队给出了一个更轻量的答案。 他们提出了一种监督式混合专家（MoE）架构，能像插件一样叠加在任意自主策略之上。令人惊讶的是，仅配合立体内窥镜图像作为唯一输入，叠加MoE后的轻量级Action Chunking Transformer仅需不到150条演示数据，就能学会复杂的“肠道抓取与牵拉”长时序协作任务。在此过程中，机器人不仅要读懂外科医生的视觉提示，准确抓取可变形组织，还要保持稳定的牵拉。 更值得关注的是其泛化表现。面对新场景，通用视觉-语言-动作模型完全失效，标准ACT也频频掉链子；而MoE增强版本不仅在弱光、遮挡及全新抓取位置等干扰下保持稳健，还成功在离体猪组织上实现了零样本泛化，甚至完成了体内猪手术的初步验证。这无疑为手术机器人的临床落地释放了强烈的积极信号。 **触觉+视觉：让机器人摸得准、刮得稳** 使用工具看似简单，实则需要解决“用哪里”（语义理解）和“用多大力”（物理精度）两个层次的挑战。当前的视觉-语言-动作模型擅长前者却在力控上捉襟见肘，而纯触觉策略虽精度高却不够通用。更棘手的是，大规模采集真实触觉数据的成本极高，且仿真与真实传感器数据之间存在复杂的非线性变形，导致零样本迁移几乎难以实现。 新加坡A*STAR和NUS的研究团队提出了Semantic-Contact Fields（SCFields），将视觉语义与密集接触估计融合到统一的三维表示中。他们设计了一个两阶段的Sim-to-Real学习管线：先在大规模仿真数据上预训练接触先验，再用几何启发式和力优化在少量真实数据上进行伪标注微调。 最终，这个力感知的表示被送入扩散策略作为观测输入。实验证明，SCFields能在未见过的工具实例上实现类别级泛化，大幅超越纯视觉和原始触觉基线方法。用仿真批量学、用真实数据精调，正在成为触觉操作的新范式。 **水下抓取，不用下水采数据** 水下机器人操作面临着独特困境：水体会导致光线散射和颜色严重失真。如果要在多样化场景中采集水下演示数据，不仅需要专业潜水设备和人员，成本更是天文数字。斯坦福大学和哥伦比亚大学的研究者想到了一个巧妙的迂回策略：在水上教，到水下用。 UMI-Underwater系统包含一种基于深度信息的可供性表示。由于深度图在不同光照和水质条件下远比RGB图像稳定，它顺理成章地成为了弥合陆地与水下域间差距的“通用语言”。系统在陆地手持演示数据上训练模型，通过几何对齐即可零样本部署到水下。同时，该系统还配合了一个自监督数据采集管线，让机器人自主在水下试错并记录成功案例。 泳池实验显示，该方法在水下抓取性能和鲁棒性上全面超越了纯RGB方法，甚至能泛化到仅在陆地数据中间出现过的物体。海洋探索的自动化大门，正在以更低成本的方式徐徐打开。 **重塑“底层逻辑”，用机制为模型兜底** 除了数据和环境，大语言模型的架构直接套用在机器人上并不完美。研究者们开始回归机器人的物理本质，探寻最优的数据配比、控制闭环与安全机制。 **VLA模型该用什么数据？89个策略揭晓答案** 视觉-语言-动作（VLA）模型是当前通用机器人策略的主流架构，但在共训练的数据配比上一直缺乏系统性指导。除了机器人的本体数据，到底该掺杂视觉-语言数据、跨本体数据、人类视频，还是离散动作token？Meta AI的研究团队用一场大规模实证研究给出了定论。 这项研究规模惊人：利用4000小时操作数据和5000万视觉-语言样本，训练了89个VLA策略，并进行了超过六万次测试。结论非常清晰：视觉-语言数据和跨本体机器人数据堪称“黄金搭档”，两者联合共训练能显著提升模型对分布偏移、未见任务以及自然语言指令的泛化能力；相比之下，离散动作token则收效甚微。 研究还发现，仅用机器人数据训练会严重退化大模型的视觉语言理解能力，但加入共训练数据后即可有效恢复。这些翔实的结论，为社区构建下一代通用机器人策略提供了宝贵的“数据菜谱”。 **两次演示、九成成功率：把机器人“滑”进安全区** 机器人操作最怕遇到突发状况：物体位置变了、角度偏了或受到外界扰动。此时，仅靠几次演示训练出来的端到端策略几乎必然会“掉出分布”，进而做出不可预测的危险动作。香港科技大学的研究团队提出了一种新范式：与其死磕数据，不如在推理时主动把系统“拉回”安全区。 SID框架的核心是一个以物体为中心的运动场。该运动场通过学习规范化的演示，能在机器人偏离正常轨迹时提供大幅度的纠正运动，将系统逐步“滑”回可靠的操作区域。一旦接近目标，运动场会自然衰减，交由轻量级的自我中心执行策略完成精细操作。 这种“全局粗调+局部精调”的解耦设计，让SID在仅有两次演示的极限条件下依然稳健。在六个真实世界任务中，它在分布外初始条件下依然能保持约90%的成功率。这启示我们：少样本操作的瓶颈或许不在于策略不够强，而是缺乏显式管理分布偏移的机制。 **让灵巧手真正“感知”接触：从多点触觉到动作接地** 多指灵巧手的接触密集型操作始终是机器人领域的一大难题，这类任务的成败高度依赖于多个接触点的持续演化，而这些状态对物体几何和滑移极为敏感。以往的研究大多把触觉当成“额外输入”，既不显式建模接触状态，也忽视了动作策略与底层控制器的动力学交互，导致策略给出的目标往往无法在物理世界执行。 来自UCSD、Brown和Sony AI的研究团队提出了Contact-Grounded Policy（CGP）视觉-触觉联合策略框架。该框架包含两个核心组件：其一是条件扩散模型，用于预测机器人状态与触觉反馈的耦合轨迹；其二是可学习的“接触一致性映射”，它能将上述的联合预测直接转化为柔顺控制器可执行的目标状态，从而确保控制系统真正落实预测出的接触意图。 在配备高精度触觉传感器的真实和仿真机械手上，CGP在操控、抓取和工具使用等任务中均显著优于现有基线。这项工作指明了方向：触觉不应只是锦上添花的额外观测，必须成为连接AI策略与物理现实的“接地”桥梁。 **结语** 三个方向，九篇论文，一条主线贯穿始终：机器人操作正在从“数据饥渴”走向“样本高效”。 无论是BiDemoSyn通过一次演示合成数千条数据、SID用两次演示实现九成成功率、DexImit从人类视频中自动提取操作知识，还是CGP让灵巧手真正感知接触状态，这些前沿探索都共同指向了一个未来：机器人再也不必在实验室里苦熬千万次演示。