斯坦福洗碗机器人新作！灵巧手学采茶做早餐
手把手教机器人，直接就能让它学到真本事！不管是采茶沏茶做早餐，这些精细活儿都「手」到擒来。还是灵巧手的那种。△星动纪元灵巧手星动XHAND1△星动纪元灵巧手星动XHAND1来自斯坦福大学、哥伦比亚大学、摩根大通AI研究院、卡耐基梅隆大学、英伟达提出了一种数据采集与策略学习框架DexUMI——利用人手作为自然接口将灵巧操作技能迁移至多种灵巧手。该框架通过硬件与软件的双重适配，最大限度缩小人手与各类灵巧手之间的具身差异。相信不少人看过去年他们发布的UMI，通过记录并学习人类操作，让夹爪类机器人学
手把手教机器人，直接就能让它学到真本事！
不管是采茶沏茶做早餐，这些精细活儿都「手」到擒来。还是灵巧手的那种。
△星动纪元灵巧手星动 XHAND 1
△星动纪元灵巧手星动 XHAND 1
来自斯坦福大学、哥伦比亚大学、摩根大通 AI 研究院、卡耐基梅隆大学、英伟达提出了一种数据采集与策略学习框架DexUMI——
利用人手作为自然接口将灵巧操作技能迁移至多种灵巧手。该框架通过硬件与软件的双重适配，最大限度缩小人手与各类灵巧手之间的具身差异。
相信不少人看过去年他们发布的 UMI，通过记录并学习人类操作，让夹爪类机器人学会洗碗，结果在行业引发不小的关注和轰动。
除了效果惊艳，更深层的原因在于他们让夹爪的操作数据采集迅速便利化，行业多家厂商迅速跟进，推出了工业化数采产品。
今年，他们将夹爪升级到更复杂更高自由度的灵巧手，让机器人学会更丰富更精细的操作任务，势必也将引发新一轮灵巧手数采革命。
正在首尔举办的 CoRL 2025 中，它被提名为最佳论文。
他们在两种灵巧手硬件平台（全驱和欠驱）上验证了 DexUMI 在多类操作任务中的能力与有效性，其平均任务成功率达到 86%。与传统的远程遥操比，实现了 3.2 倍的数据采集效率提升。
值得一提的是，其中全驱采用的灵巧手正是出自国产明星具身玩家星动纪元的星动 XHAND 1。
手把手教机器人做事
人类双手在执行各类任务时展现出惊人的灵活性，那么通过「手把手教机器人做事」，也许就能来让机器人解锁各种新任务。去年的 UMI 验证了这一思路的有效性。
它是一款可穿戴式夹爪设备，它能高效采集机器人训练数据。通过装有 GoPro 和 IMU 传感器的手持夹爪，UMI 能够精准高效地记录人类操作动作，并用于训练策略部署在机械臂真机上。UMI 设备低成本，能够在 15 分钟内完成组装。这解决了夹爪类机器人操作数据采集慢，这一困扰众多科研工作者的难题。
今年团队将目标聚焦在了灵巧手，不过相较于夹爪，要将把人类的操作技能整体迁移到灵巧手的挑战更为严峻。
最核心的原因在于两者之间存在显著的差异，包括在动力学结构、接触面形态、 视触觉感知等多个维度。
再加之不同灵巧手在自由度、驱动方式、大小尺寸等方面存在工程设计的多样性。因此要是缩小具身的差异，还需要考虑兼容各种硬件设计空间。
遥操已成为灵巧手的主流控制方式。但空间观测错位和触觉反馈缺失导致其操作困难，而这些障碍在人类直接执行操作任务时并不存在。
相较而言，人类的双手本身是更优越的操作接口。
基于这一背景下，本文提出了一个核心问题：
如何缩小具身差距，使人类手部成为各类灵巧手的通用操作界面？
DexUMI 框架主要通过硬件和软件两方面的创新来搭建一座桥梁。
硬件方面，设计了可穿戴外骨骼装置。
团队针对每款灵巧手设计了专用外骨骼，通过硬件优化框架调整外骨骼参数（如连杆长度），使其在保持人手可穿戴性的同时，精准匹配灵巧手指运动轨迹。
△星动 XHAND 1 外骨骼
该装置采用编码器精准捕捉关节运动，配备 150 ° 广视场角相机记录视觉观测数据，并通过刚性连接的 iPhone 借助 ARKit 技术追踪手腕位姿。
软件适配方面，采用数据处理流水线形式。首先通过视频分割技术从示教视频中移除人手及外骨骼，随后利用与目标动作匹配的灵巧手及环境背景进行视频修复。这一适配机制确保了尽管人手灵巧手存在视觉差异，训练阶段与机器人部署阶段的视觉输入仍能保持一致。
具体包含四个步骤：
人手与外骨骼分割
环境背景修复
生成对应灵巧手视频
机器人示教视频合成
人手与外骨骼分割
首先利用 SAM2 对观测视频中的人手及外骨骼进行分割（图 4b）。由于 SAM2 需初始提示点，团队建立了标准化操作协议：操作者始终以相同手势开始演示，使得所有示教数据均可复用同一组提示点。
环境背景修复
通过分割掩码从图像数据中移除人手及外骨骼像素，随后采用基于光流的修复方法 ProPainter 完整填充缺失区域（图 4c）。
生成对应灵巧手视频
为将灵巧手精准嵌入视频，团队在灵巧手上重放记录的关节动作，录制仅包含灵巧手的独立视频（图 4d）。该步骤不涉及机械臂运动。再次使用 SAM2 提取灵巧手像素（图 4e）并剔除背景。需说明的是，虽可训练图像生成模型基于动作输出灵巧手图像，但该方法需额外模型训练。
机器人示教视频合成
最后一步将纯背景修复视频与纯灵巧手视频进行融合。保持正确的遮挡关系至关重要：灵巧手并非始终处于最上层。团队开发了遮挡感知合成方法来解决这一问题。
验证 DexUMI 的有效性
团队在两款不同灵巧手上对 DexUMI 进行测试。
Inspire 手（IHand）：采用 12 自由度（6 主动自由度）欠驱动设计。拇指配置 2 个主动自由度与 2 个被动自由度，其余四指各具 1 个主动自由度及 1 个被动自由度。
星动纪元 XHAND 1：采用全驱动设计，具备 12 个主动自由度。大拇指配置三个自由度，食指含三个自由度，其余三指各配备两个自由度。
然后在四项现实任务中评估 DexUMI 系统：
立方体任务 [ IHand ] ：从桌面拾取 2.5 厘米宽立方体放入杯中，用于检验系统基础操作精度；
蛋盒开启 [ IHand ] ：多指协同开启蛋盒——需用食指、中指、无名指及小指按压盒盖，同时拇指抬起前扣，测试复杂手型控制能力；
茶艺操作 [ IHand & XHand ] ：从桌面夹取镊子，将茶叶从茶壶转移至茶杯。核心挑战在于通过多指接触稳定操控可变形工具；
厨房任务 [ XHand ] ：包含四个连续步骤：关闭灶台旋钮→将煎锅从灶台移至台面→从容器取盐→撒盐至锅中食物。测试系统在长时序任务中结合精确动作、触觉感知及非指尖操作的综合能力。
每个测试回合开始时，任务物体均在桌面上随机初始化摆放。每项任务进行 20 次评估回合，所有对比方法均采用完全一致的初始物体配置。
针对长时序任务，表 1 中按阶段统计累积成功率。
结果发现，软件适配对于弥合 DexUMI 流程中的视觉差距至关重要。比如在像学习蛋盒开启这种动作时，如果没有软件适配，就无法精准与物体交互并执行。
通过硬件与软件的双重适配，DexUMI 能够采集多种任务数据并实现向机器人的技能迁移。真实环境综合实验表明，DexUMI 在两种灵巧手（6 自由度 Inspire 手和 12 自由度 XHAND 1 ) 上均表现优异：
相比遥操作数据采集效率提升 3.2 倍，在包含需多指协同的长时序复杂任务等四项任务中平均成功率达 86%。
相比于遥操，DexUMI 具有两个主要优势：1）DexUMI 比传统的遥操作方法效率更高；2）DexUMI 提供直接的触觉反馈，而典型的遥操作系统通常无法提供这种反馈。
总结与展望
本文提出DexUMI——一种可扩展的高效数据采集与策略学习框架，该系统以人手为交互接口，在提供自然触觉反馈的同时，将人手运动精准转化为灵巧手动作。
通过大量复杂现实任务实验，验证了 DexUMI 能够学习适用于精密操作、多接触交互及长时序任务的灵巧操控策略。
本研究为超越传统遥操作模式、实现大规模灵巧手现实数据高效采集建立了新范式。
在 DexUMI 的测试中，星动纪元自研五指灵巧手星动 XHAND 1 相比因时五指灵巧手 Inspire Hand 表现更加卓越，凭借其独特的关节全直驱技术，显著提升了数据采集的精度和可靠性。
此外，星动 XHAND 1 单独完成了厨房长序列任务，该任务包括四个连续步骤：关闭 stove 旋钮、将锅从炉顶移到柜台、从容器中拿起盐、最后将其撒在锅中的食物上。该任务测试了 DexUMI 在具有精确动作、触觉传感和需要使用拇指和食指的侧面（而非指尖）的长周期任务上的能力。
星动 XHAND 1 之所以在厨房执行任务上表现良好，是因为其背后的关节全直驱方案以及指尖 270 度覆盖的高精度触觉传感器。 接下来，协同灵巧手如星动 XHAND 1 打造科研基础设施，贡献学习 dataset 建立数据采集共享社区将变成可能。
在这个社区中，众多的数据采集者、研究机构、企业以及其他相关从业者都可以积极参与其中，共同贡献和使用高质量数据集。对于后续的使用者可以直接从共享社区中获取到高质量的数据集。
这些数据集涵盖了多种类型和领域，能够满足不同用户在数据研究、模型训练、产品研发等方面的多样化需求。这种数据共享模式将降低数据采集的成本，避免了重复采集和资源浪费，还将大大提高了数据采集的效率，加速 Scaling law 中真实数据的比例，从而加速灵巧操作在实际应用场景的落地，推动扩大整体市场规模。
论文链接： https://arxiv.org/pdf/2505.21864v2
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法！
— 完 —
点亮星标
科技前沿进展每日见
WPS Office是一款面向macOS用户的综合办公套件，将文字处理、电子表格、演示文稿、PDF工具、模板与云协作整合在同一应用中。它兼容常见Microsoft Office格式，支持Intel及Apple芯片Mac，基础功能可免费使用，
Shapr3D是一款面向工业设计、机械工程、建筑概念和三维打印工作流的CAD软件。Mac版采用Parasolid建模内核，支持草图约束、实体建模、工程图、可视化渲染及常见CAD格式交换，并可通过账户在多台设备之间同步项目。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Ableton Live 是面向音乐制作人与现场表演者的数字音频工作站，提供编曲视图、独具特色的现场视图、音频录制、MIDI创作、实时变速、乐器及效果器。Mac版原生支持Apple芯片，并可连接音频接口、MIDI控制器和第三方插件。
Adobe After Effects 是面向动态图形、影视特效与视频合成的专业创作软件。它提供关键帧动画、遮罩抠像、运动跟踪、三维空间、文字动画和表达式等工具，并可与 Premiere Pro、Photoshop、Illustrator
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Adobe Bridge 是面向摄影师、设计师及内容团队的免费数字资产管理工具，可集中预览照片、视频和 Adobe 项目文件，并利用评级、标签、关键词、元数据、筛选与收藏集完成分类检索。它还支持批量重命名、格式导出、相机导入及 Camera
Adobe Illustrator 是 Adobe 推出的专业矢量图形设计软件，适合在 Mac 上制作标志、图标、插画、包装、信息图及印刷版面。它以路径和锚点构建可无损缩放的图形，并提供钢笔、形状、文字、图像描摹、渐变、画板及生成式功能。
Adobe InDesign 是面向印刷品与数字出版物的专业版面设计软件，可在 Mac 上制作书籍、杂志、宣传册、海报、报告及交互式文档。它提供精细的文字样式、网格、母版、长文档管理和印前输出能力。
Adobe Lightroom Classic 是面向桌面摄影工作流的照片管理与后期处理软件，可将原始照片保存在本地硬盘，通过目录、关键词、评分和收藏夹高效整理图库，并提供 RAW 冲印、蒙版、镜头校正、批量同步及多格式导出等功能。
Adobe Media Encoder 是 Adobe 推出的专业音视频编码与转码工具，可通过队列、预设和监视文件夹批量完成格式转换、代理文件创建及多平台成片输出，并与 Premiere Pro、After Effects 等软件紧密协作。
Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理软件，提供图层、蒙版、选区、修复、调色、文字排版、智能对象及生成式编辑等能力。Mac 版支持 Intel 与 Apple Silicon 处理器。
Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理工具，可在 Windows 上完成照片修饰、选区抠图、图层合成、文字排版、绘画及生成式编辑。软件采用订阅授权，由 Creative Cloud 管理安装、更新与许
Adobe InDesign 是面向印刷与数字出版的专业页面排版工具，可制作书籍、杂志、宣传册、海报、交互式 PDF 和电子书。它提供精细的文字样式、多页面管理、印前检查及多格式输出能力，并能与 Photoshop、Illustrator
Adobe Illustrator 是用于绘制矢量图形、插画、图标、徽标和版式的专业设计工具。它以路径和锚点为核心，作品放大后仍能保持清晰，并提供画板、文字、渐变、图像描摹及精确变换等功能，适合品牌视觉、印刷物料、数字界面和商业插画创作。
Adobe Bridge 是 Adobe 推出的创意资产管理工具，可集中预览、分类和查找照片、视频、PDF及多种设计文件，并支持元数据、关键词、评级、批量重命名和格式导出。它可与 Photoshop、Illustrator 等应用衔接，
Affinity Photo 是一款面向摄影师、修图师和视觉设计人员的桌面图像编辑工具，提供 RAW 显影、多图层合成、蒙版、实时滤镜、批处理和色彩管理等功能。原独立产品已停止销售，其照片编辑能力已延续至免费的新 Affinity 应用；
Adobe Lightroom Classic 是面向 Windows 桌面摄影工作流的照片管理与无损编辑工具，可通过目录集中整理大型图库，并完成 RAW 显影、局部蒙版、批量调整、打印和多格式导出。它强调本地文件管理与精细控制，
Figma 是面向产品设计与开发团队的云端协作平台，可在 Windows 桌面客户端中完成界面绘制、组件管理、交互原型、评论评审和开发交付。文件保存在云端，多名成员能够同步编辑并共享设计系统；官方同时提供免费 Starter 方案及按席位计
Affinity Designer 是面向矢量图形、数字插画和界面设计的专业创作工具，可在矢量、像素与导出工作区之间快速切换。它提供曲线编辑、形状构建、画板、排版、图层和专业色彩管理，并支持常见设计文件的导入及多种印刷、网页格式输出。
Capture One Pro 是面向摄影师和影像团队的专业桌面照片处理工具，提供相机定制色彩配置、RAW转换、图层与蒙版、联机拍摄、目录及会话管理等功能。它适合棚拍、人像、商业产品、婚礼和风光摄影，
Adobe Acrobat Pro 是面向专业 PDF 工作的综合解决方案，可在 Windows 中创建、编辑、转换、比较、整理和保护文档，并支持表单、电子签名、扫描件文字识别及敏感信息永久遮盖。订阅还包含网页、移动服务和云端协作能力，
Adobe After Effects 是面向动态图形、动画与影视视觉特效制作的专业工具，可完成关键帧动画、图层合成、遮罩跟踪、抠像、文字动画和二维三维元素整合。Windows 版通过 Adobe Creative Cloud 安装及更新，
DaVinci Resolve是Blackmagic Design推出的一体化影视后期工具，将素材管理、非线性剪辑、专业调色、Fusion视觉特效、Fairlight音频处理和成片交付整合在统一工程中。免费版已覆盖多数个人创作需求，