Meta 最新触觉机械手登 Science 子刊封面，操作未知物体精度最高提升 94%
现在，随便丢给机械手一个陌生物体，它都可以像人类一样轻松拿捏了——除了苹果，罐头、乐高积木、大象玩偶、骰子，都不在话下：这就是来自MetaFAIR团队最新的NeuralFeels技术，通过融合触觉和视觉，机械手可以更精确地操作未知物体，精度最高提升了94%！这项研究还登上了ScienceRobotics的封面，团队同时也公开了包含70个实验的新测试基准FeelSight。如何让机械手精确操作未知物体？让机械手拿取常见的魔方、水果等早已是基操，但如何让机器人更好地操作未知物体一直是一个研究难题。一个重要原因
现在，随便丢给机械手一个陌生物体，它都可以像人类一样轻松拿捏了——
除了苹果，罐头、乐高积木、大象玩偶、骰子，都不在话下：
这就是来自Meta FAIR团队最新的NeuralFeels技术，通过融合触觉和视觉，机械手可以更精确地操作未知物体，精度最高提升了 94%！
这项研究还登上了Science Robotics的封面，团队同时也公开了包含 70 个实验的新测试基准FeelSight。
如何让机械手精确操作未知物体？
让机械手拿取常见的魔方、水果等早已是基操，但如何让机器人更好地操作未知物体一直是一个研究难题。
一个重要原因是目前的机械手训练都太过于依靠视觉，并且仅限于操作已知的先验物体，而现实中很多时候物体都会受到视觉遮挡，导致训练往往进步缓慢。
对此，团队研发出一种名为 NeuralFeels 的创新技术，为机器人在复杂环境中的物体感知与操作带来了新的突破。
这究竟是怎么做到的呢？让我们来一起看一下技术细节——
融合了触觉的多模态感知
NeuralFeels 技术的创新之处在于结合了视觉和触觉，通过多模态融合的方式，让机器手能够对未知物体持续进行 3D 建模，更精确地估计手持操作中物体的姿态和形状。
具体的处理流程如下图所示，前端实现了视觉和触觉的鲁棒分割和深度预测，而后端将此信息结合成一个神经场，同时通过体积采样进一步优化姿态。
而在遮挡视角下，视觉与触觉融合有助于提高跟踪性能，还可以从无遮挡的局部视角进行跟踪。团队在摄像机视角的球面上量化了这些收益。
从下图中可以观察到，当视觉严重遮挡时，触觉的作用更大，而在几乎没有遮挡时，触觉会发挥微调作用。
前端深度学习策略
首先来看看 NeuralFeels 技术的前端（Front end），它采用了基于深度学习的分割策略和触觉 Transformer，可以精确提取目标对象深度。
用运动学分割一切
神经优化非常依赖分割对象的输入深度，所以团队将前端设计成能够从视觉中鲁棒地提取对象深度的形式。深度在 RGB-D 相机中是现成的，但为了应对严重遮挡的问题，团队还引入了一种基于强大视觉基础模型的动力学感知分割策略。
触觉 Transformer
最近有研究表明，在自然图像中使用 ViT 进行密集深度预测更有效，于是团队提出了一种触觉 Transformer，用于通过视觉触觉预测接触深度，这个 Transformer 完全在模拟中训练，可在多个真实世界的 DIGIT 传感器上通用。机械手可以用嵌入式摄像头直接感知发光的胶垫，通过监督学习获得接触深度。
后端姿势优化
NeuralFeels 的后端（Back end）部分通过使用 Theseus 中的自定义测量因子，将前端的中间输出转化为非线性最小二乘问题进行优化。
形状和姿态优化器
后端模块从前端模块得到中间输出，并在线构对象模型。这个过程将交替使用来自视觉 - 触觉深度流的样本进行地图和姿态优化步骤。在本研究的地图优化器中，即时 NGP 模型的权重可以完全描述物体的 3D 几何结构。
神经 SLAM
在现实世界和模拟中，团队构建了一个不断演进的神经 SDF，它整合了视觉和触觉，并可以同时跟踪物体。下图展示了对应的 RGB-D 和触觉图像的输入流，以及相应的姿态重建。
神经跟踪：给定形状的对象姿态估计
当目标对象存在对应的 CAD 模型时，NeuralFeels 可以实现优秀的多模态姿态跟踪能力。此时目标对象的 SDF 模型是预先计算的，NeuralFeels 会冻结神经场的权重，仅使用前端估计进行视觉 - 触觉跟踪。
NeuralFeels 大大提升了机械手性能
为了评估 NeuralFeels 技术的性能，研究团队在模拟和真实世界环境中进行了多次实验，涉及 14 种不同物体，相关测试集 FeelSight 也已发布！
实验中使用了多种评估指标，包括用于评估姿势跟踪误差的对称平均欧几里得距离（ADD-S），以及用于衡量形状重建精度和完整性的 F 分数等。
结果非常令人惊喜，NeuralFeels 技术在以下 3 个方面都有非常出色的表现：
1. 物体重建精度大幅提升
在物体重建方面，研究发现结合触觉信息后，表面重建精度在模拟环境中平均提高了 15.3%，在真实世界中提高了 14.6%。
最终重建结果在模拟环境中的中位误差为 2.1 毫米，真实世界中为 3.9 毫米。这表明 NeuralFeels 技术能够有效地利用触觉信息补充视觉信息，更准确地重建物体形状。
2. 物体姿态跟踪更加精准
在物体姿态跟踪方面，NeuralFeels 技术相比仅使用视觉信息的基线方法有显著改进。
在模拟环境中，姿态跟踪精度提高了 21.3%，真实世界中提高了 26.6%。
在已知物体形状的姿态跟踪实验中，即使存在不精确的视觉分割和稀疏的触摸信号，该技术也能实现低误差的姿态跟踪，平均姿态误差可降至 2 毫米左右。
并且，触觉信息在降低平均姿态误差方面发挥了重要作用，在模拟环境中可使误差降低 22.29%，在真实世界中降低 3.9%。
3. 应对复杂场景表现出色
在面对严重遮挡和视觉深度噪声等具有挑战性的场景时，NeuralFeels 技术同样表现非常出色。
在模拟的 200 个不同相机视角的遮挡实验中，平均跟踪性能提升 21.2%，在严重遮挡情况下提升幅度可达94.1%！
在视觉深度噪声模拟实验中，随着噪声增加，融合触觉信息能有效降低误差分布，使机器人在视觉信息不理想的情况下仍能准确跟踪物体姿态。
研究意义
NeuralFeels 技术的创新之处在于它融合了多模态数据、并结合了在线神经场，这些技术让机器人能够在操作未知物体时实现更准确的姿态跟踪和形状重建。
而且，与复杂的传感器相比，团队使用空间感知组合所需的硬件更少，也比端到端感知方法更容易解释。
尽管目前在一些方面仍存在改进空间，如在长期跟踪中由于缺乏闭环检测可能导致小误差累积，但对于提升机械手操作精度的效果非常显著，
未来，研究人员计划进一步优化技术，例如通过基于特征的前端获取更粗略的初始化，加入长期闭环检测以减少姿态误差的累积，通过控制神经 SLAM 的输出进行通用灵巧性研究等。
这样一来，家庭、仓库和制造业等复杂环境中作业的机器人的性能都有可能得到极大的提升了！
参考资料：
[ 1 ] https://www.science.org/doi/10.1126/scirobotics.adl0628
[ 2 ] https://suddhu.github.io/neural-feels/
WPS Office是一款面向macOS用户的综合办公套件，将文字处理、电子表格、演示文稿、PDF工具、模板与云协作整合在同一应用中。它兼容常见Microsoft Office格式，支持Intel及Apple芯片Mac，基础功能可免费使用，
Shapr3D是一款面向工业设计、机械工程、建筑概念和三维打印工作流的CAD软件。Mac版采用Parasolid建模内核，支持草图约束、实体建模、工程图、可视化渲染及常见CAD格式交换，并可通过账户在多台设备之间同步项目。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Ableton Live 是面向音乐制作人与现场表演者的数字音频工作站，提供编曲视图、独具特色的现场视图、音频录制、MIDI创作、实时变速、乐器及效果器。Mac版原生支持Apple芯片，并可连接音频接口、MIDI控制器和第三方插件。
Adobe After Effects 是面向动态图形、影视特效与视频合成的专业创作软件。它提供关键帧动画、遮罩抠像、运动跟踪、三维空间、文字动画和表达式等工具，并可与 Premiere Pro、Photoshop、Illustrator
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Adobe Bridge 是面向摄影师、设计师及内容团队的免费数字资产管理工具，可集中预览照片、视频和 Adobe 项目文件，并利用评级、标签、关键词、元数据、筛选与收藏集完成分类检索。它还支持批量重命名、格式导出、相机导入及 Camera
Adobe Illustrator 是 Adobe 推出的专业矢量图形设计软件，适合在 Mac 上制作标志、图标、插画、包装、信息图及印刷版面。它以路径和锚点构建可无损缩放的图形，并提供钢笔、形状、文字、图像描摹、渐变、画板及生成式功能。
Adobe InDesign 是面向印刷品与数字出版物的专业版面设计软件，可在 Mac 上制作书籍、杂志、宣传册、海报、报告及交互式文档。它提供精细的文字样式、网格、母版、长文档管理和印前输出能力。
Adobe Lightroom Classic 是面向桌面摄影工作流的照片管理与后期处理软件，可将原始照片保存在本地硬盘，通过目录、关键词、评分和收藏夹高效整理图库，并提供 RAW 冲印、蒙版、镜头校正、批量同步及多格式导出等功能。
Adobe Media Encoder 是 Adobe 推出的专业音视频编码与转码工具，可通过队列、预设和监视文件夹批量完成格式转换、代理文件创建及多平台成片输出，并与 Premiere Pro、After Effects 等软件紧密协作。
Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理软件，提供图层、蒙版、选区、修复、调色、文字排版、智能对象及生成式编辑等能力。Mac 版支持 Intel 与 Apple Silicon 处理器。
AutoCAD 是 Autodesk 推出的专业计算机辅助设计软件，Windows 版支持精确二维绘图、三维实体与曲面建模、图纸标注、布局发布和任务自动化，并包含多套行业专业化工具组合，适用于建筑、机械、电气、工程建设及制造设计人员。
SketchUp Pro 是面向建筑、室内、景观、施工和产品设计等专业场景的三维建模工具，提供桌面建模、LayOut 二维文档、模型资源库、扩展程序及云端协作能力。其操作逻辑直观，适合从概念推敲、空间规划到图纸表达和方案汇报的完整工作流程。
AutoCAD LT 是 Autodesk 推出的专业二维 CAD 软件，适合建筑师、工程师、施工人员和设计师完成精确绘图、标注及文档编制。它支持 DWG 工作流、智能块、图形比较、计数、表格和 AutoLISP 自动化，
Rhino 3D 是 McNeel 推出的专业三维建模工具，可创建、编辑和分析 NURBS 曲线曲面、实体、网格、SubD 与点云。Windows 版支持精确造型、工程制图、渲染、文件转换及 Grasshopper 参数化设计，
Autodesk Fusion 是面向产品设计与制造的云连接开发平台，在统一环境中整合三维 CAD、CAM、CAE、PCB、工程图、数据管理和团队协作功能，适合产品设计师、机械工程师、电子工程师及加工制造团队完成从概念建模、验证分析到生产交
Archicad 是 Graphisoft 面向建筑师、设计师、工程师及 BIM 团队开发的建筑信息模型平台。它把三维建筑建模、施工文档、数据管理、专业协调、实时协作和可视化集中在统一项目环境中，适合从概念方案到施工交付的完整建筑设计流程。
Vectorworks Architect 是面向建筑师、室内设计师和建筑顾问的综合设计与BIM平台，覆盖概念草图、二维制图、三维建模、施工文档、数据报表、可视化及开放式协作。它强调自由造型与数据化建筑对象并存，
Shapr3D 是一款基于 Siemens Parasolid 几何内核的专业三维CAD软件，可在 Windows 电脑和平板设备上完成草图绘制、实体建模、参数化修改、模型可视化及技术图纸制作。软件提供免费基础方案，
FreeCAD 是面向机械设计、产品开发、建筑建模和创客项目的免费开源参数化三维 CAD 工具。它可在 Windows 上完成约束草图、实体零件、装配、工程图、BIM、有限元分析及 CAM 等任务，
Twinmotion 是 Epic Games 推出的实时三维可视化工具，可导入常见 CAD、BIM 与三维模型，通过材质、环境、植被、灯光及动画资源快速构建场景，并输出图片、视频、全景图和交互演示。
BricsCAD 是以 DWG 为核心格式的专业 CAD 平台，可用于二维制图、三维建模、工程文档与设计协作。产品按 Lite、Pro、BIM、Mechanical 和 Ultimate 等层级提供不同工具，
Ableton Live 是面向音乐创作、录音、编曲、声音设计、混音与现场演出的数字音频工作站。它将适合即兴触发素材的 Session 视图与传统时间线编曲结合，并提供音频变速、MIDI工具、软件乐器、效果器和声音资源，