MIT让机器人学会“透视海水”：浑浊海底也能实时建图
美国麻省理工学院与伍兹霍尔海洋研究所合作开发了Sonar-MASt3R水下测绘系统，融合声呐与光学数据，使机器人在浑浊海水中也能实时生成精细三维地图，已发表于ICRA并获最佳论文候选。
对于水下机器人来说，浑浊的海水就像一堵看不见的墙。
当机器人降落到海底，或在沙地里进行挖掘、抓取等操作时，螺旋桨和机械臂很容易搅起大量泥沙。短短几秒钟内，原本清晰的视野就会变成一片浑浊，摄像头几乎什么也看不见。很多时候，机器人只能停在原地，等泥沙慢慢沉降后再继续工作。
这听起来似乎不是什么大问题，但在一些场景中：例如水下排爆、深海打捞、海底设施巡检等，这种等待不仅会拖慢机器人的作业效率，更会增加额外的成本和风险。因为机器人如果无法及时判断周围环境，可能发生激烈碰撞或误操作。
这个问题在最近迎来了进展：美国麻省理工学院与伍兹霍尔海洋研究所（Woods Hole Oceanographic Institution，WHOI）的工程师合作开发了一套名为 Sonar-MASt3R 的水下测绘系统，能够将声呐传感器的声学数据与光学摄像头的视觉图像融合在一起，使水下机器人在低能见度的浑浊水域中也能实时生成精细的三维地图。
该研究由 MIT 航空航天系研究生 Amy Phung 主导，与 WHOI 应用海洋物理与工程领域的资深科学家 Richard Camilli 合著。目前已在 ICRA 上正式发表并入选最佳论文候选名单。
图｜Amy Phung（来源：WHOI）
推动这项研究的重要出发点之一，就是水下未爆弹药的清除。许多历史遗留爆炸物埋藏在近岸海域的沉积物中，不仅影响航运安全，也给海洋工程带来风险。
长期以来，水下感知技术在两种方案之间权衡。一个是光学摄像头，另一个是声呐。前者能够提供丰富的纹理、颜色和细节信息，但对环境要求极高。一旦进入深海、夜间环境，或是被泥沙和沉积物遮蔽的区域，相机获取的信息便会急剧下降。相比之下，声呐几乎不受水体浑浊程度影响，它通过发射声波并分析回波来测量目标的距离、轮廓和深度，即使在完全看不见的环境中也能工作。
但声呐也有自己的局限性。它擅长回答“那里有什么”，却很难回答“那到底是什么”的问题。相比真实图像，声呐生成的结果像是一幅缺少纹理与色彩的地形图，只能勾勒出目标的大致轮廓。
因此，过去十余年里，研究人员一直试图将视觉与声学两种感知方式结合起来，这一方向被称为“光学-声学融合（Opti-Acoustic Fusion）”。理论上，视觉负责提供细节，声呐负责提供距离和结构信息，两者结合能够兼顾分辨率与鲁棒性。
然而，真正实现这一目标并不容易。此前的大多数研究主要面向目标识别或局部场景重建，往往需要离线处理数据，难以满足实时作业需求。能够同时实现实时运行、三维建图，并适用于高浑浊水下环境的系统一直十分罕见。
但这一次，MIT 团队的 Sonar-MASt3R 做到了。它脱胎于一个名为 MASt3R（Matching And Stereo 3D Reconstruction，匹配与立体三维重建）的图像匹配算法。该算法由法国 Na ver Labs Europe 团队开发，并于 2024 年发表在欧洲计算机视觉大会 ECCV 上。而 MASt3R 又建立在更早的 DUSt3R 框架之上。
（来源：Na ver Labs Europe）
相比前代，MASt3R 最大的改进是在网络中增加了一个专门输出稠密局部特征图的模块（Head），并配合快速互惠匹配算法，能够从多张二维图像中快速估算场景内每个像素的相对深度，从而在不依赖相机位姿信息的情况下实时生成三维点云。
不过，MASt3R 也存在一个短板：它输出的是相对深度，而不是绝对深度。用 Phung 的话来说，“它会告诉你这个像素比另一个像素近 5 个单位，却没法告诉你这 5 个单位究竟是 5 米还是 5 英尺。”对于需要精确判断距离、避免碰撞的水下机器人来说，这显然不够。
这就是声呐派上用场的地方。由于声波传播速度已知，声呐可以通过回波返回时间直接计算目标的实际距离和深度，为场景提供可靠的绝对尺度信息。这也成为 Phung 和 Camilli 破题的思路：既然 MASt3R 擅长重建三维世界，那么就让声呐来补上它最缺失的那部分，也就是真实距离。
他们研究出的 Sonar-MASt3R 系统大致分为两个阶段。
首先是“声呐扫描”。实验中，一台搭载声呐传感器的机械臂代替真实水下载具，在水箱中缓慢完成一次横向扫描。系统根据收集到的声学数据，快速生成环境的粗略三维轮廓图。这张地图虽然缺乏视觉细节，却拥有准确的空间尺度信息：哪里有巨石、哪里有箱体、它们距离机器人多远，都能够被标注出来。
随后进入第二阶段，“光学抵近”。机器人根据声呐地图判断目标位置，安全地向目标靠近。当距离足够近时，水下摄像头开始采集高分辨率图像，并将其送入改进后的 MASt3R 管线进行处理。
为了保证实时性，系统采用了一种“关键帧”策略。每一帧新图像都会与上一关键帧进行比较，如果包含新的环境信息，就被纳入地图；如果内容变化不大，则直接丢弃。这样既减少了冗余计算，也让整个建图过程能够持续实时运行。
为了验证这一思路是否有效，研究团队在 WHOI 的水箱设施中搭建了一套可控实验环境。研究人员在水箱中放置了一块小型岩石、一个咖啡杯和一个包装箱等目标物体，并通过不断搅动沉积物，制造出 8 种不同程度的浑浊环境。结果显示，在所有浊度条件下，Sonar-MASt3R 的三维建图精度和分辨率都优于此前的光学-声学融合方法，能够识别厘米级别的细节。
（来源：论文）
结果显示，即便是在最极端的浑浊条件下，此时光学摄像头已经几乎完全失效，声呐仍然能够勾勒出隐藏物体的大致轮廓。这张粗略地图足以引导机械臂穿过浑浊水域，安全接近目标，再利用近距离拍摄获得清晰的视觉信息。
Camilli 用了一个比喻来解释这个实验的难度：“这就像让你走进一间漆黑的瓷器店，要在不打碎任何东西的情况下，找到一个特定的杯子。”
有趣的是，研究团队认为，他们验证算法的水箱环境其实比真实海洋更加苛刻。在封闭水箱中，声波会不断在四壁之间反射，产生大量混响、畸变和“鬼影”，就像在一个巨大的回声室里工作。
这些额外信号会让声呐数据变得更加复杂。而在开放海域中，声波能够向更远处扩散，多径反射反而会少得多。如果 Sonar-MASt3R 能够在这种“困难模式”下稳定运行，那么进入真实海洋后，它的表现理论上只会更好。
不过，Sonar-MASt3R 距离真正的大规模应用，还有很长的路要走。接下来，Phung 团队计划将系统带出实验室，在真实水域开展进一步测试，让它经历复杂海况、洋流干扰以及长时间连续运行的考验。
WPS Office是一款面向macOS用户的综合办公套件，将文字处理、电子表格、演示文稿、PDF工具、模板与云协作整合在同一应用中。它兼容常见Microsoft Office格式，支持Intel及Apple芯片Mac，基础功能可免费使用，
Shapr3D是一款面向工业设计、机械工程、建筑概念和三维打印工作流的CAD软件。Mac版采用Parasolid建模内核，支持草图约束、实体建模、工程图、可视化渲染及常见CAD格式交换，并可通过账户在多台设备之间同步项目。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Ableton Live 是面向音乐制作人与现场表演者的数字音频工作站，提供编曲视图、独具特色的现场视图、音频录制、MIDI创作、实时变速、乐器及效果器。Mac版原生支持Apple芯片，并可连接音频接口、MIDI控制器和第三方插件。
Adobe After Effects 是面向动态图形、影视特效与视频合成的专业创作软件。它提供关键帧动画、遮罩抠像、运动跟踪、三维空间、文字动画和表达式等工具，并可与 Premiere Pro、Photoshop、Illustrator
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Adobe Bridge 是面向摄影师、设计师及内容团队的免费数字资产管理工具，可集中预览照片、视频和 Adobe 项目文件，并利用评级、标签、关键词、元数据、筛选与收藏集完成分类检索。它还支持批量重命名、格式导出、相机导入及 Camera
Adobe Illustrator 是 Adobe 推出的专业矢量图形设计软件，适合在 Mac 上制作标志、图标、插画、包装、信息图及印刷版面。它以路径和锚点构建可无损缩放的图形，并提供钢笔、形状、文字、图像描摹、渐变、画板及生成式功能。
Adobe InDesign 是面向印刷品与数字出版物的专业版面设计软件，可在 Mac 上制作书籍、杂志、宣传册、海报、报告及交互式文档。它提供精细的文字样式、网格、母版、长文档管理和印前输出能力。
Adobe Lightroom Classic 是面向桌面摄影工作流的照片管理与后期处理软件，可将原始照片保存在本地硬盘，通过目录、关键词、评分和收藏夹高效整理图库，并提供 RAW 冲印、蒙版、镜头校正、批量同步及多格式导出等功能。
Adobe Media Encoder 是 Adobe 推出的专业音视频编码与转码工具，可通过队列、预设和监视文件夹批量完成格式转换、代理文件创建及多平台成片输出，并与 Premiere Pro、After Effects 等软件紧密协作。
Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理软件，提供图层、蒙版、选区、修复、调色、文字排版、智能对象及生成式编辑等能力。Mac 版支持 Intel 与 Apple Silicon 处理器。
Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理工具，可在 Windows 上完成照片修饰、选区抠图、图层合成、文字排版、绘画及生成式编辑。软件采用订阅授权，由 Creative Cloud 管理安装、更新与许
Adobe InDesign 是面向印刷与数字出版的专业页面排版工具，可制作书籍、杂志、宣传册、海报、交互式 PDF 和电子书。它提供精细的文字样式、多页面管理、印前检查及多格式输出能力，并能与 Photoshop、Illustrator
Adobe Illustrator 是用于绘制矢量图形、插画、图标、徽标和版式的专业设计工具。它以路径和锚点为核心，作品放大后仍能保持清晰，并提供画板、文字、渐变、图像描摹及精确变换等功能，适合品牌视觉、印刷物料、数字界面和商业插画创作。
Adobe Bridge 是 Adobe 推出的创意资产管理工具，可集中预览、分类和查找照片、视频、PDF及多种设计文件，并支持元数据、关键词、评级、批量重命名和格式导出。它可与 Photoshop、Illustrator 等应用衔接，
Affinity Photo 是一款面向摄影师、修图师和视觉设计人员的桌面图像编辑工具，提供 RAW 显影、多图层合成、蒙版、实时滤镜、批处理和色彩管理等功能。原独立产品已停止销售，其照片编辑能力已延续至免费的新 Affinity 应用；
Adobe Lightroom Classic 是面向 Windows 桌面摄影工作流的照片管理与无损编辑工具，可通过目录集中整理大型图库，并完成 RAW 显影、局部蒙版、批量调整、打印和多格式导出。它强调本地文件管理与精细控制，
Figma 是面向产品设计与开发团队的云端协作平台，可在 Windows 桌面客户端中完成界面绘制、组件管理、交互原型、评论评审和开发交付。文件保存在云端，多名成员能够同步编辑并共享设计系统；官方同时提供免费 Starter 方案及按席位计
Affinity Designer 是面向矢量图形、数字插画和界面设计的专业创作工具，可在矢量、像素与导出工作区之间快速切换。它提供曲线编辑、形状构建、画板、排版、图层和专业色彩管理，并支持常见设计文件的导入及多种印刷、网页格式输出。
Capture One Pro 是面向摄影师和影像团队的专业桌面照片处理工具，提供相机定制色彩配置、RAW转换、图层与蒙版、联机拍摄、目录及会话管理等功能。它适合棚拍、人像、商业产品、婚礼和风光摄影，
Adobe Acrobat Pro 是面向专业 PDF 工作的综合解决方案，可在 Windows 中创建、编辑、转换、比较、整理和保护文档，并支持表单、电子签名、扫描件文字识别及敏感信息永久遮盖。订阅还包含网页、移动服务和云端协作能力，
Adobe After Effects 是面向动态图形、动画与影视视觉特效制作的专业工具，可完成关键帧动画、图层合成、遮罩跟踪、抠像、文字动画和二维三维元素整合。Windows 版通过 Adobe Creative Cloud 安装及更新，
DaVinci Resolve是Blackmagic Design推出的一体化影视后期工具，将素材管理、非线性剪辑、专业调色、Fusion视觉特效、Fairlight音频处理和成片交付整合在统一工程中。免费版已覆盖多数个人创作需求，