新型3D传感器同时看清镜子与墙面，精度达亚毫米级

让机器人看清一面普通的墙壁，这不算什么难事。可一旦面前换成镜子、玻璃或者抛光的金属，市面上绝大多数先进的3D传感器恐怕就要“失灵”了。

问题出在哪？现实世界的物体表面，反射特性千差万别。墙面这类漫反射表面，光线会向四面八方散射；而镜子、抛光金属这类镜面反射表面，光线则像台球一样遵循严格的反射角。传统的3D传感技术往往只能针对其中一种情况进行优化，在两者混杂的场景里就难免顾此失彼。

如今，这个光学测量领域的经典难题迎来了新的突破。来自美国亚利桑那大学、莱斯大学和西北大学的联合研究团队，开发出了一种新型3D传感器。它的核心思路非常巧妙：不再依赖昂贵笨重的外置屏幕，而是将整个测量环境本身变成一个“虚拟屏幕”。借助事件相机和扫描激光，这套系统能在短短70毫秒内，同时重建出漫反射和镜面反射物体的三维形状，精度达到了亚毫米级。

图丨相关论文（来源：Nature Communications）

这项技术的意义在于，它无需预先区分物体材质，也无需额外的标定设备，仅靠环境自身就能完成复杂混合反光场景的3D建模。其应用前景相当广阔，无论是自动驾驶汽车需要识别的复杂街景（包含车窗、车漆、路面），手术机器人面对湿润组织与金属器械并存的环境，还是工业上对包含玻璃、塑料、布料等多种材质的成品进行检测，它都能派上用场。未来，其潜力甚至可能延伸到从微观血管测量到宏观建筑数字化的更广泛领域。相关研究成果已发表在《自然·通讯》期刊上。

当镜子遇见墙面：一个经典的传感难题

人眼和大脑协同工作，能毫不费力地同时感知镜子里的影像和它背后的墙面，并实时构建出精确的动态三维场景。但对于机器“眼睛”来说，这却是一个困扰业界许久的挑战。

大多数高精度的3D传感器，如结构光或飞行时间法（ToF）设备，其算法模型都是基于朗伯体（理想漫反射体）假设建立的。一旦光线遇到高反射表面，不是被直接“弹飞”导致信号丢失，就是产生多重反射带来噪声，最终结果往往是深度图出现大片空洞或严重失真。你可以试试用常见的消费级深度摄像头对准一面镜子，屏幕上很可能是一片漆黑或扭曲的乱码。

（来源：Nature Communications）

现实需求却不容忽视。在精密手术中，机器人需要同时看清反光的金属手术刀和漫反射的人体组织；在汽车制造线上，检测系统必须能处理高光的漆面和哑光的橡胶、塑料部件。传统的折中方案往往代价高昂，例如为整车漆面检测搭建一个巨大的、布满可控光源的隧道式装置，不仅造价不菲，也极大限制了应用灵活性。

化环境为屏幕：一种巧妙的解决思路

研究团队的灵感，来源于光学测量中一项成熟的技术——偏折测量法。这种方法通常用于测量镜面形状，原理是观察已知图案的屏幕在反射面中产生的形变。但它的一个固有局限是，想要测量复杂曲面，就需要一个尺寸巨大、能覆盖所有反射方向的物理屏幕。

而这项新研究的突破点，正是跳出了“必须有一个物理屏幕”的思维定式。团队提出：何不利用场景中已经存在的漫反射物体，将它们作为天然的“虚拟屏幕”？

为了实现这一构想，他们采用了两种关键设备的组合：一台神经形态事件相机和一个双轴扫描激光投影仪。事件相机不同于传统相机，它不像后者那样逐帧捕获整个画面，而是像视网膜一样，只异步记录每个像素点的亮度变化事件，因此拥有极高的时间分辨率和动态范围，非常适合捕捉快速运动。

（来源：Nature Communications）

具体工作流程分为两步走：首先，扫描激光快速扫过整个场景。当激光打在墙面、纸板这类漫反射表面上时，光线会散射开来，事件相机随即捕捉到这些亮度变化。通过三角测量原理，系统可以率先重建出这些漫反射部分的三维形状。

接下来，就是精妙之处了。系统将这些重建好的漫反射表面识别为已知的“虚拟屏幕”。当激光打在镜面物体上时，光线会先射向虚拟屏幕的某一点，再反射回事件相机。这条“激光→镜面→虚拟屏幕→相机”的间接光路，与激光直接照射漫反射表面产生的直接光路，在几何上是可以区分开的。

正如论文第一作者、莱斯大学博士生Aniket Dashpute所解释的：“我们先用激光扫描仪捕捉房间内的所有物体，包括镜面、光泽和哑光表面。然后，算法将漫反射部分与镜面反射部分分离。最终，所有测量到的漫反射场景都成了虚拟屏幕，用于对镜面部分进行偏折测量。”通过分析间接反射光路的几何关系，可以求解出镜面表面的法向量，进而通过优化算法恢复出完整的深度图。

亚毫米精度与高帧率的实证

图丨实验室中的原型机（来源：Nature Communications）

这套方法的优势在于其强大的适应性和硬件简约性。任何漫反射表面，哪怕是一块普通的纸板、一面白墙，甚至是一个雕塑的背面，都能瞬间“变身”为测量光源，无需任何额外硬件辅助。

在实验验证中，原型系统的表现令人印象深刻。对于纯漫反射的白色平板，系统仅需4毫秒就能完成一次扫描（相当于250帧/秒），重建误差约为210微米。

面对更复杂的混合场景——包括漫反射的大卫雕像石膏模型、镜面气球和金属锁扣——系统在70毫秒（约14帧/秒）的扫描时间内，依然能清晰、同步地重建所有物体。动态测试中，气球的旋转和纸巾被快速抽走的动作都被准确捕捉。

定量精度测试显示，对于漫反射球体，重建精度约为310微米；对于镜面球体，精度约为450微米。这个成绩显著优于同类技术：一些基于事件相机的现有方法在类似条件下的深度误差可能高达6毫米。而像英特尔RealSense或微软Kinect v2这类商用深度传感器，在面对镜面时，往往直接表现为大面积的深度数据缺失或严重错误。

总体来看，这项研究为混合反射场景的3D感知开辟了一条新颖且高效的路径。其核心智慧在于利用了不同反射特性之间的互补性：粗糙的漫反射表面充当了光滑镜面物体的“参照物”。同时，事件相机卓越的高速与高动态范围性能，又有效弥补了激光扫描在空间采样上可能存在的稀疏性。这种软硬件结合的创新思路，或许正是解决许多现实世界复杂感知问题的关键所在。

参考资料：
1.Dashpute, A., Wang, J., Taylor, J. et al. Accurate and fast event-based shape measurement of mixed reflectance scenes. Nat Commun 17, 4407 (2026). https://doi.org/10.1038/s41467-026-72254-6
2.https://techxplore.com/news/2026-05-virtual-screen-machines-3d.html