当相机"看穿"玻璃时，AI深度模型该相信哪一层？

这项由密歇根大学安娜堡分校、卡内基梅隆大学、纽约大学和范德堡大学联合开展的研究，以预印本形式发布于2026年6月28日，论文编号为arXiv:2606.29600，有兴趣深入了解的读者可通过该编号查阅完整论文。

先说一个场景：你站在一扇落地玻璃门前，眼睛同时捕捉到了两样东西——玻璃本身的透明表面，以及玻璃后面房间里的桌椅和人。大脑毫不费力地把这两层景象都记下，知道玻璃在近处，桌椅在远处。但如果换成一台摄像机，再让人工智能来回答“眼前的东西离我多远”，它该说玻璃的距离，还是桌椅的距离？

这个看起来再简单不过的问题，其实暴露了当今最先进的AI视觉系统一个深层的结构性困境。现代单目深度估计模型（所谓“单目”，就是只用一张普通照片，而非两张像人眼一样的立体图像）有个挺有意思的设计：它对每一个像素只给一个深度数值，就像每块地砖只能标注一个海拔高度。这在大多场景下没问题，因为普通墙壁、地面、椅子这些不透明物体，每个位置确实只有一个表面。可一旦场景里出现玻璃、透明包装、镜面这类材质时，同一条光线实际上穿过了多个物理层，每一层都是真实的、几何上有效的表面。这时候非要给一个唯一的深度，本质上是强行“二选一”——模型必须押注某一层，另一层就得被彻底忽视。

研究团队把这种现象叫做“深度层偏好”。说白了，每个模型都藏着一种倾向，遇到透明场景时，它会本能地倾向于报告哪一层。这可不是模型的“聪明判断”，而是训练数据和监督信号无意中给它养成的习惯。更要命的是，在标准评估体系里，这种偏好从来没人系统地测量过——现有的评测指标只关心模型给出的深度准不准，从不追问那个“准”字背后，标注值本来选的是哪一层。

一、一个被忽视已久的“看穿问题”

站在一扇落地玻璃门前，你同时看到了两样东西：眼前那层光滑透明的玻璃表面，以及玻璃后面的房间、桌椅和人。你的大脑毫不费力地把这两层景象都记下来，知道玻璃在近处，桌椅在远处。但如果换成一台摄像机，然后让人工智能来判断“眼前的东西离我多远”，它该回答玻璃的距离，还是桌椅的距离？

这个看似简单的问题，实际上揭示了当今最先进的AI视觉系统中一个深层的结构性困境。现代单目深度估计模型被设计成对每一个像素给出唯一一个深度数值，就像每块地砖只能标注一个海拔高度。这种设计在大多数场景下工作得很好，因为普通墙壁、地面、椅子等不透明物体每个位置确实只有一个表面。然而，当场景中间出现玻璃、透明包装、镜面等半透明或透明材质时，同一条光线实际上穿过了多个物理层，每一层都是真实的、几何上有效的表面。此时强行给出唯一深度，本质上是一种“强迫选择”——模型必须押注于某一层，而另一层则被彻底忽视。

研究团队将这种现象称为“深度层偏好”，意思是每个模型都隐含着一种倾向，在遇到透明场景时，它会本能地倾向于报告哪一层。这种偏好不是模型的聪明判断，而是训练数据和监督信号无意中塑造出来的习惯。更关键的是，在标准的评估体系中，这种偏好从未被系统地测量和研究过，因为现有的评测指标只关心模型给出的深度是否接近标注值，而从不追问那个标注值本身选的是哪一层。

二、训练数据里埋下的“偏见种子”

要理解为什么会有这种层偏好，得回到深度学习的核心逻辑：模型学什么，取决于它被用什么数据训练。在深度估计领域，训练数据的来源极其多样，包括激光雷达扫描、超声波测量、立体相机对、合成渲染数据等等。

问题就出在这儿。激光雷达光束打到玻璃上，可能被反射掉，也可能穿过去打到背后的墙，取决于玻璃的材质和入射角；超声波则往往被玻璃最近的那层表面直接弹回来。换句话说，不同传感器对同一个透明场景给出的“正确答案”是不同的，甚至截然相反。当训练数据混合了这些来源各异的标注时，模型学到的不是“客观上正确的深度”，而是某种加权平均后的混合信号——一个被数据分布塑造的层偏好。

合成数据里也一样。渲染引擎遇到透明材质时，需要决定光线追踪在哪一层“终止”，不同的渲染参数会产生不同的深度标注。Hypersim这样的合成数据集就体现了渲染器在处理透明度时的特定选择，而这些选择又被编码进了训练模型的每一个权重之中。

由此，研究团队得出了一个颇有哲学意味的结论：模型不是在学习场景的客观几何，而是在学习一套“约定”——一套由数据来源、标注方式和训练机制共同决定的层偏好约定。这套约定在模型遇到透明场景时会自动触发，让模型倾向于汇报某一个特定层。

三、如何让这种偏好变得可测量——MultiDepth-3k基准测试

研究团队意识到，没有合适的评测工具，这种层偏好就只能停留在猜测阶段。于是他们构建了一个叫MultiDepth-3k（简称MD-3k）的基准测试数据集，这是整个研究的核心基础设施。

MD-3k包含3161张真实世界的RGB图像，全部来自GDD玻璃检测数据集，场景涵盖各类含有透明物体的室内外环境。与传统深度数据集追求稠密、精确的深度图不同，MD-3k采用了一种更聪明也更实际的方式：稀疏的序数关系标注。

具体来说，每张图像都在透明区域内选取一对稀疏的点，然后手动给出两种标注：对于最近层（即透明玻璃本身所在的层），这两个点哪个更近哪个更远？对于第二层（即玻璃后面的背景所在的层），这两个点哪个更近哪个更远？由于玻璃的存在，同一对点在两个层中的远近顺序有时相同，有时完全相反。

这个设计的妙处在于，它完全绕开了“哪一层的绝对距离是多少”这个传感器无法中立回答的问题，转而问一个更纯粹的几何问题：在你给出的深度图中，这两个点谁更近谁更远？只要模型给出的深度图与某一层的序数关系吻合，就说明模型在这张图上“认同”了那一层的几何。

MD-3k把3161张图像分成两个子集：同向子集（1783张）和反向子集（1378张）。同向子集中，两个层对于同一对点给出相同的远近顺序，模型无论偏向哪层都会得到一致的答案；反向子集中，两层给出的顺序完全矛盾，模型只能同时满足其中一层——这正是层偏好最容易暴露的地方。

每一张图片的标注都经过多名标注员的多轮交叉验证，质量有保障。这个数据集本身就是一项重要贡献，因为它首次提供了一套可以系统衡量模型层偏好的工具。

四、用三把“尺子”衡量模型行为

有了数据集，研究团队设计了三个互相配合的评估指标，共同描述模型的行为。

第一把尺子叫空间关系准确率（SRA），衡量模型给出的深度图与某一特定层的序数关系吻合的比例。对第一层（透明玻璃层）计算SRA(1)，对第二层（背景层）计算SRA(2)。数值越高，说明模型越“认同”那一层的几何。

第二把尺子叫深度层偏好α，计算很简单：α = SRA(2) - SRA(1)。当α大于零，说明模型更倾向于背景层；α小于零，说明模型更倾向于玻璃层。α的绝对值越大，偏好越强烈。这个指标让每个模型的层偏好变成了一个可以比较的数字。

第三把尺子叫多层空间关系准确率（ML-SRA），这是最复杂也最有意思的指标。它不评估单张深度图，而是评估两张深度图组成的“候选对”能否共同覆盖两个层。具体来说，给定模型基于原始RGB图像产生的深度图和基于变换后图像产生的深度图，通过数据集级别的全局匹配，决定哪张图对应哪一层，然后计算在这种最优匹配下，两张图能同时满足两层序数关系的比例。ML-SRA越高，说明这对深度图越能互补地覆盖透明场景的完整几何。

研究团队还设定了一个重要的参照基线：如果一个模型完美预测了主要层的深度，但把同一张图复制一遍作为第二层的预测，这个“理想折叠基线”的ML-SRA得分是56.4%。这56.4%来自同向子集占全部数据的比例——在顺序一致的图像上，复制一张就能同时满足两层，但在反向子集上完全无能为力，得分为零。任何真正有意义的多层预测，都必须突破这个56.4%的天花板。

五、十几个顶尖模型的“透明考场”——层偏好的异质性

研究团队在MD-3k上系统评测了一大批当前最先进的单目深度模型，包括Depth Anything系列（DA v1和DA v2的小、中、大三个规模版本，以及室内和室外专门调优版本），以及DPT、ZoeDepth、Marigold、GeoWizard、Depth Pro、UniDepth-v2、UniK3D等各路模型，涵盖判别式、生成式、度量式等不同技术路线。

结果相当惊人。不同模型在透明场景下的层偏好截然不同，甚至在同一个家族内部也有明显分裂。以Depth Anything v2系列为例，通用版（DA v2-S/B/L）和室内调优版（DA v2-I）都倾向于报告玻璃这一近处层，α值为负；而室外调优版（DA v2-O）则恰恰相反，倾向于报告背景这一远处层，α值为正。

DA v1系列全部强烈偏好背景层，在反向子集上的SRA(2)高达94%至96%，SRA(1)却只有可怜的4%至6%。这意味着DA v1几乎完全无视透明物体的近表面，专注于看穿玻璃报告背景。生成式模型Marigold和GeoWizard也倾向于背景层，但偏好强度相对温和。Depth Pro则是个有趣的异类，它明显偏好近处的玻璃层，α值约为负35%，在所有测试模型中属于少数偏好近层的类型。

这些结果完美印证了研究团队的理论：模型的层偏好源于其训练数据和训练目标的混合方式。室外训练数据中透明物体相对少见，背景层的标注往往是主要信号；室内场景中玻璃门窗更常见，某些数据集可能更多地捕捉到了近表面。每种数据配方造就了不同的层偏好口味。

在同向子集和DA-2K（一个非透明场景基准）上，几乎所有模型的表现都与普通场景相当，说明MD-3k的难度不在于让基础几何判断变得更难，而在于反向子集——这个专门暴露层偏好矛盾的子集。

六、拉普拉斯视觉提示——一把意外的“层切换钥匙”

测量出层偏好之后，研究团队提了一个更大胆的问题：能不能在不改变模型权重的前提下，仅仅改变输入图像的样子，就让模型汇报另一个层？

这个想法催生了拉普拉斯视觉提示（Laplacian Visual Prompting，LVP）。在信号处理中，拉普拉斯算子是一种检测图像中高频细节（如边缘和纹理）的经典数学工具。它的工作原理可以理解为：用一个特定的3×3小矩阵在图像上滑动，每一个位置的输出值代表该点像素强度与周围像素平均值的差异。平坦区域的输出接近零，边缘区域则有强烈的正负响应，最终形成一张突出轮廓、压制均匀色块的新图像。

研究团队的操作分两步完成。第一步，对输入的RGB图像的每个颜色通道单独做浮点精度的拉普拉斯卷积，得到一张充满正负符号的“差异图”。第二步，把这张差异图通过最小-最大归一化压缩回0至255的正常像素范围，让它看起来像一张普通图像，然后喂给深度模型，就像喂一张普通RGB图片一样——不动模型的任何一个参数，不做任何微调，完全是在输入端做文章。

理论上，这不过是换了一张奇怪的“素描风格”图像给模型看，并没有任何特别的理由认为模型会因此改变深度层报告。然而实验结果令研究团队本身都大感意外：对于DA v2通用版，LVP输入触发了强烈的层切换效果。以DA v2-L为例，在反向子集上，用原始RGB输入时模型倾向于近层（SRA(1)=65.3%，SRA(2)=34.7%）；换成LVP输入后，偏好发生了接近完全翻转（SRA(1)=15.9%，SRA(2)=84.1%），α值从-30.6%跳变到+68.2%，变化幅度达到近99个百分点。

DPT和ZoeDepth也表现出类似的强烈切换，而DA v1系列和Marigold、GeoWizard等生成式模型对LVP基本不敏感，偏好方向没有显著改变。这种模型依赖性表明，LVP并非一个万能开关，而是一把只对特定结构的模型起作用的钥匙。研究团队将这种特性称为“谱感受性”——某些模型架构对输入频率内容的变化更加敏感，当高频边缘信息被大幅增强后，它们处理透明区域的内部逻辑会走向不同的路径。

七、RGB与LVP组合——突破单一预测的天花板

一旦有了原始RGB输入产生的深度图和LVP输入产生的深度图，就可以把这两张图当作一个“候选对”来评估ML-SRA，看它们能否共同覆盖透明场景的两个层。

DA v2-L的组合在整体MD-3k上达到了75.5%的ML-SRA，其中在反向子集（最难的部分）达到52.2%，而同向子集达到93.6%。回顾一下之前提到的56.4%天花板：理想的单一预测复制对的得分，意味着在反向子集上得分为零。DA v2-L的RGB/LVP组合在整体上比这个天花板高出19.1个百分点，而在反向子集上从零直接跳到52.2%，这是实质性的突破——这对组合真的在覆盖两个几何上矛盾的层，而非只是用一张图对付一切。

其他对LVP响应较强的模型也有相当的表现：DPT的组合达到70.2%，ZoeDepth达到68.8%，DA v2-B达到73.3%。响应较弱的DA v1和生成式模型则徘徊在57%至63%之间，基本上没能突破天花板。这说明ML-SRA的提升确实与LVP触发的层切换有直接关联。

研究团队还将LVP方案与一个依赖语义先验的方法进行了比较。那个方法先用玻璃检测模型（mIoU 0.88）预测出透明区域的掩码，再用另一个深度模型（DA v1-L）的背景偏好深度图，在掩码边界进行空间插值来估计近层深度，最终得到75.8%的ML-SRA。有趣的是，两种方法的整体得分几乎相同（75.5% vs 75.8%），但资源消耗完全不同：语义先验方法需要额外的透明物体分割模型，而LVP方法只需要一次简单的数学变换，无需任何额外模型。如果再用上真值掩码（理想情况下的语义先验），ML-SRA可以达到82.5%，说明未来如果有更好的自动层选择机制，性能还有进一步提升空间。

八、消融实验——LVP为何有效，而不是其他变换

为了确认LVP效果的来源，研究团队做了一系列比较实验。

第一个比较：高频与低频的对决。用高斯平滑（低频保留）代替拉普拉斯（高频增强）作为输入变换。结果非常清晰：在反向子集上，高斯平滑对所有模型几乎没有任何切换效果，反向ML-SRA普遍接近零；而在同向子集上，高斯平滑反而比LVP更好，因为它保留了场景的低频结构，不破坏原始预测。这种不对称性非常重要——高频提示在两层顺序相反时起作用，低频提示在顺序一致时更稳定，两者覆盖的正是不同的几何情境。

第二个比较：LVP的设计稳健性。研究团队尝试了将拉普拉斯核从4邻域扩展到8邻域，以及翻转拉普拉斯核的符号，还有将彩色输入改为灰度输入。这三种变体的ML-SRA相对于默认LVP的变化幅度都非常小（在±4个百分点以内），说明LVP的效果不依赖于某一种特定的实现细节，而是源于“高频增强”这一更广泛的特性。

第三个比较：其他高频算子的效果。Sobel边缘检测、傅里叶高通滤波、小波变换。这些算子都能在一定程度上触发类似的层切换效果，但没有一种算子在所有模型和子集上同时优于LVP。Sobel在DA v2-S的反向子集上略好，LVP在DA v2-B和DA v2-L上最强。总体而言，多种高频算子的共同有效性支持了一个更广泛的结论：重要的不是拉普拉斯这一特定算子，而是“高频增强”这个操作方向。LVP作为最简单的无参数实现，是一个实用的默认选择。

第四个比较：与Canny二值边缘图的对比。Canny边缘检测也能提取边缘信息，但它输出的是0/1二值图，丢失了拉普拉斯残差中包含的连续幅度信息。在DA v2-S/B/L上，LVP的反向子集得分一致优于所有四种Canny阈值设置（LVP分别为36.9%、48.2%、52.2%，最佳Canny分别为24.2%、39.8%、49.4%）。这说明连续的高频幅度信息确实比简单的二值边缘图携带了更多对模型有意义的信号。

九、不随规模增大而消失的现象——模型大小与层切换的关系

随着DA v2从Small到Base再到Large规模扩大，LVP触发的层切换效果没有消失，反而在通用版中变得更加明显。DA v2-L的α变化幅度（+98.8）是DA v2-S（+59.8）的约1.6倍，ML-SRA从67.2%提升到75.5%。这表明规模扩大并没有让模型“变聪明”到能自动中立地处理透明场景，反而可能让模型把从训练数据中学到的层偏好习惯表达得更加彻底。

在反向子集上，当RGB和LVP输入恰好倾向于不同的层时，更大的模型往往能从这种分歧中获得更高的ML-SRA。相反，在同向子集和DA-2K（普通无歧义场景基准）上，随着模型规模增大，LVP引起的性能下降幅度反而在缩小，说明大模型在非歧义场景下对输入扰动的抵抗力更强。这两种趋势共同描绘了一幅微妙的图景：规模让模型在歧义场景下的层偏好更加鲜明，同时让它在清晰场景下更加稳健。

十、LVP不是万能的——失败案例与局限

研究团队非常坦诚地报告了LVP失效的情况。当透明物体是曲面玻璃（如弧形玻璃门）时，玻璃表面的边缘特征相对清晰，LVP能够增强这些特征，触发层切换。但当透明材质是有纹理的半透明表面时，近层和远层的高频信号高度混合，拉普拉斯算子无法将它们分开，LVP产生的变换图在频率上与原始RGB差异不大，无法触发足够强的切换。

此外，如果模型在原始RGB输入下就对透明区域给出了错误的预测，LVP也无法“修正”这个错误——它只能改变报告的层，而不能改变每一层预测本身的质量。LVP改变的是模型选择汇报哪一层，而非改变模型对任何一层的几何理解能力。

还有一个根本性的使用限制：LVP在本文中依赖数据集级别的全局匹配来决定哪张深度图对应哪一层，并没有实现逐图自动判断。在实际部署中，如果需要可靠地知道RGB输出对应近层还是远层，必须有额外的标定数据、语义信号或不确定性估计器来辅助决策。LVP目前是一个诊断和探测工具，而非开箱即用的多层深度估计系统。

十一、LVP在非透明场景中的代价

为了评估LVP是否损害了模型在普通场景下的性能，研究团队在NYU-D（室内深度基准）、KITTI（室外自动驾驶深度基准）和ETH3D（多视角立体基准）三个无歧义数据集上进行了测试。结果表明，LVP会导致一定程度的性能下降：绝对相对误差在不同模型上增加0.003至0.060，δ1（预测与真值的比值在1.25倍以内的比例）最多下降约10.9个百分点。KITTI上的下降较小，ETH3D上的下降较大。这证明LVP不是普通RGB推断的替代品，而是一个专门用于探测歧义场景的工具。

十二、内部特征的变化——LVP在做什么

为了给LVP为何能触发层切换提供一些定性的内部解释，研究团队对DA v2-L的编码器和解码器特征做了主成分分析可视化。在LVP输入下，模型内部的中间层激活对背景层的高频边缘信号有更强的响应，而在原始RGB输入下，激活更多地集中于前景（玻璃）相关的特征。这个定性观察支持了“频谱调制”的解释框架，但研究团队明确声明，这不是证明模型内部存在两套独立的深度表征，只是说明高频增强在特征层面确实产生了有别于RGB的激活模式，而这种模式的差异最终反映在了输出的深度层选择上。

十三、下游应用——从诊断工具到实际用途

研究团队展示了RGB/LVP深度对在两个下游场景中的潜在应用。第一个场景是条件图像生成：将RGB深度图和LVP深度图分别作为条件输入传给ControlNet（一种可以根据深度图控制图像生成的系统），两种条件产生了结构迥异的生成图像，一种强调前景玻璃的几何结构，另一种更多呈现背景空间的布局。这说明即使没有真正的多层深度估计，从同一个冻结模型获得的两种深度假设也可以给创作工具提供更丰富的控制维度。

第二个场景是视频深度流：逐帧对视频的每一帧同时运行RGB和LVP推断，产生两条平行的深度流，让透明场景中的层歧义随时间可见。这种可视化本身就有诊断价值，可以帮助研究者或工程师了解某个模型在视频序列中的层偏好是否稳定。

说到底，这项研究揭示的是现代深度AI系统中一个被长期忽略的盲点。当我们让AI“看”一个有玻璃的场景时，它并不像我们想象的那样客观中立地感知三维空间，而是带着从训练数据中习得的“习惯”，本能地倾向于某一个层。这种习惯深藏在模型权重中，无法从模型的表面行为看出来，需要专门的测量工具才能暴露。研究团队建立的MD-3k数据集和相关指标，正是这样一套测量工具，让以前无法量化的偏好变得可以比较、可以研究。

更有意思的是，拉普拉斯视觉提示的发现说明，模型权重中其实潜藏着表达不同层假设的能力，只是在标准RGB输入下，这些能力被固定在某一个偏好上。通过改变输入的频率特征，可以在不改变任何权重的情况下让某些模型“换一种眼光”看同一个场景。这对我们理解深度基础模型的内部表征有深远意义：它们学到的可能不只是一种固定的层约定，而是某种更丰富的几何知识，只是在单一输出的约束下，这种丰富性被掩盖了。

归根结底，这项工作的意义不只是解决透明场景的深度估计问题，而是呼吁整个计算机视觉社区重新思考深度监督和评估的基本框架：当真实世界里有多个可见表面共存时，把每个像素强制映射到一个深度值，本质上是一种有损的约定，而不是对物理现实的真实描述。未来的深度系统或许需要学会表达、保留和利用这种几何歧义，而不是把它视为噪声压制掉。有兴趣进一步探讨这个问题的读者，可通过arXiv编号2606.29600查阅完整论文。

Q&A

Q1：什么是深度层偏好，为什么深度估计模型会有这种偏好？
A：深度层偏好指的是，当一个深度估计模型遇到透明玻璃等场景时，它会本能地倾向于报告玻璃本身（近层）或玻璃后面的背景（远层）其中一个，而不是两者都报告。这种偏好不是模型的主动选择，而是由训练数据的来源决定的。激光雷达可能记录背景层，超声波可能记录玻璃层，合成数据又有自己的渲染逻辑。当模型用混合了这些不同标注的数据训练时，它实际上学到的是一种“加权平均”后的层偏好习惯，而非场景的客观几何。

Q2：拉普拉斯视觉提示为什么能改变深度模型报告的层？
A：拉普拉斯视觉提示（LVP）通过一种经典的数学变换，把原始图像转化为一张强调边缘和纹理细节（即高频信息）、压制大面积平坦区域（即低频信息）的新图像。当这张“高频增强版”图像喂给某些架构的深度模型时，模型内部的激活模式会发生变化，对背景层的高频边缘产生更强的响应，从而倾向于报告背景层。这种效果是模型架构依赖的，对Depth Anything v2等模型效果显著，对DA v1和生成式模型则几乎没有影响。

Q3：MD-3k基准测试与普通深度数据集有什么本质区别？
A：普通深度数据集对每个像素给出一个精确的绝对深度值，用来训练和测试模型的整体深度预测精度。MD-3k则完全不关注绝对深度，而是在透明场景的歧义区域内，对一对稀疏点标注两套序数关系——一套对应近层（玻璃），一套对应远层（背景）。这种设计绕过了传感器无法中立记录多层深度的根本困难，专注于测量模型“选择了哪一层的几何逻辑”，是第一个系统化测量深度层偏好的评测工具。