开源！超越ZoeDepth！ DepthFM：快速且精确的单目深度估计！
0.这篇文章干了啥？提出了DepthFM：一个多功能且快速的最先进的生成式单目深度估计模型。除了传统的深度估计任务外，DepthFM还展示了在深度修复等下游任务中的最先进能力。DepthFM效率高，可以在少数推理步骤内合成深度图。下面一起来阅读一下这项工作~1.论文信息标题：DepthFM:FastMonocularDepthEstimationwithFlowMatching作者：MingGui,JohannesS.Fischer,UlrichPrestel,PingchuanMa,DmytroKoto
0. 这篇文章干了啥？
提出了DepthFM：一个多功能且快速的最先进的生成式单目深度估计模型。除了传统的深度估计任务外，DepthFM还展示了在深度修复等下游任务中的最先进能力。DepthFM效率高，可以在少数推理步骤内合成深度图。
下面一起来阅读一下这项工作~
1. 论文信息
标题：DepthFM: Fast Monocular Depth Estimation with Flow Matching
作者：Ming Gui, Johannes S. Fischer, Ulrich Prestel, Pingchuan Ma, Dmytro Kotovenko, Olga Grebenkova, Stefan Andreas Baumann, Vincent Tao Hu, Björn Ommer
机构：MCML
原文链接：https://arxiv.org/abs/2403.13788
代码链接：https://github.com/CompVis/depth-fm
官方主页：https://depthfm.github.io/
2. 摘要
针对许多下游观光任务和应用至关重要。目前针对此问题的判别式方法受到模糊伪影的限制，而最先进的生成方法由于其SDE性质导致训练样本速度缓慢。我们不是从噪声开始，而是寻求从输入图像到深度图像的直接映射。我们观察到这可通过流匹配来有效地构建，因为其在解空间中的直线轨迹提供了效率和高质量。我们的研究表明，预先训练的图像扩散模型可用于作为流匹配深度模型的充分先验知识。在复杂自然场景的基准测试中，尽管仅在少量合成数据上进行训练，我们的轻量级方法以有利的低计算成本表现出最先进的性能。
3. 效果展示
DepthFM是一种具有强零样本泛化能力的快速推理流匹配模型，可利用强大的先验知识，并且很容易地泛化到未知的真实图像中。在合成数据上进行训练后，模型可以很好地泛化到未知的真实图像中，并对深度图像进行精确匹配。
与其他最先进的模型相比，DepthFM仅用一个函数评估就获得了明显更清晰的图像。Marigold的深度估计耗时是DepthFM的两倍，但无法生成相同粒度的深度图。
4. 主要贡献
（1）提出了DepthFM，一种最先进的、多功能的、快速的单目深度估计模型。除了传统的深度估计任务外，DepthFM还展示了在深度修补和深度条件图像合成等下游任务中的最新能力。
（2）展示了将强大的图像先验从扩散模型成功转移到流匹配模型，几乎不依赖于训练数据，也不需要真实世界的图像。
（3）表明，流匹配模型高效，并能在单个推理步骤内合成深度图。
（4）尽管仅在合成数据上进行训练，但DepthFM在基准数据集和自然图像上表现出色。
（5）将表面法线损失作为辅助目标，以获得更准确的深度估计。
（6）除了深度估计，还可可靠地预测其预测的置信度。
5. 具体原理是啥？
训练Pipeline。 训练受到流匹配和表面法向损失的限制：对于流匹配，使用数据依赖的流匹配来回归地面真实深度与对应图像之间的向量场。此外，通过一个表面法向损失来实现几何真实感。
数据相关的流匹配： DepthFM通过利用图像到深度对，回归出图像分布和深度分布之间的直线向量场。这种方法在不牺牲性能的情况下促进了高效的几步推理。
从扩散先验微调： 作者展示了成功将强大的图像先验从基础图像合成扩散模型（Stable Diffusion v2-1）转移到流匹配模型，几乎不依赖训练数据，并且不需要真实世界的图像。
辅助表面法线损失： 考虑到DepthFM只在合成数据上进行训练，大多数合成数据集提供了地面真实表面法线，将表面法线损失作为辅助目标，以增强DepthFM深度估计的准确性。
6. 实验结果
DepthFM通过仅在63k纯合成样本上进行训练展现出了显著的泛化能力，并且能够在室内外数据集上进行零-shot深度估计。表1定性地展示了DepthFM与最先进的对应模型的性能对比。虽然其他模型通常依赖于大量数据集进行训练，但DepthFM利用了基于扩散的基础模型中固有的丰富知识。这种方法不仅节省了计算资源，而且强调了模型的适应性和训练效率。
对基于扩散的Marigold深度估计、流匹配（FM）基准和DepthFM模型进行比较。每种方法仅使用一个集合成员进行评估，并针对两个常见基准数据集进行不同数量的函数评估（NFE）。与FM基准相比，DepthFM集成了训练过程中的法线损失和数据相关的耦合。
对于Marigold和的DepthFM模型在不同数量的功能评估中的定性结果。值得注意的是，通过一步推断，Marigold并没有给出任何有意义的结果，而DepthFM的结果已经显示了真实的深度图。
在Hypersim上进行深度补全。左：给予部分深度。中：深度估计从给定的部分深度。右：真值深度。
7. 总结
DepthFM，一种用于单目深度估计的流匹配方法。通过学习输入图像和深度之间的直接映射，而不是将正态分布去噪为深度图，该方法明显比当前基于扩散的解决方案更高效，同时仍提供细粒度的深度图，而不会出现判别式范式的常见伪影。DepthFM使用预先训练好的图像扩散模型作为先验，有效地转移到了深度流匹配模型中。因此，DepthFM只在合成数据上进行了训练，但在推断期间仍然能很好地推广到自然图像。此外，辅助表面法线损失已被证明能改善深度估计。DepthFM的轻量级方法具有竞争力，速度快，并提供可靠的置信度估计。
对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文
Postman是一套面向API全生命周期的开发与测试平台，可在Mac上发送和调试多种协议请求，管理集合、环境及认证信息，并完成脚本测试、模拟服务、监控、文档发布和团队协作。它适合开发、测试及运维人员使用，提供个人免费方案。
Docker Desktop 是 Docker 官方为 Mac 提供的容器开发环境，集成 Docker Engine、命令行工具、Compose、Build、Kubernetes 与图形化管理界面。
Android Studio 是 Google 面向安卓应用开发提供的官方集成开发环境，基于 IntelliJ IDEA 构建。它整合智能代码编辑、Gradle 构建、界面预览、设备模拟、性能分析、调试测试及 APK 分析等工具。
Xcode 是苹果面向 Mac 提供的官方集成开发环境，将代码编辑、项目构建、SwiftUI 实时预览、设备模拟、自动化测试、断点调试、性能分析和应用分发整合在同一套工作流中，适合开发与维护 iPhone、iPad、Mac、Apple Wa
JetBrains WebStorm 是面向 JavaScript、TypeScript 和现代 Web 技术的专业集成开发环境，可智能理解项目结构，提供代码补全、重构、错误检查、运行调试、测试及 Git 工具。
PhpStorm 是 JetBrains 推出的专业 PHP 集成开发环境，可在 Mac 上完成代码编写、智能检查、重构、调试、测试和数据库管理。它支持主流 PHP 框架、Composer、Git、Docker 与远程解释器。
JetBrains PyCharm 是面向 Python 开发者的集成开发环境，提供智能补全、代码检查、重构、调试、测试、版本控制及虚拟环境管理功能。Mac 版兼容 Intel 与 Apple 芯片，核心功能可免费使用。
IntelliJ IDEA 是 JetBrains 推出的专业集成开发环境，重点服务于 Java、Kotlin 与 JVM 项目开发。软件集成代码补全、静态检查、重构、调试、测试、版本控制及构建工具，并可借助插件扩展语言和框架支持。
Visual Studio Code 是微软提供的免费代码编辑器，支持 macOS，并为 Intel 与 Apple 芯片 Mac 提供适配版本。软件集代码编辑、调试、Git 源代码管理、集成终端和扩展市场于一体。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Pro Tools 是 Avid 推出的专业数字音频工作站，覆盖多轨录音、无损剪辑、MIDI 编曲、插件处理、自动化混音及声音与画面同步等工作。它拥有 Intro、Artist、Studio 和 Ultimate 等方案。
PixPix 是面向品牌、卖家和内容团队的在线 AI 图片视频创作平台，提供图视频 Agent、无限画布、图片生成、视频生成、自然语言编辑及商品套图、产品精修和带货视频等电商工具。
Postman 是面向 API 全生命周期的开发与协作平台。Windows 桌面版可用于构建和发送 HTTP、GraphQL、gRPC、WebSocket、MQTT 等请求，并提供环境变量、集合、脚本测试、模拟服务、监控、文档及团队工作区等
Docker Desktop 为 Windows 开发者提供集成式容器环境，内置 Docker Engine、命令行工具、Compose、Build 与 Kubernetes 等组件，可在本机完成镜像构建、容器运行、日志查看和资源管理。
Android Studio 是 Google 面向 Android 应用开发提供的官方集成开发环境，以 IntelliJ IDEA 为基础，集成智能代码编辑、Gradle 构建、设备模拟、界面预览、调试测试及性能分析工具，
WebStorm 是 JetBrains 面向 JavaScript、TypeScript 和现代 Web 技术打造的集成开发环境。它提供项目级代码分析、智能补全、安全重构、导航搜索，并集成调试、测试、终端、Git 与常用前端工具，
PhpStorm 是 JetBrains 面向 PHP 与现代 Web 开发打造的专业集成开发环境，提供代码补全、静态检查、重构、调试、测试、数据库、版本控制及前端语言支持。Windows 用户可直接下载安装程序，
PyCharm 是 JetBrains 推出的 Python 集成开发环境，提供智能代码补全、错误检查、重构、调试、测试、Git、终端及 Jupyter Notebook 支持。统一版安装后可体验 30 天 Pro 功能，
JetBrains IntelliJ IDEA 是以 Java、Kotlin 和 JVM 项目为核心的专业集成开发环境，提供智能补全、代码检查、安全重构、调试、测试、版本控制及构建工具集成。统一发行版的核心功能可免费用于商业和非商业项目，
Visual Studio Code 是微软推出的免费代码编辑器，Windows 版集成智能补全、代码导航、调试、终端和版本控制，并可通过扩展添加语言、格式化及远程开发能力。它启动较快、配置灵活，
REAPER 是 Cockos 推出的数字音频工作站，适用于录音、MIDI 编曲、音频编辑、混音、母带制作及声音设计。软件安装包小巧，支持多轨录制、灵活路由、自动化、第三方插件和脚本扩展，并提供完整功能的 60 天免费评估期。
Adobe Audition 是面向播客、影视后期、广播与音乐制作的专业音频工作站，提供波形编辑、多轨混音、频谱分析、录音、降噪修复和效果处理等功能。Windows 版通过 Adobe Creative Cloud 安装和管理，
Pro Tools 是 Avid 推出的专业数字音频工作站，提供多轨录音、音频剪辑、MIDI编曲、插件处理、自动化混音及影视声音制作能力。它适合音乐人、录音师、制作人和音频后期团队使用，并提供免费入门版、订阅方案及永久授权选择。