展开菜单
首页 精品内容 本月促销 装机必备 Windows macOS软件 IOS软件 Android AI PDF教程 专题
全部分类

当前位置:

首页 > 业界资讯 > 材质界的ImageNet,大规模6维材质实拍数据库OpenSVBRDF发布|SIGGRAPH Asia

材质界的ImageNet,大规模6维材质实拍数据库OpenSVBRDF发布|SIGGRAPH Asia

在计算图形学领域,材质外观刻画了真实物体与光线之间的复杂物理交互,通常可表达为随空间位置变化的双向反射分布函数(Spatially-VaryingBidirectionalReflectanceDistributionFunction,缩写为SVBRDF)。它是视觉计算中不可或缺的组成部分,在文化遗产、电子商务、电子游戏和视觉特效等领域中有着广泛的应用。在过去的二十年里,特别是深度学习流行后,学术界与工业界对高精度、多样化数字材质外观的需求不断增加。但由于技术上的挑战,采集大型数据库仍然十分困难,目前公开

在计算图形学领域,材质外观刻画了真实物体与光线之间的复杂物理交互,通常可表达为随空间位置变化的双向反射分布函数(Spatially-Varying Bidirectional Reflectance Distribution Function,缩写为 SVBRDF)。它是视觉计算中不可或缺的组成部分,在文化遗产、电子商务、电子游戏和视觉特效等领域中有着广泛的应用。

在过去的二十年里,特别是深度学习流行后,学术界与工业界对高精度、多样化数字材质外观的需求不断增加。但由于技术上的挑战,采集大型数据库仍然十分困难,目前公开可用的材质外观实拍数据库的数量非常有限。

为此,浙江大学计算机辅助设计与图形系统全国重点实验室和杭州相芯科技有限公司的研究团队联合提出了一种新型集成系统,用于鲁棒、高质量和高效地采集平面各向异性材质外观。利用该系统,研究团队构建了 OpenSVBRDF 公开材质数据库

材质界的ImageNet,大规模6维材质实拍数据库OpenSVBRDF发布|SIGGRAPH Asia

                               图 1:OpenSVBRDF 数据库中的部分材质样例展示。每一行同属一个材质类别。

这是第一个大规模 6 维 SVBRDF 的实测数据库,共有 1,000 个高质量平面样本,空间分辨率为 1,024×1,024,等效为超过 10 亿个实测 BRDF,涵盖了包括木材、织物和金属在内的 9 种类别。

数据库主页:https://opensvbrdf.github.io/

目前,数据库对非商业应用完全免费。只需要提交基本信息在网站上申请账号,通过审核后,即可直接下载包括 GGX 纹理贴图在内的相关数据和代码。相关研究论文《OpenSVBRDF: A Database of Measured Spatially-Varying Reflectance》已被计算机图形学顶级国际会议 ACM SIGGRAPH ASIA 2023 (Journal Track) 长文接收。

材质界的ImageNet,大规模6维材质实拍数据库OpenSVBRDF发布|SIGGRAPH Asia

论文主页:https://svbrdf.github.io/

技术挑战

直接采样方法在不同的光照和观察角度的组合下对物理材质进行密集测量 [Lawrence et al. 2006]。这么做虽然能够获得高质量且鲁棒的采集结果,但其效率很低,需要高昂的时间和存储成本。还有一种选择是基于先验知识的重建方法,可以从稀疏的采样数据中重建材质。这样虽然提高了效率,但当先验条件不满足时,其质量不尽人意 [Nam et al. 2018]。此外,当前SOTA光路复用技术,虽然达到了较高的采集效率和重建质量,但在处理如拉丝金属和抛光木皮等高度复杂材质时,算法还不够鲁棒 [Kang et al. 2018]。
材质界的ImageNet,大规模6维材质实拍数据库OpenSVBRDF发布|SIGGRAPH Asia
图 2:现有材质采集研究的代表工作。从左到右分别是 [Lawrence et al. 2006],[Nam et al. 2018] 以及 [Kang et al. 2018]。其中 [Kang et al. 2018] 为该团队在 2018 年发表于 ACM SIGGRAPH 的早期工作。

硬件

为高效扫描材质外观,研究团队搭建了一个接近半立方体的近场光照多路复用设备,其尺寸约为 70cm×70cm×40cm。样本被放置在一块透明的亚克力板上,可以通过抽屉滑轨快速滑入 / 滑出,来实现高吞吐率。该设备由 2 台机器视觉相机和 16,384 个高亮度 LED 组成,两台相机分别从大约 90 度(主视角)和 45 度(次视角)的角度拍摄样本,LED 分布在设备的 6 个面上。自主研发的高性能控制电路负责对每个 LED 进行独立亮度控制,并在硬件层面实现了光源投射和相机曝光的高精度同步。

材质界的ImageNet,大规模6维材质实拍数据库OpenSVBRDF发布|SIGGRAPH Asia

                                图 3:采集设备外观及两个视角下的照片。

采集重建

本系统创新性地结合了当前基于网络预测和基于微调两大类流行方法的优点,既能通过可微分光照图案优化来增加物理采集效率,又能通过微调来进一步提升最终结果质量,从而首次实现了对于平面 SVBRDF 的高鲁棒性、高质量以及高效率的采集重建。

具体来说,为了重建物理样本,研究者首先通过在均匀照明下匹配密集 SIFT 特征来建立两个相机视角之间的高精度对应关系。对于物理采集,首先将光照图案作为自编码器的一部分进行优化,实现高效采集。该自编码器自动学习如何基于两个视角的测量值来重建复杂外观,并将结果表示为中间神经表达。随后,根据主视角相机在 63 个等效线性光源下拍摄的照片,通过绘制图像误差对神经表达进行微调,以提高最终结果的质量和鲁棒性。图 3 展示了整个系统的处理流程。更多详细信息请参阅原文论文。

材质界的ImageNet,大规模6维材质实拍数据库OpenSVBRDF发布|SIGGRAPH Asia

                               图 4:整个系统的采集重建流程。

结果

研究人员共采集重建了 9 个类别,共计 1,000 个样本的外观,为了方便基于物理的标准绘制管线(PBR)直接使用,该研究还将神经表达拟合到了业界标准的各向异性 GGX BRDF 模型参数。图 5 展示了材质重建结果的分项参数 / 属性。每个样本存储了 193 张原始 HDR 照片(总大小 15GB)、中间神经表达(290MB),以及 6 张贴图,包括表示 GGX 参数的纹理贴图和透明度贴图(总大小 55MB)。神经表达和纹理贴图的空间分辨率均为 1,024×1,024。

材质界的ImageNet,大规模6维材质实拍数据库OpenSVBRDF发布|SIGGRAPH Asia

                                  图 5:材质重建结果分项属性(包括神经表达、漫反射率、高光反射率、粗糙度等)。

为了证明重建结果的正确性,研究人员将主视角下的照片(下图第一行)和神经表达绘制结果(下图第二行)进行了比较。定量误差(以 SSIM/PSNR 表达)标注在绘制图片的底部。由下图结果可见,本系统实现了高质量材质重建(SSIM>=0.97, PSNR>=34db)。

材质界的ImageNet,大规模6维材质实拍数据库OpenSVBRDF发布|SIGGRAPH Asia

                                 图 6:实拍照片和神经表达绘制结果在主视角下的对比。

为了进一步证明重建结果的视角域泛化性,研究人员将点光源照射下、两个视角所拍摄的照片和使用 GGX 拟合参数绘制的结果进行了比较,验证了重建结果的跨视角正确性。

材质界的ImageNet,大规模6维材质实拍数据库OpenSVBRDF发布|SIGGRAPH Asia

                                图 7:实拍照片和各向异性 GGX 拟合参数绘制结果在两个视角下的对比。

研究人员还展示了该数据库在材质生成、材质分类以及材质重建三方面的应用。具体细节请参考原始论文。

材质界的ImageNet,大规模6维材质实拍数据库OpenSVBRDF发布|SIGGRAPH Asia

                                     图 8:利用 OpenSVBRDF 训练 MaterialGAN 来实现材质生成与插值。

材质界的ImageNet,大规模6维材质实拍数据库OpenSVBRDF发布|SIGGRAPH Asia

                                    图 9:利用 OpenSVBRDF 训练主动光照以提升材质分类精度。

材质界的ImageNet,大规模6维材质实拍数据库OpenSVBRDF发布|SIGGRAPH Asia

                                  图 10:利用 OpenSVBRDF 来提高基于单点采样(左)和光路多路复用(右)的 BRDF 重建质量。

展望

研究人员将努力扩展现有数据库,增加展现多样性外观的材质样本。未来,他们还计划建立同时包含材质外观和几何形状的大规模高精度实测物体数据库。此外,研究人员将基于 OpenSVBRDF 设计在材质估计、分类和生成等方向上的公开 Benchmark,通过客观定量的标准测试,为推动相关研究的未来发展提供坚实的数据保障。
本文内容来源于互联网,如有侵权请联系删除。
作者最新文章
业界资讯
相关文章 更多
精品专题 更多
装机必备

正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

Windows

正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

macOS软件

正软商城macOS软件专区,精选适用于Mac电脑的办公、设计、影音、效率、开发和系统工具,提供软件功能介绍、macOS兼容版本、正版授权及购买下载服务。

IOS软件

正软商城iOS软件专区,精选适用于iPhone和iPad的办公、学习、影音、设计、效率及AI应用,提供功能介绍、适用设备、系统要求和正版获取方式等信息。

AI

正软商城AI软件专区,汇集AI写作、AI绘画、AI视频、AI办公、AI编程、AI翻译、智能客服和数据分析等人工智能工具,提供功能介绍、适用平台、收费方式及正版购买信息。

PDF教程

PDF教程适合刚接触PDF文件的用户,本文整理PDF打开、编辑、转换、合并、压缩等常见基础操作。通过这些教程可以快速了解PDF文件怎么处理,解决办公、学习和资料科整理中的常见问题。使用极轻PDF可在线完成多种PDF操作,适合新手快速上手。

Mac软件 更多
灵活计算器
灵活计算器

灵活计算器是一款笔记式算数应用,支持实时计算、动态关联和云端同步功能。记录、整理和输出之间的过渡会更自然,适合长期写作、做笔记或持续沉淀个人内容。

赤友清理大师
赤友清理大师

赤友清理大师是一款为 Mac 设计的智能清理优化工具,可精准扫描垃圾、大文件、重复文件等,释放磁盘空间。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。

极度公式
极度公式

极度公式是一款跨平台专业LaTeX公式识别编辑软件,支持OCR公式识别和多平台编辑。和使用说明,避免使用,享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。

图几
图几

图几是一款适用于 macOS 的截图、标注与美化工具,支持离线操作保障隐私。界面整理和高频系统操作被放到一起考虑,桌面或窗口内容一多时,管理起来会更省心。

密码键盘
密码键盘

密码键盘是一款兼具安全性与便捷性的高效密码管理器。日常使用里的持续防护和信息管理会更突出,适合把安全控制放进长期使用流程中的场景。

思源笔记
思源笔记

思源笔记是一款本地笔记软件,提供所见即所得的编辑方式,为长文写作带来顺滑的体验。记录、整理和输出之间的过渡会更自然,适合长期写作、做笔记或持续沉淀个人内容。

Office 365 简体中文
Office 365 简体中文

一款文字处理软件,一种订阅式的跨平台办公软件,基于云平台提供多种服务,通过将 Excel 和 Outlook 等应用与 OneDrive 和 Microsoft Teams 等强大的云服务相结合,Office 365 可让任何人使用任何设备随时随地创建和共享内容。

WALTR PRO
WALTR PRO

WALTR是一款电脑至iOS文件传输转换工具,操作简单,快速实现文件识别与传送。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。

CodeExpander
CodeExpander

CodeExpander 是一款快捷短语输入增强工具,通过键入缩写自动展开为自定义文段,提升工作效率。任务管理和过程控制会更完整,持续下载、批量同步或需要稳定传输流程的场景会更适合它。

Mountain Duck
Mountain Duck

Mountain Duck 是一款能将多个网盘挂载到本地的工具,像本地磁盘一样使用网盘。清理链路的完整性会更好一些,做应用卸载、残留处理和空间整理时,通常能少走很多手动排查步骤。

Menuist
Menuist

Menuist 是一款面向 macOS 的 Finder 右键菜单增强工具,主要用来补充新建文件、快捷导航等常用操作,让日常文件管理和访问路径时更高效、更顺手。

Mole
Mole

Mole 是一款专为 Mac 设计的深度清理优化工具,涵盖缓存清理、应用管理及实时状态监控等功能。清理链路的完整性会更好一些,做应用卸载、残留处理和空间整理时,通常能少走很多手动排查步骤。

WINDOWS 更多
Windows 10
Windows 10

Windows 10 是一款微软推出的经典操作系统,拥有硬件兼容性与多任务处理能力。它更偏向把系统状态查看和常用调节动作放在一起,适合需要持续观察和微调设备状态的场景。

极度公式
极度公式

极度公式是一款跨平台专业LaTeX公式识别编辑软件,支持OCR公式识别和多平台编辑。和使用说明,避免使用,享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。

密码键盘
密码键盘

密码键盘是一款兼具安全性与便捷性的高效密码管理器。日常使用里的持续防护和信息管理会更突出,适合把安全控制放进长期使用流程中的场景。

思源笔记
思源笔记

思源笔记是一款本地笔记软件,提供所见即所得的编辑方式,为长文写作带来顺滑的体验。记录、整理和输出之间的过渡会更自然,适合长期写作、做笔记或持续沉淀个人内容。

傲梅轻松备份
傲梅轻松备份

傲梅轻松备份是一款专业易用的数据备份软件,为重要数据提供安全保障。日常使用里的持续防护和信息管理会更突出,适合把安全控制放进长期使用流程中的场景。

Office 365 简体中文
Office 365 简体中文

一款文字处理软件,一种订阅式的跨平台办公软件,基于云平台提供多种服务,通过将 Excel 和 Outlook 等应用与 OneDrive 和 Microsoft Teams 等强大的云服务相结合,Office 365 可让任何人使用任何设备随时随地创建和共享内容。

Wise Folder Hider Pro
Wise Folder Hider Pro

Wise Folder Hider Pro 是一款专业级文件和文件夹隐藏加密软件,为私密数据添加多重保护。高频操作更强调就近处理,浏览、整理和跨目录移动文件时,来回切换和重复点击都会少很多。

WALTR PRO
WALTR PRO

WALTR是一款电脑至iOS文件传输转换工具,操作简单,快速实现文件识别与传送。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。

CodeExpander
CodeExpander

CodeExpander 是一款快捷短语输入增强工具,通过键入缩写自动展开为自定义文段,提升工作效率。任务管理和过程控制会更完整,持续下载、批量同步或需要稳定传输流程的场景会更适合它。

PinStack
PinStack

PinStack是一款轻量级的Windows平台剪贴板管理工具,优化您的剪贴板使用体验。它更偏向把系统状态查看和常用调节动作放在一起,适合需要持续观察和微调设备状态的场景。

Mountain Duck
Mountain Duck

Mountain Duck 是一款能将多个网盘挂载到本地的工具,像本地磁盘一样使用网盘。清理链路的完整性会更好一些,做应用卸载、残留处理和空间整理时,通常能少走很多手动排查步骤。

Seer
Seer

Seer是一款在Win平台下的空格键功能增强效率工具,只需轻敲空格键,就能预览几乎任何格式的文件。它更适合把零散的小功能集中起来使用,处理高频琐碎任务时会更省事。