展开菜单
首页 精品内容 本月促销 装机必备 Windows PDF教程 macOS软件 IOS软件 Android AI 专题
全部分类

当前位置:

首页 > 业界资讯 > 材质界的ImageNet,大规模6维材质实拍数据库OpenSVBRDF发布|SIGGRAPH Asia

材质界的ImageNet,大规模6维材质实拍数据库OpenSVBRDF发布|SIGGRAPH Asia

在计算图形学领域,材质外观刻画了真实物体与光线之间的复杂物理交互,通常可表达为随空间位置变化的双向反射分布函数(Spatially-VaryingBidirectionalReflectanceDistributionFunction,缩写为SVBRDF)。它是视觉计算中不可或缺的组成部分,在文化遗产、电子商务、电子游戏和视觉特效等领域中有着广泛的应用。在过去的二十年里,特别是深度学习流行后,学术界与工业界对高精度、多样化数字材质外观的需求不断增加。但由于技术上的挑战,采集大型数据库仍然十分困难,目前公开

本文目录
    在计算图形学领域,材质外观刻画了真实物体与光线之间的复杂物理交互,通常可表达为随空间位置变化的双向反射分布函数(Spatially-Varying Bidirectional Reflectance Distribution Function,缩写为 SVBRDF)。它是视觉计算中不可或缺的组成部分,在文化遗产、电子商务、电子游戏和视觉特效等领域中有着广泛的应用。

    在过去的二十年里,特别是深度学习流行后,学术界与工业界对高精度、多样化数字材质外观的需求不断增加。但由于技术上的挑战,采集大型数据库仍然十分困难,目前公开可用的材质外观实拍数据库的数量非常有限。

    为此,浙江大学计算机辅助设计与图形系统全国重点实验室和杭州相芯科技有限公司的研究团队联合提出了一种新型集成系统,用于鲁棒、高质量和高效地采集平面各向异性材质外观。利用该系统,研究团队构建了 OpenSVBRDF 公开材质数据库。

    材质界的ImageNet,大规模6维材质实拍数据库OpenSVBRDF发布|SIGGRAPH Asia

                                   图 1:OpenSVBRDF 数据库中的部分材质样例展示。每一行同属一个材质类别。

    这是第一个大规模 6 维 SVBRDF 的实测数据库,共有 1,000 个高质量平面样本,空间分辨率为 1,024×1,024,等效为超过 10 亿个实测 BRDF,涵盖了包括木材、织物和金属在内的 9 种类别。

    数据库主页:https://opensvbrdf.github.io/

    目前,数据库对非商业应用完全免费。只需要提交基本信息在网站上申请账号,通过审核后,即可直接下载包括 GGX 纹理贴图在内的相关数据和代码。相关研究论文《OpenSVBRDF: A Database of Measured Spatially-Varying Reflectance》已被计算机图形学顶级国际会议 ACM SIGGRAPH ASIA 2023 (Journal Track) 长文接收。

    材质界的ImageNet,大规模6维材质实拍数据库OpenSVBRDF发布|SIGGRAPH Asia

    论文主页:https://svbrdf.github.io/

    技术挑战

    直接采样方法在不同的光照和观察角度的组合下对物理材质进行密集测量 [Lawrence et al. 2006]。这么做虽然能够获得高质量且鲁棒的采集结果,但其效率很低,需要高昂的时间和存储成本。还有一种选择是基于先验知识的重建方法,可以从稀疏的采样数据中重建材质。这样虽然提高了效率,但当先验条件不满足时,其质量不尽人意 [Nam et al. 2018]。此外,当前SOTA光路复用技术,虽然达到了较高的采集效率和重建质量,但在处理如拉丝金属和抛光木皮等高度复杂材质时,算法还不够鲁棒 [Kang et al. 2018]。
    材质界的ImageNet,大规模6维材质实拍数据库OpenSVBRDF发布|SIGGRAPH Asia
    图 2:现有材质采集研究的代表工作。从左到右分别是 [Lawrence et al. 2006],[Nam et al. 2018] 以及 [Kang et al. 2018]。其中 [Kang et al. 2018] 为该团队在 2018 年发表于 ACM SIGGRAPH 的早期工作。

    硬件

    为高效扫描材质外观,研究团队搭建了一个接近半立方体的近场光照多路复用设备,其尺寸约为 70cm×70cm×40cm。样本被放置在一块透明的亚克力板上,可以通过抽屉滑轨快速滑入 / 滑出,来实现高吞吐率。该设备由 2 台机器视觉相机和 16,384 个高亮度 LED 组成,两台相机分别从大约 90 度(主视角)和 45 度(次视角)的角度拍摄样本,LED 分布在设备的 6 个面上。自主研发的高性能控制电路负责对每个 LED 进行独立亮度控制,并在硬件层面实现了光源投射和相机曝光的高精度同步。

    材质界的ImageNet,大规模6维材质实拍数据库OpenSVBRDF发布|SIGGRAPH Asia

                                    图 3:采集设备外观及两个视角下的照片。

    采集重建

    本系统创新性地结合了当前基于网络预测和基于微调两大类流行方法的优点,既能通过可微分光照图案优化来增加物理采集效率,又能通过微调来进一步提升最终结果质量,从而首次实现了对于平面 SVBRDF 的高鲁棒性、高质量以及高效率的采集重建。

    具体来说,为了重建物理样本,研究者首先通过在均匀照明下匹配密集 SIFT 特征来建立两个相机视角之间的高精度对应关系。对于物理采集,首先将光照图案作为自编码器的一部分进行优化,实现高效采集。该自编码器自动学习如何基于两个视角的测量值来重建复杂外观,并将结果表示为中间神经表达。随后,根据主视角相机在 63 个等效线性光源下拍摄的照片,通过绘制图像误差对神经表达进行微调,以提高最终结果的质量和鲁棒性。图 3 展示了整个系统的处理流程。更多详细信息请参阅原文论文。

    材质界的ImageNet,大规模6维材质实拍数据库OpenSVBRDF发布|SIGGRAPH Asia

                                   图 4:整个系统的采集重建流程。

    结果

    研究人员共采集重建了 9 个类别,共计 1,000 个样本的外观,为了方便基于物理的标准绘制管线(PBR)直接使用,该研究还将神经表达拟合到了业界标准的各向异性 GGX BRDF 模型参数。图 5 展示了材质重建结果的分项参数 / 属性。每个样本存储了 193 张原始 HDR 照片(总大小 15GB)、中间神经表达(290MB),以及 6 张贴图,包括表示 GGX 参数的纹理贴图和透明度贴图(总大小 55MB)。神经表达和纹理贴图的空间分辨率均为 1,024×1,024。

    材质界的ImageNet,大规模6维材质实拍数据库OpenSVBRDF发布|SIGGRAPH Asia

                                      图 5:材质重建结果分项属性(包括神经表达、漫反射率、高光反射率、粗糙度等)。

    为了证明重建结果的正确性,研究人员将主视角下的照片(下图第一行)和神经表达绘制结果(下图第二行)进行了比较。定量误差(以 SSIM/PSNR 表达)标注在绘制图片的底部。由下图结果可见,本系统实现了高质量材质重建(SSIM>=0.97, PSNR>=34db)。

    材质界的ImageNet,大规模6维材质实拍数据库OpenSVBRDF发布|SIGGRAPH Asia

                                     图 6:实拍照片和神经表达绘制结果在主视角下的对比。

    为了进一步证明重建结果的视角域泛化性,研究人员将点光源照射下、两个视角所拍摄的照片和使用 GGX 拟合参数绘制的结果进行了比较,验证了重建结果的跨视角正确性。

    材质界的ImageNet,大规模6维材质实拍数据库OpenSVBRDF发布|SIGGRAPH Asia

                                    图 7:实拍照片和各向异性 GGX 拟合参数绘制结果在两个视角下的对比。

    研究人员还展示了该数据库在材质生成、材质分类以及材质重建三方面的应用。具体细节请参考原始论文。

    材质界的ImageNet,大规模6维材质实拍数据库OpenSVBRDF发布|SIGGRAPH Asia

                                         图 8:利用 OpenSVBRDF 训练 MaterialGAN 来实现材质生成与插值。

    材质界的ImageNet,大规模6维材质实拍数据库OpenSVBRDF发布|SIGGRAPH Asia

                                        图 9:利用 OpenSVBRDF 训练主动光照以提升材质分类精度。

    材质界的ImageNet,大规模6维材质实拍数据库OpenSVBRDF发布|SIGGRAPH Asia

                                      图 10:利用 OpenSVBRDF 来提高基于单点采样(左)和光路多路复用(右)的 BRDF 重建质量。

    展望

    研究人员将努力扩展现有数据库,增加展现多样性外观的材质样本。未来,他们还计划建立同时包含材质外观和几何形状的大规模高精度实测物体数据库。此外,研究人员将基于 OpenSVBRDF 设计在材质估计、分类和生成等方向上的公开 Benchmark,通过客观定量的标准测试,为推动相关研究的未来发展提供坚实的数据保障。
    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    业界资讯
    相关文章 更多
    精品专题 更多
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    macOS软件

    正软商城macOS软件专区,精选适用于Mac电脑的办公、设计、影音、效率、开发和系统工具,提供软件功能介绍、macOS兼容版本、正版授权及购买下载服务。

    IOS软件

    正软商城iOS软件专区,精选适用于iPhone和iPad的办公、学习、影音、设计、效率及AI应用,提供功能介绍、适用设备、系统要求和正版获取方式等信息。

    AI

    正软商城AI软件专区,汇集AI写作、AI绘画、AI视频、AI办公、AI编程、AI翻译、智能客服和数据分析等人工智能工具,提供功能介绍、适用平台、收费方式及正版购买信息。

    Mac软件 更多
    Aperty macOS版
    Aperty macOS版

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    火山引擎 网页版
    火山引擎 网页版

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    立刻MV 网页版
    立刻MV 网页版

    立刻MV 面向音乐人、内容创作者和品牌团队,帮助用户低成本完成歌曲 MV、歌词视频、AI 分镜、图生视频与最终合成。

    蛙蛙写作 网页版
    蛙蛙写作 网页版

    蛙蛙写作 AI 创作工具,覆盖小说、剧本、文案,一键生成文稿,打通文字转视频全流程,高效解决创作难题。

    讯飞智作 网页版
    讯飞智作 网页版

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    超级简历WonderCV 网页版
    超级简历WonderCV 网页版

    超级简历WonderCV是面向应届生和AI小白的智能求职平台,覆盖简历、面试与职业规划。

    音述AI 网页版
    音述AI 网页版

    音述AI,是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区。

    AionClaw macOS版
    AionClaw macOS版

    AionClaw 是可在桌面端运行的任务型 AI 助手,通过数字专家与技能市场组合办公、创作、数据和开发能力。

    Loomy macOS版
    Loomy macOS版

    Loomy 是科大讯飞推出的桌面 AI 助手,可通过对话、任务与工作目录协助处理办公、内容创作和资料整理。

    AirBuddy 3 macOS版
    AirBuddy 3 macOS版

    AirBuddy 3 是面向 macOS 的蓝牙外设增强工具,可集中查看 AirPods、Beats 与苹果设备电量,提供快速连接、播放控制、电量提醒、桌面小组件和多台 Mac 外设接力等功能。

    AirServer macOS版
    AirServer macOS版

    AirServer macOS版可把 Mac 转换为无线投屏接收端,通过 AirPlay 或 Google Cast 接收手机、平板和电脑画面,并支持多设备同时连接、高清镜像及会话录制,适合家庭娱乐、课堂教学、会议演示和应用展示。

    AnyDesk macOS版
    AnyDesk macOS版

    AnyDesk macOS版是一款适用于远程办公、设备维护和客户支持的远程桌面工具,可连接并操作异地计算机,支持文件传输、无人值守访问、会话权限控制及跨平台协作。

    WINDOWS 更多
    讯飞绘文 网页版
    讯飞绘文 网页版

    讯飞绘文网页版是科大讯飞推出的AI图文创作与内容运营工具,覆盖热点选题、文章生成、稿件校对、智能配图、排版发布和数据复盘等环节,适合自媒体创作者及内容团队在线使用。

    Maya(Autodesk Maya) Windows版
    Maya(Autodesk Maya) Windows版

    Autodesk Maya 是面向影视、电视、动画和游戏行业的专业三维制作软件,集多边形与 NURBS 建模、角色绑定、关键帧和动作捕捉动画、Bifrost 特效模拟、材质开发及 Arnold 渲染于一体,

    Aperty Windows版
    Aperty Windows版

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    火山引擎 网页版
    火山引擎 网页版

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    立刻MV 网页版
    立刻MV 网页版

    立刻MV 面向音乐人、内容创作者和品牌团队,帮助用户低成本完成歌曲 MV、歌词视频、AI 分镜、图生视频与最终合成。

    蛙蛙写作 网页版
    蛙蛙写作 网页版

    蛙蛙写作 AI 创作工具,覆盖小说、剧本、文案,一键生成文稿,打通文字转视频全流程,高效解决创作难题。

    讯飞智作 网页版
    讯飞智作 网页版

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    超级简历WonderCV 网页版
    超级简历WonderCV 网页版

    超级简历WonderCV是面向应届生和AI小白的智能求职平台,覆盖简历、面试与职业规划。

    音述AI 网页版
    音述AI 网页版

    音述AI,是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区。

    AionClaw Windows版
    AionClaw Windows版

    AionClaw 是可在桌面端运行的任务型 AI 助手,通过数字专家与技能市场组合办公、创作、数据和开发能力。

    Loomy Windows版
    Loomy Windows版

    Loomy 是科大讯飞推出的桌面 AI 助手,可通过对话、任务与工作目录协助处理办公、内容创作和资料整理。

    AirServer Windows版
    AirServer Windows版

    AirServer Windows版可把电脑变成AirPlay、Google Cast和Miracast无线投屏接收端,适合会议演示、课堂教学及家庭大屏分享。发送设备通常无需另装客户端,并可同时接收和智能排列多个镜像会话。