AI研究也能从印象派中获得灵感？这些逼真的人物居然是3D模型！
19世纪是印象主义艺术运动盛行的时期，该运动在绘画、雕塑、版画等艺术领域都有影响力。印象主义的特点是使用短小、断断续续的笔触，几乎不追求形式的精准，这后来演变为印象派艺术风格。简而言之，印象派艺术家的笔触没有经过修饰，呈现出明显的特点，不追求形式的精确度，甚至有些模糊。印象派艺术家将光与色的科学理念引入绘画中，革新了传统的色彩观念。在D3GA中，作者有一个与众不同的目标，他希望通过反其道而行之的方式创造出逼真如照片般的表现效果。为了实现这一目标，作者在D3GA中创造性地运用了高斯泼溅（GaussianSp
19世纪是印象主义艺术运动盛行的时期，该运动在绘画、雕塑、版画等艺术领域都有影响力。印象主义的特点是使用短小、断断续续的笔触，几乎不追求形式的精准，这后来演变为印象派艺术风格。简而言之，印象派艺术家的笔触没有经过修饰，呈现出明显的特点，不追求形式的精确度，甚至有些模糊。印象派艺术家将光与色的科学理念引入绘画中，革新了传统的色彩观念。
在D3GA中，作者有一个与众不同的目标，他希望通过反其道而行之的方式创造出逼真如照片般的表现效果。为了实现这一目标，作者在D3GA中创造性地运用了高斯泼溅（Gaussian Splatting）技术，将其作为一种现代化的「段笔触」，用来构建虚拟角色的结构和外观，并实现实时稳定的效果。
《日出·印象》是著名的印象派画家莫奈的代表作品。
为了创造可生成动画新内容的逼真人类形象，虚拟形象的构建工作目前需要大量的多视角数据。这是因为单目方法的准确性有限。此外，现有的技术还需要进行复杂的预处理，包括准确的3D配准。然而，获取这些配准数据需要迭代，并且很难集成到端到端的流程中。 另外，还有一些不需要准确配准的方法，它们基于神经辐射场（NeRFs）。然而，这些方法通常在实时渲染方面速度较慢，或者在服装动画方面存在困难。
Kerbl等人提出了一种名为3D Gaussian Splatting（3DGS）的渲染方法，它在经典的Surface Splatting渲染方法的基础上进行了改进。与基于神经辐射场的最先进方法相比，3DGS能够以更快的帧率呈现出更高质量的图像，而且无需进行高度准确的3D初始化。
然而，3DGS最初是为静态场景设计的。目前已经有人提出了基于时间条件的高斯喷洒（Gaussian Splatting）方法，可以用来渲染动态场景。这种方法只能回放之前观察到的内容，因此不适用于表达新的或以前未见过的运动。
在驱动型的神经辐射场的基础上，作者对 3D 的人类的外观及变形进行建模，将其放置在一个规范化的空间中，但使用 3D 高斯而不是辐射场。除性能更好以外，Gaussian Splatting 还不需要使用相机射线采样启发式方法。
剩下的问题是定义触发这些 cage 变形的信号。目前在驱动型的虚拟角色中的最新技术需要密集的输入信号，如 RGB-D 图像甚至是多摄像头，但这些方法可能不适用于传输带宽比较低的情况。在本研究中，作者采用基于人体姿势的更紧凑输入，包括以四元数形式的骨骼关节角度和 3D 面部关键点。
通过在九个高质量的多视图序列上训练个体特定的模型，涵盖各种身体形状、动作和服装（不仅限于贴身服装），以后我们就可以通过任何主体的新姿势对人物形象进行驱动了。
方法概览
- 论文链接：https://arxiv.org/pdf/2311.08581.pdf
- 项目链接：https://zielon.github.io/d3ga/
目前用于动态体积化虚拟角色的方法要么将点从变形空间映射到规范空间，要么仅依赖正向映射。基于反向映射的方法往往在规范空间中会累积误差，因为它们需要一个容易出错的反向传递，并且在建模视角相关效果时存在问题。
因此，作者决定采用仅正向映射的方法。D3GA 是基于 3DGS 的基础上通过神经表示和 cage 进行扩展，分别对虚拟角色的每个动态部分的颜色和几何形状进行建模。
D3GA 使用 3D 姿势 ϕ、面部嵌入 κ、视点 dk 和规范 cage v（以及自动解码的颜色特征 hi）来生成最终的渲染 C¯ 和辅助分割渲染 P¯。左侧的输入通过每个虚拟角色部分的三个网络（ΨMLP、ΠMLP、ΓMLP）进行处理，以生成 cage 位移∆v、高斯变形 bi、qi、si 以及颜色 / 透明度 ci、oi。
在 cage 变形将规范高斯变形后，通过方程式 9，它们被光栅化成最终的图像。
实验结果
D3GA 在 SSIM、PSNR 和感知度量 LPIPS 等指标上进行评估。表 1 显示，D3GA 在只使用 LBS 的方法中（即不需要为每个帧扫描 3D 数据）其在 PSNR 和 SSIM 上的表现是最佳的，并在这些指标中胜过所有 FFD 方法，仅次于 BD FFD，尽管其训练信号较差且没有测试图像（DVA 是使用所有 200 台摄像机进行测试的）。
定性比较显示，与其它最先进方法相比，D3GA 能更好地建模服装，特别是像裙子或运动裤这样的宽松服装 (图 4)。FFD 代表自由形变网格，其包含比 LBS 网格更丰富的训练信号 (图 9)。
与其基于体积方法相比，作者的方法可以将虚拟角色的服装分离出来，并且服装也是可驱动的。图 5 显示了每个单独的服装层，可以仅通过骨骼关节角度控制，而不需要特定的服装配准模块。
正软商城本月促销专区，汇集办公、设计、安全、影音、系统工具及AI软件等正版软件优惠活动，提供限时折扣、特价授权和优惠购买信息，活动库存及价格以页面实时展示为准。
正软商城装机必备专区，精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件，帮助用户快速完成新电脑软件配置。
正软商城Windows软件专区，汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件，提供软件介绍、系统要求、正版授权及购买下载服务。
正软商城macOS软件专区，精选适用于Mac电脑的办公、设计、影音、效率、开发和系统工具，提供软件功能介绍、macOS兼容版本、正版授权及购买下载服务。
正软商城iOS软件专区，精选适用于iPhone和iPad的办公、学习、影音、设计、效率及AI应用，提供功能介绍、适用设备、系统要求和正版获取方式等信息。
正软商城AI软件专区，汇集AI写作、AI绘画、AI视频、AI办公、AI编程、AI翻译、智能客服和数据分析等人工智能工具，提供功能介绍、适用平台、收费方式及正版购买信息。
正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法，同时介绍常用PDF软件和工具的使用技巧。
赤友清理大师是一款为 Mac 设计的智能清理优化工具，可精准扫描垃圾、大文件、重复文件等，释放磁盘空间。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
极度公式是一款跨平台专业LaTeX公式识别编辑软件，支持OCR公式识别和多平台编辑。和使用说明，避免使用，享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
一款文字处理软件，一种订阅式的跨平台办公软件，基于云平台提供多种服务，通过将 Excel 和 Outlook 等应用与 OneDrive 和 Microsoft Teams 等强大的云服务相结合，Office 365 可让任何人使用任何设备随时随地创建和共享内容。
CodeExpander 是一款快捷短语输入增强工具，通过键入缩写自动展开为自定义文段，提升工作效率。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。
Mountain Duck 是一款能将多个网盘挂载到本地的工具，像本地磁盘一样使用网盘。清理链路的完整性会更好一些，做应用卸载、残留处理和空间整理时，通常能少走很多手动排查步骤。
极度公式是一款跨平台专业LaTeX公式识别编辑软件，支持OCR公式识别和多平台编辑。和使用说明，避免使用，享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
一款文字处理软件，一种订阅式的跨平台办公软件，基于云平台提供多种服务，通过将 Excel 和 Outlook 等应用与 OneDrive 和 Microsoft Teams 等强大的云服务相结合，Office 365 可让任何人使用任何设备随时随地创建和共享内容。
Wise Folder Hider Pro 是一款专业级文件和文件夹隐藏加密软件，为私密数据添加多重保护。高频操作更强调就近处理，浏览、整理和跨目录移动文件时，来回切换和重复点击都会少很多。
CodeExpander 是一款快捷短语输入增强工具，通过键入缩写自动展开为自定义文段，提升工作效率。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。
Mountain Duck 是一款能将多个网盘挂载到本地的工具，像本地磁盘一样使用网盘。清理链路的完整性会更好一些，做应用卸载、残留处理和空间整理时，通常能少走很多手动排查步骤。
