AI研究也能从印象派中获得灵感？这些逼真的人物居然是3D模型！

19世纪是印象主义艺术运动盛行的时期，该运动在绘画、雕塑、版画等艺术领域都有影响力。印象主义的特点是使用短小、断断续续的笔触，几乎不追求形式的精准，这后来演变为印象派艺术风格。简而言之，印象派艺术家的笔触没有经过修饰，呈现出明显的特点，不追求形式的精确度，甚至有些模糊。印象派艺术家将光与色的科学理念引入绘画中，革新了传统的色彩观念。

在D3GA中，作者有一个与众不同的目标，他希望通过反其道而行之的方式创造出逼真如照片般的表现效果。为了实现这一目标，作者在D3GA中创造性地运用了高斯泼溅（Gaussian Splatting）技术，将其作为一种现代化的「段笔触」，用来构建虚拟角色的结构和外观，并实现实时稳定的效果。

《日出·印象》是著名的印象派画家莫奈的代表作品。

为了创造可生成动画新内容的逼真人类形象，虚拟形象的构建工作目前需要大量的多视角数据。这是因为单目方法的准确性有限。此外，现有的技术还需要进行复杂的预处理，包括准确的3D配准。然而，获取这些配准数据需要迭代，并且很难集成到端到端的流程中。 另外，还有一些不需要准确配准的方法，它们基于神经辐射场（NeRFs）。然而，这些方法通常在实时渲染方面速度较慢，或者在服装动画方面存在困难。

Kerbl等人提出了一种名为3D Gaussian Splatting（3DGS）的渲染方法，它在经典的Surface Splatting渲染方法的基础上进行了改进。与基于神经辐射场的最先进方法相比，3DGS能够以更快的帧率呈现出更高质量的图像，而且无需进行高度准确的3D初始化。

然而，3DGS最初是为静态场景设计的。目前已经有人提出了基于时间条件的高斯喷洒（Gaussian Splatting）方法，可以用来渲染动态场景。这种方法只能回放之前观察到的内容，因此不适用于表达新的或以前未见过的运动。

在驱动型的神经辐射场的基础上，作者对 3D 的人类的外观及变形进行建模，将其放置在一个规范化的空间中，但使用 3D 高斯而不是辐射场。除性能更好以外，Gaussian Splatting 还不需要使用相机射线采样启发式方法。

剩下的问题是定义触发这些 cage 变形的信号。目前在驱动型的虚拟角色中的最新技术需要密集的输入信号，如 RGB-D 图像甚至是多摄像头，但这些方法可能不适用于传输带宽比较低的情况。在本研究中，作者采用基于人体姿势的更紧凑输入，包括以四元数形式的骨骼关节角度和 3D 面部关键点。

通过在九个高质量的多视图序列上训练个体特定的模型，涵盖各种身体形状、动作和服装（不仅限于贴身服装），以后我们就可以通过任何主体的新姿势对人物形象进行驱动了。

方法概览

• 论文链接：https://arxiv.org/pdf/2311.08581.pdf
• 项目链接：https://zielon.github.io/d3ga/

目前用于动态体积化虚拟角色的方法要么将点从变形空间映射到规范空间，要么仅依赖正向映射。基于反向映射的方法往往在规范空间中会累积误差，因为它们需要一个容易出错的反向传递，并且在建模视角相关效果时存在问题。

因此，作者决定采用仅正向映射的方法。D3GA 是基于 3DGS 的基础上通过神经表示和 cage 进行扩展，分别对虚拟角色的每个动态部分的颜色和几何形状进行建模。

D3GA 使用 3D 姿势 ϕ、面部嵌入 κ、视点 dk 和规范 cage v（以及自动解码的颜色特征 hi）来生成最终的渲染 C¯ 和辅助分割渲染 P¯。左侧的输入通过每个虚拟角色部分的三个网络（ΨMLP、ΠMLP、ΓMLP）进行处理，以生成 cage 位移∆v、高斯变形 bi、qi、si 以及颜色 / 透明度 ci、oi。

在 cage 变形将规范高斯变形后，通过方程式 9，它们被光栅化成最终的图像。

实验结果

D3GA 在 SSIM、PSNR 和感知度量 LPIPS 等指标上进行评估。表 1 显示，D3GA 在只使用 LBS 的方法中（即不需要为每个帧扫描 3D 数据）其在 PSNR 和 SSIM 上的表现是最佳的，并在这些指标中胜过所有 FFD 方法，仅次于 BD FFD，尽管其训练信号较差且没有测试图像（DVA 是使用所有 200 台摄像机进行测试的）。

定性比较显示，与其它最先进方法相比，D3GA 能更好地建模服装，特别是像裙子或运动裤这样的宽松服装 (图 4)。FFD 代表自由形变网格，其包含比 LBS 网格更丰富的训练信号 (图 9)。

与其基于体积方法相比，作者的方法可以将虚拟角色的服装分离出来，并且服装也是可驱动的。图 5 显示了每个单独的服装层，可以仅通过骨骼关节角度控制，而不需要特定的服装配准模块。