人脸神经辐射场的掩码编辑方法NeRFFaceEditing，不会三维建模也能编辑立体人脸
想要个性化设计高真实感的三维立体人脸，却发现自己并不熟悉专业的设计软件？三维人脸编辑方法NeRFFaceEditing提供了新的解决方案，即使不会三维建模，也能自由编辑高真实感的立体人脸，建模元宇宙中的个性化数字肖像！NeRFFaceEditing由中科院计算所和香港城市大学的研究人员合作完成，相关技术论文在计算机图形学顶级会议ACMSIGGRAPHAsia2022上发表。项目主页：http://geometrylearning.com/NeRFFaceEditing/NeRFFaceE
想要个性化设计高真实感的三维立体人脸，却发现自己并不熟悉专业的设计软件？三维人脸编辑方法 NeRFFaceEditing 提供了新的解决方案，即使不会三维建模，也能自由编辑高真实感的立体人脸，建模元宇宙中的个性化数字肖像！
NeRFFaceEditing 由中科院计算所和香港城市大学的研究人员合作完成，相关技术论文在计算机图形学顶级会议 ACM SIGGRAPH Asia 2022 上发表。
项目主页：http://geometrylearning.com/NeRFFaceEditing/
NeRFFaceEditing 将二维的语义掩码作为三维几何编辑的桥梁，用户在一个视角下进行的语义编辑可以传播到整个三维人脸的几何，并保持材质不变。进一步，给定表示参考风格的图像，用户可以轻松的更改整个三维人脸的材质风格，并保持几何不变。
基于该方法的三维人脸编辑系统，即使用户不熟悉专业的三维设计，也可以轻松进行个性化的人脸设计，自定义人脸形状和外观。先来看两个使用 NeRFFaceEditing 的惊艳效果！
图 1 几何编辑效果：二维语义掩码上的编辑传播到整个三维几何空间
图 2 风格迁移效果：将给定风格作用到整个人脸三维空间上而保持几何不变
Part I 背景
近些年，随着神经辐射场 [1] 与对抗式生成网络 [2] 的结合，各种高质量、快速渲染的三维人脸生成网络被提出，其中包括 EG3D [3]。
图 3 EG3D 的不同视角的生成效果与几何表示
该方法的三平面表示结合了传统的二维生成对抗网络和最新的三维隐式表征，因此继承了 StyleGAN [4] 的强大生成能力和神经辐射场的表征能力。但是，这些生成模型并不能对人脸的几何和材质进行解耦控制，而解耦控制几何和材质是三维角色设计等应用不可或缺的功能。
已有工作，如 DeepFaceDrawing [5]、DeepFaceEditing [6] 可以实现基于线稿的几何和材质的解耦控制及二维人脸图像的生成与编辑。DeepFaceVideoEditing [7] 则将线稿编辑应用到人脸视频，能在时序上生成丰富的编辑效果。
但是，图像的解耦与编辑方法，很难直接应用至三维空间。而现有的三维人脸的几何和材质解耦方法往往需要重新训练网络参数，而且使用的空间表示方法有较大的局限性，缺少三平面表示的良好性质。为了解决上述的问题，NeRFFaceEditing 在三平面表示的三维生成对抗网络的预训练模型参数的基础上，利用任意视角的二维语义掩码作为媒介，实现对三维人脸进行几何编辑和对材质的解耦控制。
Part 2 NeRFFaceEditing 的算法原理
在三平面生成器生成出三平面之后，启发自 AdaIN [8]，即对于二维的特征图（Feature Map），它的统计数据可以表示它的风格，NeRFFaceEditing 将三平面分解为表达空间上不变的高层次材质特征的均值和标准差 (a)，以及表达空间上变化的几何特征的标准化的三平面。结合标准化的三平面与分解出的材质特征 (a) 可以还原出原本的三平面。因此，如果给定不同的材质特征，即可赋予同一几何不同的材质。
更进一步，为了实现对于几何和材质的解耦控制，NeRFFaceEditing 将原始的单个解码器分解为了几何解码器和材质解码器。几何解码器输入从标准化三平面采样得到的特征，预测密度和语义标签，用于表达三维人脸的几何和语义掩码体（Volume）。而几何特征与材质特征 (a) 通过可控制的材质模块（CAM）模块组合后，再从中采样特征输入材质解码器预测颜色。最后通过体渲染，得到某一视角下的人脸图像与对应的语义掩码。而在给定一个不同的材质特征 (b) 的情况下，几何特征与材质特征 (b) 通过 CAM 模块和体渲染可以得到另一张几何不变而材质改变的人脸图像。整体网络结构如下图所示：
图 4 NeRFFaceEditing 的网络架构
除此之外，为了约束拥有同一材质特征，但几何不同的样本渲染结果在材质上相似，NeRFFaceEditing 利用生成好的语义掩码，使用直方图特征来分别表示这些材质特征相同，几何不同的样本不同脸部组成部分，例如头发、皮肤等，在颜色上的分布。然后优化这些样本在各个组成部分上颜色分布的距离和。如下图所示：
图 5 材质相似约束训练策略
Part 3 效果展示与实验对比
使用 NeRFFaceEditing，可以借助二维的语义掩码对三维人脸空间进行几何编辑：
图 6 三维人脸几何编辑
除此之外，还可以基于参考图片，进行三维一致的三维空间内材质风格迁移：
图 7 三维人脸风格迁移
在此基础上，可以实现解耦的人脸插值变形应用，如下图以左上角和右下角作为起止点，对相机、几何、材质进行线性插值：
图 8 解耦人脸变形效果展示
借助 PTI [9] 将真实图像反投影到 NeRFFaceEditing 的隐空间，也可以实现对于真实图像的编辑和风格迁移。借此，NeRFFaceEditing 也与其他可以控制视角的对人脸进行编辑的开源方法，即 SofGAN [10] 进行了比较，证明了方法的优越性。
图 9 真实图像三维几何编辑的例子。可以看到 NeRFFaceEditing 的真实性优于 SofGAN，而且 SofGAN 在其他视角上对于身份有一定的改变。
图 10 真实图像风格迁移的例子。可以看到 SofGAN 有一定的瑕疵，而且在身份上有一定变化。
Part 4 结语与致谢
数字内容生成在工业制作和数字媒体领域有着广泛的应用，尤其是虚拟数字人的生成与编辑，在近期受到了广泛的关注，而三维人脸几何与材质的解耦编辑就是在个性化塑造真实的虚拟形象上一种可能的解决手段。
NeRFFaceEditing 系统，通过对三维人脸生成网络进行解耦设计，可以将用户在二维视角上对于语义掩码的修改，转变为对于整个三维空间的几何修改，并且保证材质不改变。除此之外，借助对于风格迁移效果强化的训练策略，可以实现有效的三维空间内材质风格迁移。NeRFFaceEditing 的论文已经被计算机图形学顶级会议 ACM SIGGRAPH ASIA 2022 录用。
该项目研究团队包括中科院计算所菁英班本科生同学蒋楷文（第一作者），高林副研究员（本文通讯作者）、陈姝宇博士和香港城市大学傅红波教授等，有关论文的更多细节，请浏览项目主页：
http://geometrylearning.com/NeRFFaceEditing/
WPS Office是一款面向macOS用户的综合办公套件，将文字处理、电子表格、演示文稿、PDF工具、模板与云协作整合在同一应用中。它兼容常见Microsoft Office格式，支持Intel及Apple芯片Mac，基础功能可免费使用，
Shapr3D是一款面向工业设计、机械工程、建筑概念和三维打印工作流的CAD软件。Mac版采用Parasolid建模内核，支持草图约束、实体建模、工程图、可视化渲染及常见CAD格式交换，并可通过账户在多台设备之间同步项目。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Ableton Live 是面向音乐制作人与现场表演者的数字音频工作站，提供编曲视图、独具特色的现场视图、音频录制、MIDI创作、实时变速、乐器及效果器。Mac版原生支持Apple芯片，并可连接音频接口、MIDI控制器和第三方插件。
Adobe After Effects 是面向动态图形、影视特效与视频合成的专业创作软件。它提供关键帧动画、遮罩抠像、运动跟踪、三维空间、文字动画和表达式等工具，并可与 Premiere Pro、Photoshop、Illustrator
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Adobe Bridge 是面向摄影师、设计师及内容团队的免费数字资产管理工具，可集中预览照片、视频和 Adobe 项目文件，并利用评级、标签、关键词、元数据、筛选与收藏集完成分类检索。它还支持批量重命名、格式导出、相机导入及 Camera
Adobe Illustrator 是 Adobe 推出的专业矢量图形设计软件，适合在 Mac 上制作标志、图标、插画、包装、信息图及印刷版面。它以路径和锚点构建可无损缩放的图形，并提供钢笔、形状、文字、图像描摹、渐变、画板及生成式功能。
Adobe InDesign 是面向印刷品与数字出版物的专业版面设计软件，可在 Mac 上制作书籍、杂志、宣传册、海报、报告及交互式文档。它提供精细的文字样式、网格、母版、长文档管理和印前输出能力。
Adobe Lightroom Classic 是面向桌面摄影工作流的照片管理与后期处理软件，可将原始照片保存在本地硬盘，通过目录、关键词、评分和收藏夹高效整理图库，并提供 RAW 冲印、蒙版、镜头校正、批量同步及多格式导出等功能。
Adobe Media Encoder 是 Adobe 推出的专业音视频编码与转码工具，可通过队列、预设和监视文件夹批量完成格式转换、代理文件创建及多平台成片输出，并与 Premiere Pro、After Effects 等软件紧密协作。
Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理软件，提供图层、蒙版、选区、修复、调色、文字排版、智能对象及生成式编辑等能力。Mac 版支持 Intel 与 Apple Silicon 处理器。
Adobe InDesign 是面向印刷与数字出版的专业页面排版工具，可制作书籍、杂志、宣传册、海报、交互式 PDF 和电子书。它提供精细的文字样式、多页面管理、印前检查及多格式输出能力，并能与 Photoshop、Illustrator
Adobe Illustrator 是用于绘制矢量图形、插画、图标、徽标和版式的专业设计工具。它以路径和锚点为核心，作品放大后仍能保持清晰，并提供画板、文字、渐变、图像描摹及精确变换等功能，适合品牌视觉、印刷物料、数字界面和商业插画创作。
Adobe Bridge 是 Adobe 推出的创意资产管理工具，可集中预览、分类和查找照片、视频、PDF及多种设计文件，并支持元数据、关键词、评级、批量重命名和格式导出。它可与 Photoshop、Illustrator 等应用衔接，
Affinity Photo 是一款面向摄影师、修图师和视觉设计人员的桌面图像编辑工具，提供 RAW 显影、多图层合成、蒙版、实时滤镜、批处理和色彩管理等功能。原独立产品已停止销售，其照片编辑能力已延续至免费的新 Affinity 应用；
Adobe Lightroom Classic 是面向 Windows 桌面摄影工作流的照片管理与无损编辑工具，可通过目录集中整理大型图库，并完成 RAW 显影、局部蒙版、批量调整、打印和多格式导出。它强调本地文件管理与精细控制，
Figma 是面向产品设计与开发团队的云端协作平台，可在 Windows 桌面客户端中完成界面绘制、组件管理、交互原型、评论评审和开发交付。文件保存在云端，多名成员能够同步编辑并共享设计系统；官方同时提供免费 Starter 方案及按席位计
Affinity Designer 是面向矢量图形、数字插画和界面设计的专业创作工具，可在矢量、像素与导出工作区之间快速切换。它提供曲线编辑、形状构建、画板、排版、图层和专业色彩管理，并支持常见设计文件的导入及多种印刷、网页格式输出。
Capture One Pro 是面向摄影师和影像团队的专业桌面照片处理工具，提供相机定制色彩配置、RAW转换、图层与蒙版、联机拍摄、目录及会话管理等功能。它适合棚拍、人像、商业产品、婚礼和风光摄影，
Adobe Acrobat Pro 是面向专业 PDF 工作的综合解决方案，可在 Windows 中创建、编辑、转换、比较、整理和保护文档，并支持表单、电子签名、扫描件文字识别及敏感信息永久遮盖。订阅还包含网页、移动服务和云端协作能力，
Adobe After Effects 是面向动态图形、动画与影视视觉特效制作的专业工具，可完成关键帧动画、图层合成、遮罩跟踪、抠像、文字动画和二维三维元素整合。Windows 版通过 Adobe Creative Cloud 安装及更新，
DaVinci Resolve是Blackmagic Design推出的一体化影视后期工具，将素材管理、非线性剪辑、专业调色、Fusion视觉特效、Fairlight音频处理和成片交付整合在统一工程中。免费版已覆盖多数个人创作需求，
Adobe Media Encoder 是 Adobe 面向视频与音频制作流程提供的专业编码和转码工具，可批量处理媒体文件、创建代理、套用输出预设并监控文件夹自动执行任务。它与 Premiere、After Effects、Audition