三维场景生成：无需任何神经网络训练，从单个样例生成多样结果
多样高质的三维场景生成结果论文地址：https://arxiv.org/abs/2304.12670项目主页：http://weiyuli.xyz/Sin3DGen/引言使用人工智能辅助内容生成（AIGC）在图像生成领域涌现出大量的工作，从早期的变分自编码器（VAE），到生成对抗网络（GAN），再到最近大红大紫的扩散模型（DiffusionModel），模型的生成能力飞速提升。以StableDiffusion，Midjourney等为代表的模型在生成具有高真实感图像方面取得了前所未有的成果。同时，在视频生
多样高质的三维场景生成结果
- 论文地址：https://arxiv.org/abs/2304.12670
- 项目主页：http://weiyuli.xyz/Sin3DGen/
引言
使用人工智能辅助内容生成（AIGC）在图像生成领域涌现出大量的工作，从早期的变分自编码器（VAE），到生成对抗网络（GAN），再到最近大红大紫的扩散模型（Diffusion Model），模型的生成能力飞速提升。以 Stable Diffusion，Midjourney 等为代表的模型在生成具有高真实感图像方面取得了前所未有的成果。同时，在视频生成领域，最近也涌现出很多优秀的工作，如 Runway 公司的生成模型能够生成充满想象力的视频片段。这些应用极大降低了内容创作门槛，使得每个人都可以轻易地将自己天马行空的想法变为现实。
但是随着承载内容的媒介越来越丰富，人们渐渐不满足于图文、视频这些二维的图形图像内容。随着交互式电子游戏技术的不断发展，特别是虚拟和增强现实等应用的逐步成熟，人们越来越希望能身临其境地从三维视角与场景和物体进行互动，这带来了对三维内容生成的更大诉求。
如何快速地生成高质量且具有精细几何结构和高度真实感外观的三维内容，一直以来是计算机图形学社区研究者们重点探索的问题。通过计算机智能地进行三维内容生成，在实际生产应用中可以辅助游戏、影视制作中重要数字资产的生产，极大地减少了美术制作人员的开发时间，大幅地降低资产获取成本，并缩短整体的制作周期，也为用户带来千人千面的个性化视觉体验提供了技术可能。而对于普通用户来说，快速便捷的三维内容创作工具的出现，结合如桌面级三维打印机等应用，未来将为普通消费者的文娱生活带来更加无限的想象空间。
目前，虽然普通用户可以通过便携式相机等设备轻松地创建图像和视频等二维内容，甚至可以对三维场景进行建模扫描，但总体来说，高质量三维内容的创作往往需要有经验的专业人员使用如 3ds Max、Maya、Blender 等软件手动建模和渲染，但这些有很高的学习成本和陡峭的成长曲线。
其中一大主要原因是，三维内容的表达十分复杂，如几何模型、纹理贴图或者角色骨骼动画等。即使就几何表达而言，就可以有点云、体素和网格等多种形式。三维表达的复杂性极大地限制了后续数据采集和算法设计。
另一方面，三维数据天然具有稀缺性，数据获取的成本高昂，往往需要昂贵的设备和复杂的采集流程，且难以大量收集某种统一格式的三维数据。这使得大多数数据驱动的深度生成模型难有用武之地。
在算法层面，如何将收集到的三维数据送入计算模型，也是难以解决的问题。三维数据处理的算力开销，要比二维数据有着指数级的增长。暴力地将二维生成算法拓展到三维，即使是最先进的并行计算处理器也难以在可接受的时间内进行处理。
上述原因导致了当前三维内容生成的工作大多只局限于某一特定类别或者只能生成较低分辨率的内容，难以应用于真实的生产流程中。
为了解决上述问题，北京大学陈宝权团队联合山东大学和腾讯 AI Lab 的研究人员，提出了首个基于单样例场景无需训练便可生成多样高质量三维场景的方法。该算法具有如下优点：
1，无需大规模的同类训练数据和长时间的训练，仅使用单个样本便可快速生成高质量三维场景；
2，使用了基于神经辐射场的 Plenoxels 作为三维表达，场景具有高真实感外观，能渲染出照片般真实的多视角图片。生成的场景也完美的保留了样本中的所有特征，如水面的反光随视角变化的效果等；
3，支持多种应用制作场景，如三维场景的编辑、尺寸重定向、场景结构类比和更换场景外观等。
方法介绍
研究人员提出了一种多尺度的渐进式生成框架，如下图所示。算法核心思想是将样本场景拆散为多个块，通过引入高斯噪声，然后以类似拼积木的方式将其重新组合成类似的新场景。
作者使用坐标映射场这种和样本异构的表达来表示生成的场景，使得高质量的生成变得可行。为了让算法的优化过程更加鲁棒，该研究还提出了一种基于值和坐标混合的优化方法。同时，为了解决三维计算的大量资源消耗问题，该研究使用了精确到近似的优化策略，使得能在没有任何训练的情况下，在分钟级的时间生成高质量的新场景。更多的技术细节请参考原始论文。
随机场景生成
通过如左侧框内的单个三维样本场景，可以快速地生成具有复杂几何结构和真实外观的新场景。该方法可以处理具有复杂拓扑结构的物体，如仙人掌，拱门和石凳等，生成的场景完美地保留了样本场景的精细几何和高质量外观。当前没有任何基于神经网络的生成模型能做到相似的质量和多样性。
高分辨率大场景生成
该方法能高效地生成极高分辨率的三维内容。如上所示，我们可以通过输入单个左上角分辨率为 512 x 512 x 200 的三维 “千里江山图” 的一部分，生成 1328 x 512 x 200 分辨率的 “万里江山图”，并渲染出 4096 x 1024 分辨率的二维多视角图片。
真实世界无边界场景生成
作者在真实的自然场景上也验证了所提出的生成方法。通过采用与 NeRF++ 类似的处理方法，显式的将前景和天空等背景分开后，单独对前景内容进行生成，便可在真实世界的无边界场景中生成新场景。
其他应用场景
场景编辑
使用相同的生成算法框架，通过加入人为指定限制，可以对三维场景内的物体进行删除，复制和修改等编辑操作。如图中所示，可以移除场景中的山并自动补全孔洞，复制生成三座山峰或者使山变得更大。
尺寸重定向
该方法也可以对三维物体进行拉伸或者压缩的同时，保持其局部的形状。图中绿色框线内为原始的样本场景，将一列三维火车进行拉长的同时保持住窗户的局部尺寸。
结构类比生成
和图像风格迁移类似，给定两个场景 A 和 B，我们可以创建一个拥有 A 的外观和几何特征，但是结构与 B 相似的新场景。如我们可以参考一座雪山将另一座山变为三维雪山。
更换样本场景
由于该方法对生成场景采用了异构表达，通过简单地修改其映射的样本场景，便可生成更加多样的新场景。如使用同一个生成场景映射场 S，映射不同时间或季节的场景，得到了更加丰富的生成结果。
总结
这项工作面向三维内容生成领域，首次提出了一种基于单样本的三维自然场景生成模型，尝试解决当前三维生成方法中数据需求大、算力开销多、生成质量差等问题。该工作聚焦于更普遍的、语义信息较弱的自然场景，更多的关注生成内容的多样性和质量。算法主要受传统计算机图形学中纹理图像生成相关的技术，结合近期的神经辐射场，能快速地生成高质量三维场景，并展示了多种实际应用。
未来展望
该工作有较强的通用性，不仅能结合当前的神经表达，也适用于传统的渲染管线几何表达，如多边形网格 (Mesh)。我们在关注大型数据和模型的同时，也应该不时地回顾传统的图形学工具。研究人员相信，不久的未来，在 3D AIGC 领域，传统的图形学工具结合高质量的神经表达以及强力的生成模型，将会碰撞出更绚烂的火花，进一步推进三维内容生成的质量和速度，解放人们的创造力。
这一研究得到了广大网友的讨论：
有网友表示：（这项研究）对于游戏开发来说十分棒，只需要建模单个模型就能生成很多新的版本。
对于上述观点，有人表示完全同意，游戏开发者、个人和小公司可以从这类模型中得到帮助。
Postman是一套面向API全生命周期的开发与测试平台，可在Mac上发送和调试多种协议请求，管理集合、环境及认证信息，并完成脚本测试、模拟服务、监控、文档发布和团队协作。它适合开发、测试及运维人员使用，提供个人免费方案。
Docker Desktop 是 Docker 官方为 Mac 提供的容器开发环境，集成 Docker Engine、命令行工具、Compose、Build、Kubernetes 与图形化管理界面。
Android Studio 是 Google 面向安卓应用开发提供的官方集成开发环境，基于 IntelliJ IDEA 构建。它整合智能代码编辑、Gradle 构建、界面预览、设备模拟、性能分析、调试测试及 APK 分析等工具。
Xcode 是苹果面向 Mac 提供的官方集成开发环境，将代码编辑、项目构建、SwiftUI 实时预览、设备模拟、自动化测试、断点调试、性能分析和应用分发整合在同一套工作流中，适合开发与维护 iPhone、iPad、Mac、Apple Wa
JetBrains WebStorm 是面向 JavaScript、TypeScript 和现代 Web 技术的专业集成开发环境，可智能理解项目结构，提供代码补全、重构、错误检查、运行调试、测试及 Git 工具。
PhpStorm 是 JetBrains 推出的专业 PHP 集成开发环境，可在 Mac 上完成代码编写、智能检查、重构、调试、测试和数据库管理。它支持主流 PHP 框架、Composer、Git、Docker 与远程解释器。
JetBrains PyCharm 是面向 Python 开发者的集成开发环境，提供智能补全、代码检查、重构、调试、测试、版本控制及虚拟环境管理功能。Mac 版兼容 Intel 与 Apple 芯片，核心功能可免费使用。
IntelliJ IDEA 是 JetBrains 推出的专业集成开发环境，重点服务于 Java、Kotlin 与 JVM 项目开发。软件集成代码补全、静态检查、重构、调试、测试、版本控制及构建工具，并可借助插件扩展语言和框架支持。
Visual Studio Code 是微软提供的免费代码编辑器，支持 macOS，并为 Intel 与 Apple 芯片 Mac 提供适配版本。软件集代码编辑、调试、Git 源代码管理、集成终端和扩展市场于一体。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Pro Tools 是 Avid 推出的专业数字音频工作站，覆盖多轨录音、无损剪辑、MIDI 编曲、插件处理、自动化混音及声音与画面同步等工作。它拥有 Intro、Artist、Studio 和 Ultimate 等方案。
PixPix 是面向品牌、卖家和内容团队的在线 AI 图片视频创作平台，提供图视频 Agent、无限画布、图片生成、视频生成、自然语言编辑及商品套图、产品精修和带货视频等电商工具。
Postman 是面向 API 全生命周期的开发与协作平台。Windows 桌面版可用于构建和发送 HTTP、GraphQL、gRPC、WebSocket、MQTT 等请求，并提供环境变量、集合、脚本测试、模拟服务、监控、文档及团队工作区等
Docker Desktop 为 Windows 开发者提供集成式容器环境，内置 Docker Engine、命令行工具、Compose、Build 与 Kubernetes 等组件，可在本机完成镜像构建、容器运行、日志查看和资源管理。
Android Studio 是 Google 面向 Android 应用开发提供的官方集成开发环境，以 IntelliJ IDEA 为基础，集成智能代码编辑、Gradle 构建、设备模拟、界面预览、调试测试及性能分析工具，
WebStorm 是 JetBrains 面向 JavaScript、TypeScript 和现代 Web 技术打造的集成开发环境。它提供项目级代码分析、智能补全、安全重构、导航搜索，并集成调试、测试、终端、Git 与常用前端工具，
PhpStorm 是 JetBrains 面向 PHP 与现代 Web 开发打造的专业集成开发环境，提供代码补全、静态检查、重构、调试、测试、数据库、版本控制及前端语言支持。Windows 用户可直接下载安装程序，
PyCharm 是 JetBrains 推出的 Python 集成开发环境，提供智能代码补全、错误检查、重构、调试、测试、Git、终端及 Jupyter Notebook 支持。统一版安装后可体验 30 天 Pro 功能，
JetBrains IntelliJ IDEA 是以 Java、Kotlin 和 JVM 项目为核心的专业集成开发环境，提供智能补全、代码检查、安全重构、调试、测试、版本控制及构建工具集成。统一发行版的核心功能可免费用于商业和非商业项目，
Visual Studio Code 是微软推出的免费代码编辑器，Windows 版集成智能补全、代码导航、调试、终端和版本控制，并可通过扩展添加语言、格式化及远程开发能力。它启动较快、配置灵活，
REAPER 是 Cockos 推出的数字音频工作站，适用于录音、MIDI 编曲、音频编辑、混音、母带制作及声音设计。软件安装包小巧，支持多轨录制、灵活路由、自动化、第三方插件和脚本扩展，并提供完整功能的 60 天免费评估期。
Adobe Audition 是面向播客、影视后期、广播与音乐制作的专业音频工作站，提供波形编辑、多轨混音、频谱分析、录音、降噪修复和效果处理等功能。Windows 版通过 Adobe Creative Cloud 安装和管理，
Pro Tools 是 Avid 推出的专业数字音频工作站，提供多轨录音、音频剪辑、MIDI编曲、插件处理、自动化混音及影视声音制作能力。它适合音乐人、录音师、制作人和音频后期团队使用，并提供免费入门版、订阅方案及永久授权选择。