大卫复活！英伟达再造「神经朗基罗」，3D重建肌肉纹理肉眼可见
Air Explorer Pro是一款跨平台多网盘管理工具，可实现一站式完成不同网盘间文件的互传、搜索和同步等操作。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。
今天，英伟达再造了16世纪的米开朗基罗「Neuralangelo」。快看，Neuralangelo「复刻」出3D版的著名雕像大卫，大理石的细节、纹理栩栩如生。要知道，收藏在佛罗伦萨美术学院的大卫雕像，仅身高3.96米，加上基座都有5.5米。它甚至可以重建一栋建筑物的内外部结构，屋顶瓦片、玻璃窗格、还有各种细节都一一再现。这一切，都是「神经朗基罗」（Neuralangelo）的魔法。来自英伟达和约翰霍普金斯大学的研究人员提出的新型AI模型，利用神经网络重建3D物体。最新研究已被CVPR2023录用。论文地址
今天，英伟达再造了16世纪的米开朗基罗「Neuralangelo」。
快看，Neuralangelo「复刻」出3D版的著名雕像大卫，大理石的细节、纹理栩栩如生。
要知道，收藏在佛罗伦萨美术学院的大卫雕像，仅身高3.96米，加上基座都有5.5米。
它甚至可以重建一栋建筑物的内外部结构，屋顶瓦片、玻璃窗格、还有各种细节都一一再现。
这一切，都是「神经朗基罗」（Neuralangelo）的魔法。
来自英伟达和约翰霍普金斯大学的研究人员提出的新型AI模型，利用神经网络重建3D物体。
最新研究已被CVPR 2023录用。
论文地址：https://research.nvidia.com/labs/dir/neuralangelo/paper.pdf
特别是，Neuralangelo可以从手机视频，无人机拍摄的视频重建「高保真的大规模场景」。
那岂不是未来，就能轻易地把一座城市、甚至外太空的视频，变成一个沉浸式的世界，再装进游戏去体验。
网友惊呼，英伟达黑了「矩阵」世界！
甚至，还有人称，苹果XR技术，再加上Neuralangelo，就能创造「new worlds」了。
效果演示
英伟达的总部
破旧的卡车
Ignatius的雕像
重建3D场景
以前的AI模型在重建3D场景时，往往难以准确捕捉到重复的纹理模式、均匀的颜色以及强烈的色彩变化。
为此，团队提出了一个将多分辨率3D哈希网格的表征能力和神经表面渲染相结合的全新方法——Neuralangelo。
去年，英伟达研究人员曾创造了一种新工具3D MoMa，将照片变成3D物体易如反掌。
NeuralAngelo建立在这一概念的基础上，允许导入更大、更详细的空间和对象。而它特别之处在于，可以准确捕捉重复的纹理模式、同质的颜色和强烈的颜色变化。
通过采用「即时神经图形基元」，也就是NVIDIA Instant NeRF技术的核心，Neuralangelo由此可以捕捉更细微的细节。
团队的方法依赖于2个关键要素：
（1）用于计算高阶导数作为平滑操作的数值梯度；
（2）在控制不同细节级别的哈希网格上进行由粗到细的优化。
即使没有辅助深度，Neuralangelo也能有效地从多视图图像中恢复密集3D表面结构，其保真度显著超过了以往的方法，使得能够从RGB视频捕捉中重建详细的大规模场景。
构建NeuralAngelo
NeuralAngelo模型是在多分辨率哈希编码，以及基于SDF的体积渲染上进行构建。
第一步：使用数值梯度来计算高阶导数
通过使用与哈希网格空间分辨率匹配的步长的数值梯度，可以优化超越局部单元。与解析梯度相比，数值梯度对SDF起到了平滑操作的作用。
第二步：逐步细化细节层次
通过逐步减小数值梯度的步长，并启用更高分辨率的哈希网格，优化的效果可以更好地恢复大面积的光滑表面和精细的几何细节。这种学习过程能够逐步提高细节的层次感。
第三步：优化
NeuralAngelo使用三个优化目标：
RGB合成损失
：输入图像和合成图像之间的RGB重建损失。
Eikonal损失
：对底层SDF进行正则化处理，使其表面法线为单位正则。
曲率损失
：对底层SDF进行正则化处理，使平均曲率不会任意变大。
「神经朗基罗」构建好了，那么它又是如何运作的呢？
可以说，Neuralangelo还原了米开朗基罗刻画大卫的整个过程：
· 首先，模型会从2D视频中选择几帧从不同角度拍摄的物体/场景的画面，并由此「看到」其深度、大小和形状。这个过程就像雕塑艺术家一开始会从多个角度构图那样。
· 然后，模型会创建一个粗糙的3D场景表征，就像艺术家开始凿刻主体的形状。
· 最后，模型会优化渲染以提高细节的清晰度，就像艺术家通过精心地修饰来模仿织物或人形的纹理。
在DPU基准定性比较中， Neuralangelo产生更准确和更高保真度的表面。
如下是Neuralangelo在DTU数据集中的定量结果，模型获得了很好的重建精度和图像合成质量。
在不同的从粗糙到精细优化方案定性比较中，当使用分析梯度AG和AG+P，物体粗糙表面还有伪影。
当使用数字梯度（NG）时，能够重建一个比较好的粗糙表面，细节也被平滑。
而英伟达的解决方案（NG+P）能够生成光滑的表面，以及精细的细节。
最终的结果是一个可以在虚拟现实应用、数字孪生或机器人开发中使用的3D物体或大规模场景。
英伟达表示，Neuralangelo将复杂材料的纹理，包括屋顶瓦片的粗糙度、大理石的光滑度，从2D视频转化为3D物体的能力，显著超越了以往的方法。
英伟达研究部高级主任、论文作者Ming-Yu Liu对这项研究的意义给出了畅想：
「Neuralangelo提供的3D重建能力将给创作者带来巨大好处，帮助他们在数字世界中重建真实世界。这个工具最终将使开发人员能够将精细的物体——不论是小型雕像，还是大型建筑——导入视频游戏或工业数字孪生的虚拟环境中。
创意的专业人士可以将这些3D对象导入到设计应用中，进一步编辑，以供艺术、电子游戏开发、机器人技术和工业数字孪生等领域使用。
作者介绍
Zhaoshuo Li（李赵硕）
李赵硕目前还是约翰霍普金斯大学的计算机科学博士生，导师是Mathias Unberath教授、Russell H Taylor教授。
他对计算机视觉、计算机图形学、深度学习有浓厚的兴趣，研究重点是从图像中重现运动和结构。
另外，他还有非常多的爱好，是摄像师、心理健康促进者、宠物狗的爱好者、还是冲浪者、跳伞者、滑雪板运动员…
Chen-Hsuan Lin
Chen-Hsuan Lin是NVIDIA Research的一名研究科学家，从事计算机视觉、计算机图形学和人工智能方面的工作。
他在卡内基梅隆大学获得了机器人学博士学位，并获得英伟达研究生奖学金。此前，他还在Facebook AI Research和Adobe Research实习。
Lin对解决3D重建、视图合成和3D内容生产的问题非常感兴趣。其研究旨在通过从互联网规模的视觉数据中学习，赋予人工智能系统人类水平的3D感知和想象能力，向真正的3D空间智能迈进。
网友热评
英伟达科学家Jim Fan表示，
为了让你了解3D建模的人工智能发展速度：该领域在3年内从左边（原始的NeRF重建的网格）到右边（英伟达的Neuralangelo）。
将现实传送到高保真模拟中不再是一个梦想。
新的Neuralangelo模型简直是一个野兽，英伟达决定淘汰我们，R.I.P.摄影测量软件。
简直就像数字世界的「米开朗基罗」。
还有网友表示想知道，用它的成本是多少？
我们可以在工厂使用无人机，然后将视频发送到这个模型，做一个数字孪生，并使用它来优化我们的流程。
对于这项技术的意义，网友认为这对游戏行业来说影响将是巨大的。
Postman是一套面向API全生命周期的开发与测试平台，可在Mac上发送和调试多种协议请求，管理集合、环境及认证信息，并完成脚本测试、模拟服务、监控、文档发布和团队协作。它适合开发、测试及运维人员使用，提供个人免费方案。
Docker Desktop 是 Docker 官方为 Mac 提供的容器开发环境，集成 Docker Engine、命令行工具、Compose、Build、Kubernetes 与图形化管理界面。
Android Studio 是 Google 面向安卓应用开发提供的官方集成开发环境，基于 IntelliJ IDEA 构建。它整合智能代码编辑、Gradle 构建、界面预览、设备模拟、性能分析、调试测试及 APK 分析等工具。
Xcode 是苹果面向 Mac 提供的官方集成开发环境，将代码编辑、项目构建、SwiftUI 实时预览、设备模拟、自动化测试、断点调试、性能分析和应用分发整合在同一套工作流中，适合开发与维护 iPhone、iPad、Mac、Apple Wa
JetBrains WebStorm 是面向 JavaScript、TypeScript 和现代 Web 技术的专业集成开发环境，可智能理解项目结构，提供代码补全、重构、错误检查、运行调试、测试及 Git 工具。
PhpStorm 是 JetBrains 推出的专业 PHP 集成开发环境，可在 Mac 上完成代码编写、智能检查、重构、调试、测试和数据库管理。它支持主流 PHP 框架、Composer、Git、Docker 与远程解释器。
JetBrains PyCharm 是面向 Python 开发者的集成开发环境，提供智能补全、代码检查、重构、调试、测试、版本控制及虚拟环境管理功能。Mac 版兼容 Intel 与 Apple 芯片，核心功能可免费使用。
IntelliJ IDEA 是 JetBrains 推出的专业集成开发环境，重点服务于 Java、Kotlin 与 JVM 项目开发。软件集成代码补全、静态检查、重构、调试、测试、版本控制及构建工具，并可借助插件扩展语言和框架支持。
Visual Studio Code 是微软提供的免费代码编辑器，支持 macOS，并为 Intel 与 Apple 芯片 Mac 提供适配版本。软件集代码编辑、调试、Git 源代码管理、集成终端和扩展市场于一体。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Pro Tools 是 Avid 推出的专业数字音频工作站，覆盖多轨录音、无损剪辑、MIDI 编曲、插件处理、自动化混音及声音与画面同步等工作。它拥有 Intro、Artist、Studio 和 Ultimate 等方案。
PixPix 是面向品牌、卖家和内容团队的在线 AI 图片视频创作平台，提供图视频 Agent、无限画布、图片生成、视频生成、自然语言编辑及商品套图、产品精修和带货视频等电商工具。
Postman 是面向 API 全生命周期的开发与协作平台。Windows 桌面版可用于构建和发送 HTTP、GraphQL、gRPC、WebSocket、MQTT 等请求，并提供环境变量、集合、脚本测试、模拟服务、监控、文档及团队工作区等
Docker Desktop 为 Windows 开发者提供集成式容器环境，内置 Docker Engine、命令行工具、Compose、Build 与 Kubernetes 等组件，可在本机完成镜像构建、容器运行、日志查看和资源管理。
Android Studio 是 Google 面向 Android 应用开发提供的官方集成开发环境，以 IntelliJ IDEA 为基础，集成智能代码编辑、Gradle 构建、设备模拟、界面预览、调试测试及性能分析工具，
WebStorm 是 JetBrains 面向 JavaScript、TypeScript 和现代 Web 技术打造的集成开发环境。它提供项目级代码分析、智能补全、安全重构、导航搜索，并集成调试、测试、终端、Git 与常用前端工具，
PhpStorm 是 JetBrains 面向 PHP 与现代 Web 开发打造的专业集成开发环境，提供代码补全、静态检查、重构、调试、测试、数据库、版本控制及前端语言支持。Windows 用户可直接下载安装程序，
PyCharm 是 JetBrains 推出的 Python 集成开发环境，提供智能代码补全、错误检查、重构、调试、测试、Git、终端及 Jupyter Notebook 支持。统一版安装后可体验 30 天 Pro 功能，
JetBrains IntelliJ IDEA 是以 Java、Kotlin 和 JVM 项目为核心的专业集成开发环境，提供智能补全、代码检查、安全重构、调试、测试、版本控制及构建工具集成。统一发行版的核心功能可免费用于商业和非商业项目，
Visual Studio Code 是微软推出的免费代码编辑器，Windows 版集成智能补全、代码导航、调试、终端和版本控制，并可通过扩展添加语言、格式化及远程开发能力。它启动较快、配置灵活，
REAPER 是 Cockos 推出的数字音频工作站，适用于录音、MIDI 编曲、音频编辑、混音、母带制作及声音设计。软件安装包小巧，支持多轨录制、灵活路由、自动化、第三方插件和脚本扩展，并提供完整功能的 60 天免费评估期。
Adobe Audition 是面向播客、影视后期、广播与音乐制作的专业音频工作站，提供波形编辑、多轨混音、频谱分析、录音、降噪修复和效果处理等功能。Windows 版通过 Adobe Creative Cloud 安装和管理，
Pro Tools 是 Avid 推出的专业数字音频工作站，提供多轨录音、音频剪辑、MIDI编曲、插件处理、自动化混音及影视声音制作能力。它适合音乐人、录音师、制作人和音频后期团队使用，并提供免费入门版、订阅方案及永久授权选择。