30秒内轻松完成3D模型纹理贴图，简单高效！

用上扩散模型，3D物体生成纹理一句话就能搞定！

当你输入“一张带有棕色和黑色几何图案的椅子”时，扩散模型会立即为它添加古老的纹理，给人一种具有年代感的感觉

AI能够立即凭借想象力为桌面添加木质的细节纹理，甚至只需要一张看不出桌面长相的截图

要知道，给3D物体加上纹理，可不只是“变变颜色”这么简单。

设计材质时，需要考虑到粗糙度、反射、透明度、漩涡、泛光等多个参数。为了设计出好的效果，不仅需要了解材质、灯光、渲染等方面的知识，还需要进行反复的渲染测试和修改。如果材质发生变化，可能需要重新开始设计

需要进行重写的内容是：游戏场景中纹理丢失的效果

然而，以前使用人工智能设计的纹理在外观上并不理想，因此设计纹理一直是一项耗时费力的工作，也造成了较高的成本

港大、港中文和TCL的研究人员最近开发了一种全新的人工智能设计3D物体纹理的方法。这种方法不仅能够完美保留物体原有的形状，还能够设计出更加真实、完美贴合物体表面的纹理

目前这项研究已经被ICCV 2023收录为口头报告论文

我们需要重新写的内容是：这个问题的解决方法是什么？让我们一起来看看

用上扩散模型，3D纹理一句话搞定

在之前使用人工智能设计3D纹理时，主要存在两类问题

生成的纹理不真实，细节有限的一类

生成过程中会对3D物体本身的几何做特殊处理，使得生成的纹理无法和原物体完美贴合，会“冒出”奇怪的形状

因此，为了能确保3D物体结构稳定、同时生成细节逼真的纹理，这项研究设计了一个名叫Point-UV diffusion的框架。

这个框架包含“粗设计”和“精加工”两个模块，都基于扩散模型打造，不过二者用到的扩散模型有所不同。

首先在“粗设计”模块中，训练一个以形状特征（包括表面法线、坐标和遮罩）为输入条件的3D扩散模型，用来预测物体形状中每个点的颜色，从而生成一个粗糙纹理图像效果：

在“精加工”模块中，还设计了一个2D扩散模型，用于进一步利用之前生成的粗糙纹理图像和物体形状作为输入条件，以生成更加精细的纹理

采取这种设计结构的原因是之前的高分辨率点云生成方法计算成本通常过高

通过这种两阶段生成的方法，不仅可以节省计算成本，使得两个扩散模型能够各自发挥作用，而且与之前的方法相比，不仅保留了原始3D物体的结构，生成的纹理也更加精细

至于通过输入文字或图片控制生成效果，则是CLIP的“功劳”。

为了不改变原始意思，需要将内容改写成中文。需要改写的内容是：针对输入，作者会先使用预训练的CLIP模型提取文本或图像的嵌入向量，然后将其输入到一个MLP模型中，最终将条件整合到“粗设计”和“精加工”两个阶段的网络中

通过文字和图像控制生成的纹理，可以实现最终输出结果

因此，这个模型的实现效果到底如何呢？

生成速度从10分钟缩短至30秒

让我们先来看一下Point-UV扩散的生成效果

从效果图中可以看出，除了桌椅，Point-UV扩散同样可以生成汽车等物体的纹理，种类更加丰富

不仅能根据文字生成纹理：

也可以根据一张图像生成相应物体的纹理效果：

作者们还对Point-UV扩散生成纹理效果与之前的方法进行了比较

通过观察图表，可以发现与Texture Fields、Texturify、PVD-Tex等其他纹理生成模型相比，Point-UV扩散在结构和精细度方面展现出更好的效果

作者还提到，同样硬件配置下，相比Text2Mesh需要10分钟的计算，Point-UV diffusion只需要30秒。

然而，作者也指出了Point-UV扩散目前存在的一些限制。例如，当UV贴图中存在过多的“碎片化”部分时，它仍然无法实现无缝纹理效果。此外，由于依赖3D数据进行训练，而目前3D数据的精细化质量和数量还无法达到2D数据的水平，因此生成的效果暂时无法达到2D图像生成的精细效果

对于对这项研究感兴趣的朋友们，你们可以点击下方的链接来阅读论文~

论文地址：https://cvmi-lab.github.io/Point-UV-Diffusion/paper/point_uv_diffusion.pdf

项目地址（还在施工中）：https://github.com/CVMI-Lab/Point-UV-Diffusion