清华文生3D方法在扩散模型下超越SOTA达到监督NeRF
用文字合成3D图形的AI模型，又有了新的SOTA！近日，清华大学刘永进教授课题组提出了一种基于扩散模型的文生3D新方式。无论是不同视角间的一致性，还是与提示词的匹配度，都比此前大幅提升。图片文生3D是3DAIGC的热点研究内容，得到了学术界和工业界的广泛关注。刘永进教授课题组此次提出的新模型叫做TICD（Text-ImageConditionedDiffusion），在T3Bench数据集上达到了SOTA水平。目前相关论文已经发布，代码也即将开源。测评成绩已达SOTA为了评估TICD方法的效果，研究团队首
用文字合成3D图形的AI模型，又有了新的SOTA！
近日，清华大学刘永进教授课题组提出了一种基于扩散模型的文生3D新方式。
无论是不同视角间的一致性，还是与提示词的匹配度，都比此前大幅提升。
图片
文生3D是3D AIGC的热点研究内容，得到了学术界和工业界的广泛关注。
刘永进教授课题组此次提出的新模型叫做TICD（Text-Image Conditioned Diffusion），在T3Bench数据集上达到了SOTA水平。
目前相关论文已经发布，代码也即将开源。
测评成绩已达SOTA
为了评估TICD方法的效果，研究团队首先进行了定性实验，并对比了此前一些较好的方法。
结果显示，用TICD方法生成的3D图形质量更好、图形更清晰，与提示词的匹配程度也更高。
图片
为了进一步评估这些模型的表现，团队在T3Bench数据集上将TICD与这些方法进行了定量测试。
结果显示，TICD在单对象、单对象带背景、多对象这三个提示集上都取得了最好的成绩，证明了它在生成质量和文本对齐性上都具有整体优势。
图片
此外，为了进一步评估这些模型的文本对齐性，研究团队还对3D物体渲染得到的图片与原始提示词的CLIP余弦相似度上进行了测试，结果依然是TICD的表现最佳。
那么，TICD方法是如何实现这样的效果的呢？
将多视角一致性先验纳入NeRF监督
目前主流的文本生成3D方法大多使用预训练的2D扩散模型，通过得分蒸馏采样（Score Distillation Sampling, SDS）优化神经辐射场（NeRF）来生成全新的3D模型。
然而，这种预训练扩散模型提供的监督仅限于输入的文本本身，并未约束多视角间的一致性，可能会出现生成几何结构较差等问题。
为了在扩散模型的先验中引入多视角一致性，一些最新的研究通过使用多视角数据对2D扩散模型进行微调，但仍然缺乏细粒度的视角间连续性。
为了解决这一挑战，TICD方法将以文本为条件的和图像为条件的多视角图像纳入NeRF优化的监督信号中，分别保证了3D信息与提示词的对齐和3D物体不同视角间的强一致性，有效提升了生成3D模型的质量。
图片
工作流程上，TICD首先采样若干组正交的参考相机视角，使用NeRF渲染出对应的参考视图，然后对这些参考视图运用基于文本的条件扩散模型，约束内容与文本的整体一致性。
在此基础上选取若干组参考相机视角，并对于每个视角渲染一个额外新视角下的视图。接着以这两个视图与视角间的位姿关系作为新条件，使用基于图像的条件扩散模型约束不同视角间的细节一致性。
结合两种扩散模型的监督信号，TICD可对NeRF网络的参数进行更新并循环迭代优化，直到获得最终的NeRF模型，并渲染出高质量、几何清晰且与文本一致的3D内容。
此外，TICD方法可以有效消除现有方法面对特定文本输入时可能产生的几何信息消失、错误几何信息过量生成、颜色混淆等问题。
论文地址：https://arxiv.org/abs/2312.11774
赤友清理大师是一款为 Mac 设计的智能清理优化工具，可精准扫描垃圾、大文件、重复文件等，释放磁盘空间。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
极度公式是一款跨平台专业LaTeX公式识别编辑软件，支持OCR公式识别和多平台编辑。和使用说明，避免使用，享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
一款文字处理软件，一种订阅式的跨平台办公软件，基于云平台提供多种服务，通过将 Excel 和 Outlook 等应用与 OneDrive 和 Microsoft Teams 等强大的云服务相结合，Office 365 可让任何人使用任何设备随时随地创建和共享内容。
CodeExpander 是一款快捷短语输入增强工具，通过键入缩写自动展开为自定义文段，提升工作效率。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。
Mountain Duck 是一款能将多个网盘挂载到本地的工具，像本地磁盘一样使用网盘。清理链路的完整性会更好一些，做应用卸载、残留处理和空间整理时，通常能少走很多手动排查步骤。
极度公式是一款跨平台专业LaTeX公式识别编辑软件，支持OCR公式识别和多平台编辑。和使用说明，避免使用，享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
一款文字处理软件，一种订阅式的跨平台办公软件，基于云平台提供多种服务，通过将 Excel 和 Outlook 等应用与 OneDrive 和 Microsoft Teams 等强大的云服务相结合，Office 365 可让任何人使用任何设备随时随地创建和共享内容。
Wise Folder Hider Pro 是一款专业级文件和文件夹隐藏加密软件，为私密数据添加多重保护。高频操作更强调就近处理，浏览、整理和跨目录移动文件时，来回切换和重复点击都会少很多。
CodeExpander 是一款快捷短语输入增强工具，通过键入缩写自动展开为自定义文段，提升工作效率。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。
Mountain Duck 是一款能将多个网盘挂载到本地的工具，像本地磁盘一样使用网盘。清理链路的完整性会更好一些，做应用卸载、残留处理和空间整理时，通常能少走很多手动排查步骤。
