超越SDXL！港中大博士生研发出超级逼真的人像合成工具，并用3.4亿张图进行了训练
为了让AI画出的人更加逼真，港中大博士生用了3.4亿张图像专门训练画人。人物的表情、姿态，环境的空间关系、光线都能合理布局，可谓立体感十足。SDXL虽然火爆，但并非对手。废话少说，直接上图！这个模型的名字叫HyperHuman，主打的就是一个真实立体。它解决了传统AI绘图工具在画人时图像不连贯、姿态不自然的问题，如StableDiffusion不仅如此，他的绘画技巧也非常出色，而且他对提示词的理解能力更强，能够更好地将提示词转化为绘画作品的内容那么下面就来具体看看HyperHuman都能创作出哪些作品吧！
为了让AI画出的人更加逼真，港中大博士生用了3.4亿张图像专门训练画人。
人物的表情、姿态，环境的空间关系、光线都能合理布局，可谓立体感十足。
SDXL虽然火爆，但并非对手。废话少说，直接上图！
这个模型的名字叫HyperHuman，主打的就是一个真实立体。
它解决了传统AI绘图工具在画人时图像不连贯、姿态不自然的问题，如Stable Diffusion
不仅如此，他的绘画技巧也非常出色，而且他对提示词的理解能力更强，能够更好地将提示词转化为绘画作品的内容
那么下面就来具体看看HyperHuman都能创作出哪些作品吧！
无论是孩子还是老人，各个年龄段的人人物形象HyperHuman都可以画。
人物的动作和表情自然，同时场景的空间关系也显得非常合理
不仅是图本身看上去真实，和提示文本的匹配也十分精确。
人物之外，HyperHuman能绘制出的场景类型也多种多样。
无论是单人还是多人，是滑雪或者冲浪……
如果和其他模型进行比较的话……
很明显，在这组提示词中，其他模型基本上都没能正确画出停止标志，而HyperHuman则正确地绘制了出来。
A man on a motorcycle that is on a road that has grass fields on both sides and a stop sign.
而在这一组中，其他模型的作品或者不知所云，或者出现各种细节问题，更有甚者画出的人长了三只脚，但HyperHuman依旧是稳定发挥。
精通滑板艺术是极其有益的
在数据方面，HyperHuman不仅给人以直观的感受，还在全面碾压包括SD2.0在内的其他竞争对手
图像质量方面，HyperHuman的FID、KID两项指标（均为数值越低效果越好）都超过了其他模型四分之一以上。
在姿势准确度方面，与ControlNet等其他模型相比，HyperHuman表现出明显的优势
HyperHuman的实现方式是怎样的呢？
联合学习，分步生成
为了提高HyperHuman的效果，研究团队一共提出了两个思路。
首先，我们需要同时学习图片的颜色、深度图和法线图
颜色反映外观，深度图反映物体位置，法线图反映表面角度。将它们一起学习，可以让模型更好地理解图片内容。
第二点则是分阶段生成，先使用文本和骨架点作为条件，生成颜色、深度和法线三者的初步合成结果。
然后以前面生成的条件作为指引，生成更高分辨率和质量的图片。
具体实现上，HyperHuman和SDXL一样也是采用扩散模型。
具体来说，HyperHuman使用的是“潜在结构（latent structural）”模型
它的核心包括以下两个模块：
- 联合去噪模块：具有多个输入输出分支的统一网络结构，在颜色、深度和法线图三个维度同时去除噪声。
- 结构指导模块：用上一步产生的结果作为条件和指引，实现结构到纹理的精细化生成。
为了增强稳定性，模型在生成过程中还会有选择性地对一些条件进行权衡
在训练数据方面，开发者将LAION-2B和COYO两个数据集中的公开资源进行整合、处理和标注，最终得到了约3.4亿张图像的HumanVerse数据集
结果在基于COCO 2014数据集的多个绘图模型横评中，HyperHuman（红色）都取得了最佳成绩，如果考虑文本匹配度，HyperHuman更是一骑绝尘。
得分越低越好
为了进行调查，研究人员除了使用测试数据外，还招募了100名用户，并调查他们更喜欢哪种模型的作品
经过比较，HyperHuman在选择更逼真、质量更好的图像时比其他多种模型更受欢迎
作者简介
HyperHuman论文的第一作者是香港中文大学的博士生刘献
HyperHuman是他在Snap公司实习期间完成的，Snap的Sergey Tulyakov等人也参与了本项目。
香港大学和南洋理工大学的学者也对HyperHuman做出了贡献
赤友清理大师是一款为 Mac 设计的智能清理优化工具，可精准扫描垃圾、大文件、重复文件等，释放磁盘空间。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
极度公式是一款跨平台专业LaTeX公式识别编辑软件，支持OCR公式识别和多平台编辑。和使用说明，避免使用，享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
一款文字处理软件，一种订阅式的跨平台办公软件，基于云平台提供多种服务，通过将 Excel 和 Outlook 等应用与 OneDrive 和 Microsoft Teams 等强大的云服务相结合，Office 365 可让任何人使用任何设备随时随地创建和共享内容。
CodeExpander 是一款快捷短语输入增强工具，通过键入缩写自动展开为自定义文段，提升工作效率。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。
Mountain Duck 是一款能将多个网盘挂载到本地的工具，像本地磁盘一样使用网盘。清理链路的完整性会更好一些，做应用卸载、残留处理和空间整理时，通常能少走很多手动排查步骤。
极度公式是一款跨平台专业LaTeX公式识别编辑软件，支持OCR公式识别和多平台编辑。和使用说明，避免使用，享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
一款文字处理软件，一种订阅式的跨平台办公软件，基于云平台提供多种服务，通过将 Excel 和 Outlook 等应用与 OneDrive 和 Microsoft Teams 等强大的云服务相结合，Office 365 可让任何人使用任何设备随时随地创建和共享内容。
Wise Folder Hider Pro 是一款专业级文件和文件夹隐藏加密软件，为私密数据添加多重保护。高频操作更强调就近处理，浏览、整理和跨目录移动文件时，来回切换和重复点击都会少很多。
CodeExpander 是一款快捷短语输入增强工具，通过键入缩写自动展开为自定义文段，提升工作效率。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。
Mountain Duck 是一款能将多个网盘挂载到本地的工具，像本地磁盘一样使用网盘。清理链路的完整性会更好一些，做应用卸载、残留处理和空间整理时，通常能少走很多手动排查步骤。
