1%参数，超越ControlNet，全新AI绘画控制大师震撼登场
“新·AI绘画细节控制大师”ControlNet-XS来啦！敲重点的是参数只要原始ControlNet的1%。就能做到蛋糕口味随意切换：△左图为改前改变一个人的着装风格也可以很容易：图中展示的是同款商品，它的外形保持不变，充满了艺术氛围的感觉无论是春天的绚丽花海，夏天的碧海蓝天，秋天的金黄枫叶还是冬天的银装素裹，自然风光都能令人心驰神往。四季更迭，每个季节都有独特的魅力，让人流连忘返还有这只猫头鹰，它直接从活物变成了雕塑：在参数很小的情况下，能够达到这样的效果，网友们纷纷赞叹不已，并迫不及待地想要阅读论文
“新·AI绘画细节控制大师”ControlNet-XS来啦！
敲重点的是参数只要原始ControlNet的1%。
就能做到蛋糕口味随意切换：
△左图为改前
改变一个人的着装风格也可以很容易：
图中展示的是同款商品，它的外形保持不变，充满了艺术氛围的感觉
无论是春天的绚丽花海，夏天的碧海蓝天，秋天的金黄枫叶还是冬天的银装素裹，自然风光都能令人心驰神往。四季更迭，每个季节都有独特的魅力，让人流连忘返
还有这只猫头鹰，它直接从活物变成了雕塑：
在参数很小的情况下，能够达到这样的效果，网友们纷纷赞叹不已，并迫不及待地想要阅读论文
ControlNet-XS由海德堡大学计算机视觉实验室研发，目前相关论文、预训练模型还未公布。
但研究人员表示ControlNet-XSFID分数明显优于ControlNet。
且控制Stable Diffusion-XL和Stable Diffusion 2.1的代码将在不久后开源。
新生代控制大师
让我们先来看一下对于StableDiffusion-XL的控制
研究人员在评估了不同大小的控制模型后发现，控制模型甚至不必和2.6B参数的StableDiffusion-XL基础网络大小一样。
400M、104M和48M参数的ControlNet-XS控制也很明显。
深度图给出了更为直观的展示，根据图像内容的距离、深度，深度图呈现出准确的颜色深浅度：
要注意的是，这里研究人员设置的每行seed值不同，每列seed值相同。
此外，还有Canny边缘检测图，物体的边界、轮廓都能清晰地展现出来：
对于StableDiffusion的控制，研究人员评估了三个版本的ControlNet-XS，分别为491M、55M和14M参数
研究结果显示，仅有1.6%的参数（865M）就能够可靠地控制生成过程
那么，如何实现这一点呢？
从头开始训练
原始ControlNet是StableDiffusion基础模型（base model）中U-Net编码器的副本，所以接收与基础模型相同的输入，并带有额外的引导信号，比如说边缘图。
然后，经过训练的ControlNet的中间输出被添加到基础模型的解码器层的输入中。在ControlNet的整个训练过程中，基础模型的权重保持冻结状态。
ControlNet-XS的研究者们认为这种方法存在问题，ControlNet不必这么庞大。
首先，Stable Diffusion最终输出的图像是通过一系列迭代生成的。在这个过程中，每个步骤都会在U-Net网络结构的编码器和解码器两部分中执行
在每次迭代中，基础模型和控制模型的输入都是由前一步骤生成的图像。此外，控制模型还会接收一个控制图像作为输入
在编码器阶段，这两个模型独立运行，而控制模型的反馈只在基础模型的解码阶段输入
总之，结果就是一个延迟的校正/控制机制。
也就是说ControlNet必须执行两项任务：一边校正/控制，一边还要提前预测基本模型的编码器将犯哪些“错误”。
通过暗示图像生成和控制需要相似的模型容量，可以自然而然地使用基础模型的权重初始化ControlNet的权重，然后进行微调
而对于ControlNet-XS，研究人员表示从设计上就与基础模型不同，是从零开始训练ControlNet-XS权重，解决了延迟反馈的问题。
如上图所示，方法是从基础模型的编码器添加连接到控制编码器（A），这样校正过程可以更快地适应基础模型的生成过程。但这并不能完全消除延迟，因为基础模型的编码器仍然没有受到引导。
因此，研究人员从ControlNet-XS添加额外的连接到基础模型编码器，直接影响整个生成过程（B）。
此外，他们还评估了在ControlNet设置中使用镜像解码架构是否有用（C）
最终，研究人员在COCO2017验证集上，针对Canny边缘引导的三种不同变体（A、B、C）与原始的ControlNet进行了FID分数性能评估。
所有变体的结果都有显著提升，同时只使用了原始ControlNet参数的一小部分
研究人员又拿出了变体B，分别使用Canny边缘图和深度图引导，针对StableDiffusion2.1和StableDiffusion-XL分别训练了三种不同大小的模型。
相关的论文、代码和预训练模型将会很快公布出来，敬请期待下一步的进展！
项目地址：https://vislearn.github.io/ControlNet-XS/ 可以在此链接中找到项目的详细信息
赤友清理大师是一款为 Mac 设计的智能清理优化工具，可精准扫描垃圾、大文件、重复文件等，释放磁盘空间。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
极度公式是一款跨平台专业LaTeX公式识别编辑软件，支持OCR公式识别和多平台编辑。和使用说明，避免使用，享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
一款文字处理软件，一种订阅式的跨平台办公软件，基于云平台提供多种服务，通过将 Excel 和 Outlook 等应用与 OneDrive 和 Microsoft Teams 等强大的云服务相结合，Office 365 可让任何人使用任何设备随时随地创建和共享内容。
CodeExpander 是一款快捷短语输入增强工具，通过键入缩写自动展开为自定义文段，提升工作效率。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。
Mountain Duck 是一款能将多个网盘挂载到本地的工具，像本地磁盘一样使用网盘。清理链路的完整性会更好一些，做应用卸载、残留处理和空间整理时，通常能少走很多手动排查步骤。
极度公式是一款跨平台专业LaTeX公式识别编辑软件，支持OCR公式识别和多平台编辑。和使用说明，避免使用，享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
一款文字处理软件，一种订阅式的跨平台办公软件，基于云平台提供多种服务，通过将 Excel 和 Outlook 等应用与 OneDrive 和 Microsoft Teams 等强大的云服务相结合，Office 365 可让任何人使用任何设备随时随地创建和共享内容。
Wise Folder Hider Pro 是一款专业级文件和文件夹隐藏加密软件，为私密数据添加多重保护。高频操作更强调就近处理，浏览、整理和跨目录移动文件时，来回切换和重复点击都会少很多。
CodeExpander 是一款快捷短语输入增强工具，通过键入缩写自动展开为自定义文段，提升工作效率。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。
Mountain Duck 是一款能将多个网盘挂载到本地的工具，像本地磁盘一样使用网盘。清理链路的完整性会更好一些，做应用卸载、残留处理和空间整理时，通常能少走很多手动排查步骤。
