CVPR 2024｜生成不了光线极强的图片？微信视觉团队有效解决扩散模型奇点问题
扩散模型凭借其在图像生成方面的出色表现，开启了生成式模型的新纪元。诸如StableDiffusion，DALLE，Imagen，SORA等大模型如雨后春笋般涌现，进一步丰富了生成式AI的应用前景。然而，当前的扩散模型在理论上并非完美，鲜有研究关注到采样时间端点处未定义的奇点问题。此外，奇点问题在应用中导致的平均灰度等影响生成图像质量的问题也一直未得到解决。为了解决这一难题，微信视觉团队与中山大学合作，联手探究了扩散模型中的奇点问题，并提出了一个即插即用的方法，有效解决了初始时刻的采样问题。该方法成功解决了
为扩散模型的训练样本，训练样本的分布可以表示为：
，
，
，
随着时间单调的从 1 变化到 0。考虑到刚刚定义的训练样本分布，
的单时刻边际概率密度可以表示为：
由此，可以通过贝叶斯公式计算逆过程的条件分布：
然而，经过的分布是混合高斯分布，难以用网络进行拟合。因此，主流的扩散模型通常假设这一分布可以由单个高斯分布拟合。
为了验证这一假设，该研究在 Proposition 1 中估计了这一拟合的误差。
也将趋近于 1，误差无法忽略。因此，Proposition 1 并不能证明 t=1 时的逆向高斯特性。为了解决这一问题，该研究给出了新的命题：
将趋近于 0。由此，该研究证明了包含奇点时刻的逆过程全过程都符合高斯特性。
=0，下面的采样公式将出现分母除 0 的情况：
，使用 「x - 预测」，来解决的初始奇点处的采样问题。
。这样的奇异性会使得采样过程收敛到正确的数据
上。因此，t=0 处的奇点是扩散模型良好的性质，并不需要规避。
SingDiffuion 的算法如下图所示：
，该方法训练了一个 Unet
来拟合
。损失函数表示为：
采样
。
符合 1-ε 时刻的数据分布
，从而解决了平均灰度问题。在这一步骤之后，就可以使用预训练的模型执行后续的采样步骤，直到生成
。值得注意的是，由于该方法仅参与第一步的采样，与后续的采样过程无关，因此 SingDiffusion 可以应用在绝大多数已有的扩散模型中。另外，为了避免无分类器指导操作导致的数据溢出问题，该方法还使用了以下的归一化操作：
可以看出，该研究所提出的方法仅需进行一次训练，即可轻松地应用到已有的扩散模型中，解决平均灰度问题。
从结果中可以看出，该方法能有效解决 ControlNet 的平均灰度问题。
火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力，依托字节自研豆包多模态大模型，凭借火山方舟一站式平台，提供模型精调、推理部署、智能应用搭建等全链路服务，结合高性能AI算力，助力各行业快速落地大模型数字化与智能化应用。
AirBuddy 3 是面向 macOS 的蓝牙外设增强工具，可集中查看 AirPods、Beats 与苹果设备电量，提供快速连接、播放控制、电量提醒、桌面小组件和多台 Mac 外设接力等功能。
AirServer macOS版可把 Mac 转换为无线投屏接收端，通过 AirPlay 或 Google Cast 接收手机、平板和电脑画面，并支持多设备同时连接、高清镜像及会话录制，适合家庭娱乐、课堂教学、会议演示和应用展示。
火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力，依托字节自研豆包多模态大模型，凭借火山方舟一站式平台，提供模型精调、推理部署、智能应用搭建等全链路服务，结合高性能AI算力，助力各行业快速落地大模型数字化与智能化应用。
PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台，提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具，适合短剧、漫剧、广告及社交媒体内容制作。
Autodesk Maya 是面向影视、电视、动画和游戏行业的专业三维制作软件，集多边形与 NURBS 建模、角色绑定、关键帧和动作捕捉动画、Bifrost 特效模拟、材质开发及 Arnold 渲染于一体，