制作个性化的arXiv研究论文推荐系统，德国顶级视觉团队推出免费使用的「论文定制化」服务
10毫秒生成一张图像，1分钟6000张图像，这是什么概念？下图中，就可以深刻感受到AI的超能力。图片甚至，当你在二次元小姐姐图片生成的提示中，不断加入新的元素，各种风格的图片更迭也是瞬间闪过。图片如此惊人的图片实时生成速度，便是来自UC伯克利、日本筑波大学等研究人员提出StreamDiffusion带来的结果。这个全新的解决方案是一种扩散模型流程，能够以超过100fps的速度，实现实时交互式图像生成。图片论文地址：https://arxiv.org/abs/2312.12491StreamDiffusio
10毫秒生成一张图像，1分钟6000张图像，这是什么概念？
下图中，就可以深刻感受到AI的超能力。
图片
甚至，当你在二次元小姐姐图片生成的提示中，不断加入新的元素，各种风格的图片更迭也是瞬间闪过。
图片
如此惊人的图片实时生成速度，便是来自UC伯克利、日本筑波大学等研究人员提出StreamDiffusion带来的结果。
这个全新的解决方案是一种扩散模型流程，能够以超过100fps的速度，实现实时交互式图像生成。
图片
论文地址：https://arxiv.org/abs/2312.12491
StreamDiffusion开源后直接霸榜GitHub，狂揽3.7k星。
图片
StreamDiffusion创新性采用了批处理策略，而非序列去噪，比传统方法快大约1.5倍。而且作者提出的新型剩余无分类器引导（RCFG）算法能够比传统无分类引导快2.05倍。
最值得一提的是，新方法在RTX 4090上，图像到图像的生成速度可达91.07fps。
图片
未来，在元宇宙、视频游戏图形渲染、直播视频流等不同场景中，StreamDiffusion快速生成能够满足这些应用的高吞吐量的需求。
尤其，实时的图像生成，能够为那些游戏开发、视频渲染的打工人们，提供了强大的编辑和创作能力。
图片
专为实时图像生成设计
目前，在各个领域中，扩散模型的应用需要具备高吞吐量和低延迟的扩散管道，以确保人机交互的高效性
一个典型的例子是，用扩散模型创建虚拟角色VTuber——能够对用户的输入做出流畅的反应。
图片
为了提高高吞吐量和实时交互能力，目前研究的方向主要集中在，减少去噪迭代次数，比如从50次迭代减少到几次，甚至一次。
常见的策略是将多步扩散模型提炼成几个步骤，用神经常微分方程（ODE）重新构建扩散过程。为提高效率，也有人对扩散模型进行了量化。
最新论文中，研究人员从正交方向（orthogonal direction）开始，引入了StreamDiffusion——一种实时扩散管道，专为互动式图像生成的高吞吐量而设计。
现有的模型设计工作可以与StreamDiffusion集成，同时还可以使用N步去噪扩散模型，以保持高吞吐量，并为用户提供更灵活的选择
图片
实时图像生成｜第一列和第二列：AI辅助实时绘图的示例，第三列：从3D头像实时渲染2D插图。第四列和第五列：实时相机滤镜。 实时图像生成｜第一列和第二列展示了AI辅助实时绘图的示例，第三列展示了通过实时渲染3D头像生成2D插图的过程。第四列和第五列展示了实时相机滤镜的效果
具体是如何实现的？
StreamDiffusion架构
StreamDiffusion是一种新的扩散管道，旨在提高吞吐量。
它由若干关键部分组成：
流批处理策略、剩余无分类器引导（RCFG）、输入输出队列、随机相似滤波（Stochastic Similarity Filter）、预计算程序、微型自动编码器的模型加速工具。
批处理去噪
在扩散模型中，去噪步骤是按顺序进行的，这就导致了U-Net的处理时间，与步骤数成比例增加。
然而，为了生成高保真的图像，就不得不增加步数。
为了解决交互式扩散中的高延迟生成的问题，研究人员提出了一种叫做Stream Batch的方法。
如下图所示，在最新的方法中，在处理下一个输入图像之前，不会等待单个图像完全去噪，而是在每个去噪步骤后接受下一个输入图像。
这样就形成了一个去噪批次，每个图像的去噪步骤交错进行。
通过将这些交错的去噪步骤串联成一个批次，研究人员就能使用U-Net高效地处理连续输入的批次。
在时间步t处编码的输入图像在时间步t+n处生成并解码，其中n是去噪步骤的数目。
图片
剩余无分类器引导（RCFG）
常见的无分类器指导（CFG）是一种，通过在无条件或否定条件项和原条件项之间执行向量计算。来增强原条件的效果的算法。
图片
这可以带来诸如加强提示的效果之类的好处。
然而，为了计算负条件剩余噪声，需要将每个输入潜变量与负条件嵌入配对，并在每个推理时间将其传递给U-Net。
为了解决这个问题，作者引入了一种创新的剩余无分类器引导（RCFG）
这种方法利用虚拟剩余噪声来逼近负条件，使得我们只需要在过程的初始阶段就能够计算负条件噪声，从而显著降低了负条件嵌入时额外的U-Net推理计算成本
输入输出队列
将输入图像转换为管道可管理的张量数据格式，反过来，将解码后的张量转换回输出图像，都需要不可忽略的额外处理时间。
为了避免将这些图像处理时间添加到神经网络推理流程中，我们将图像预处理和后处理分离到不同的线程中，从而实现并行处理。
此外，通过使用输入张量队列，还能应对因设备故障或通信错误造成的输入图像临时中断，从而实现流畅的流式传输。
图片
随机相似滤波（Stochastic Similarity Filter）
如下图是，核心扩散推理管道，包含VAE和U-Net。
通过引入去噪批处理和预先计算的提示嵌入缓存、采样噪声缓存和调度器值缓存，提高了推理流水线的速度，实现了实时图像生成。
随机相似滤波（SSF）是为了节省GPU功耗而设计的，可以动态关闭扩散模型管道，进而实现了快速高效的实时推理。
图片
预计算
U-Net架构既需要输入潜在变量，也需要条件嵌入。
通常情况下，条件嵌入来源于「提示嵌入」，在不同帧之间保持不变。
为了优化这一点，研究人员预先计算提示嵌入，并将其存储在缓存中。在交互或流模式下，这个预先计算的提示嵌入缓存会被召回。
在U-Net中，每一帧的键和值的计算是基于预先计算的提示嵌入实现的
因此，研究人员对U-Net进行修改，以存储这些键和值对，使其可以重复使用。每当输入提示更新时，研究人员都会在U-Net内重新计算和更新这些键和值对。
模型加速和微型自动编码器
为了优化速度，我们将系统配置为使用静态批大小和固定输入大小(高度和宽度)。
这种方法确保计算图和内存分配针对特定的输入大小进行优化，从而加快处理速度。
然而，这意味着如果需要处理不同形状的图像（即不同的高度和宽度），使用不同的批大小（包括去噪步骤的批次大小）。
实验评估
去噪批的定量评估
图8展示了批量去噪和原始顺序U-Net循环的效率比较
在实施批去噪策略时，研究人员发现处理时间有了显著改善。与顺序去噪步骤的传统U-Net循环相比，减少了一半的时间。
即使应用了神经模块加速工具TensorRT，研究人员提出的流批处理在不同的去噪步骤中仍能大幅提高原始顺序扩散管道的效率。
图片
此外，研究人员还将最新方法与Huggingface Diffusers开发的AutoPipeline-ForImage2Image管道进行了比较。
平均推理时间比较见表1，最新管道显示速度有了大幅提升。
在使用TensorRT时，StreamDiffusion能够在运行10个去噪步骤时实现13倍的速度提升。而在只涉及单个去噪步骤的情况下，速度提升可达59.6倍
即使没有TensorRT，StreamDiffusion在使用单步去噪时也比AutoPipeline提高了29.7倍，在使用10步去噪时提高了8.3倍。
图片
表2比较了使用RCFG和常规CFG的流扩散管道的推理时间。
在单步去噪的情况下，Onetime-Negative RCFG和传统CFG的推理时间几乎相同。
所以One-time RCFG和传统CFG在单步去噪时推理时间差不多。但是随着去噪步骤增加，从传统CFG到RCFG的推理速度提升变得更明显。
在第5步去噪时，Self-Negative RCFG比传统CFG快2.05倍，Onetime-Negative RCFG比传统CFG快1.79倍。
图片
图片
在此之后，研究人员对所提出的SSF的能耗进行了全面评估。这一过程的结果可以在图6和图7中看到
这些图展示了在输入视频中应用 SSF（将阈值η设为0.98）到包含周期性静态特征场景时GPU的使用模式
对比分析表明，在输入图像主要是静态图像且具有高度相似性的情况下，采用SSF可以显著降低GPU的使用率。
图片
消融研究
不同模块对不同去噪步骤下平均推理时间的影响如表3。可以看得见，不同模块的消减在图像到图像的生成过程中得到了验证。
图片
定性结果
在图10中展示了使用剩余无分类器导引（RCFG）对生成的图像进行快速条件调整的对齐过程
生成的图像，没有使用任何形式的CFG，显示弱对齐提示，特别是在方面，如颜色变化或添加不存在的元素，这是没有得到有效实现。
相比之下，CFG或RCFG的使用增强了修改原始图像的能力，例如改变头发颜色，添加身体模式，甚至包含像眼镜这样的物体。值得注意的是，与标准CFG相比，RCFG的使用可以加强提示的影响。
图片
最后，标准文本到图像生成结果的质量如图11所示。
使用sd-turbo模型，只需一步就可以生成像图11所示的那样的高质量图像。
当在 GPU: RTX 4090，CPU: Core i9-13900K，OS: Ubuntu 22.04.3 LTS的环境中，使用研究人员提出的流扩散管道和sd-turbo模型生成图像时，以超100fps的速率生成这种高质量的图像是可行的。
图片
网友上手，一大波二次元小姐姐来了
最新项目的代码已经开源，在Github已经收揽3.7k星。
图片
项目地址：https://github.com/cumulo-autumn/StreamDiffusion
许多网友已经开始生成自己的二次元老婆了。
图片
还有真人变实时动画。
图片
10倍速手绘生成。
图片
图片
图片
感兴趣的童鞋们，不如自己动手吧。
参考资料：
https://huggingface.co/papers/2312.12491
https://twitter.com/cumulo_autumn/status/1732309219041571163
WPS Office是一款面向macOS用户的综合办公套件，将文字处理、电子表格、演示文稿、PDF工具、模板与云协作整合在同一应用中。它兼容常见Microsoft Office格式，支持Intel及Apple芯片Mac，基础功能可免费使用，
Shapr3D是一款面向工业设计、机械工程、建筑概念和三维打印工作流的CAD软件。Mac版采用Parasolid建模内核，支持草图约束、实体建模、工程图、可视化渲染及常见CAD格式交换，并可通过账户在多台设备之间同步项目。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Ableton Live 是面向音乐制作人与现场表演者的数字音频工作站，提供编曲视图、独具特色的现场视图、音频录制、MIDI创作、实时变速、乐器及效果器。Mac版原生支持Apple芯片，并可连接音频接口、MIDI控制器和第三方插件。
Adobe After Effects 是面向动态图形、影视特效与视频合成的专业创作软件。它提供关键帧动画、遮罩抠像、运动跟踪、三维空间、文字动画和表达式等工具，并可与 Premiere Pro、Photoshop、Illustrator
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Adobe Bridge 是面向摄影师、设计师及内容团队的免费数字资产管理工具，可集中预览照片、视频和 Adobe 项目文件，并利用评级、标签、关键词、元数据、筛选与收藏集完成分类检索。它还支持批量重命名、格式导出、相机导入及 Camera
Adobe Illustrator 是 Adobe 推出的专业矢量图形设计软件，适合在 Mac 上制作标志、图标、插画、包装、信息图及印刷版面。它以路径和锚点构建可无损缩放的图形，并提供钢笔、形状、文字、图像描摹、渐变、画板及生成式功能。
Adobe InDesign 是面向印刷品与数字出版物的专业版面设计软件，可在 Mac 上制作书籍、杂志、宣传册、海报、报告及交互式文档。它提供精细的文字样式、网格、母版、长文档管理和印前输出能力。
Adobe Lightroom Classic 是面向桌面摄影工作流的照片管理与后期处理软件，可将原始照片保存在本地硬盘，通过目录、关键词、评分和收藏夹高效整理图库，并提供 RAW 冲印、蒙版、镜头校正、批量同步及多格式导出等功能。
Adobe Media Encoder 是 Adobe 推出的专业音视频编码与转码工具，可通过队列、预设和监视文件夹批量完成格式转换、代理文件创建及多平台成片输出，并与 Premiere Pro、After Effects 等软件紧密协作。
Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理软件，提供图层、蒙版、选区、修复、调色、文字排版、智能对象及生成式编辑等能力。Mac 版支持 Intel 与 Apple Silicon 处理器。
Postman 是面向 API 全生命周期的开发与协作平台。Windows 桌面版可用于构建和发送 HTTP、GraphQL、gRPC、WebSocket、MQTT 等请求，并提供环境变量、集合、脚本测试、模拟服务、监控、文档及团队工作区等
Navicat Premium 是一体化数据库开发与管理工具，可在同一界面连接 MySQL、PostgreSQL、SQL Server、Oracle、SQLite、MongoDB、Redis 等数据库，
Adobe Premiere（原名 Adobe Premiere Pro）是一款面向影视、短视频、广告和网络内容制作的专业非线性编辑软件。Windows 版提供多轨剪辑、字幕转录、调色、音频处理、动态图形、格式转换与智能辅助工具，
PhpStorm 是 JetBrains 面向 PHP 与现代 Web 开发打造的专业集成开发环境，提供代码补全、静态检查、重构、调试、测试、数据库、版本控制及前端语言支持。Windows 用户可直接下载安装程序，
PyCharm 是 JetBrains 推出的 Python 集成开发环境，提供智能代码补全、错误检查、重构、调试、测试、Git、终端及 Jupyter Notebook 支持。统一版安装后可体验 30 天 Pro 功能，
WPS Office 是金山办公推出的一体化办公套件，在 Windows 上提供文字处理、电子表格、演示文稿和 PDF 工具，并支持常见 Microsoft Office 文件格式。个人用户可以免费使用基础功能，
WebStorm 是 JetBrains 面向 JavaScript、TypeScript 和现代 Web 技术打造的集成开发环境。它提供项目级代码分析、智能补全、安全重构、导航搜索，并集成调试、测试、终端、Git 与常用前端工具，
Photoshop 2026 是 Adobe 推出的专业图像处理与视觉设计软件，支持 Windows、macOS 和 iPad 等平台，广泛应用于摄影修图、电商设计、平面海报、数字绘画及视觉合成等创作场景。
Blender 是一款免费开源、跨平台的专业 3D 创作软件，集建模、动画、渲染、视频编辑与视觉合成等功能于一体，广泛应用于影视动画、游戏设计和建筑可视化等领域。软件支持 Cycles 物理渲染器与 Eevee 实时渲染引擎，并提供多边形建模、骨骼绑定、物理模拟等专业工具。Blender 兼容 Windows、macOS 和 Linux 系统，安装包轻巧、运行流畅，依托活跃的全球开发者社区持续更新，是从初学者到专业创作者都值得选择的正版 3D 创作工具。
