两分钟1200帧的长视频生成器StreamingT2V来了，代码将开源
Air Explorer Pro是一款跨平台多网盘管理工具，可实现一站式完成不同网盘间文件的互传、搜索和同步等操作。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。
广阔的战场，风暴兵在奔跑……prompt：Wideshotofbattlefield,stormtroopersrunning...这段时长达1200帧的2分钟视频是由文本生成视频（text-to-video）模型生成的。尽管AI的痕迹仍然显而易见，但其中的人物和场景展现出相当不错的一致性。这是如何办到的呢？要知道，虽然近些年文生视频技术的生成质量和文本对齐质量都已经相当出色，但大多数现有方法都聚焦于生成短视频（通常是16或24帧长度）。然而，适用于短视频的现有方法通常无法用于长视频（≥64帧）。即使是生
广阔的战场，风暴兵在奔跑……
prompt：Wide shot of battlefield, stormtroopers running...
这段时长达1200帧的2分钟视频是由文本生成视频（text-to-video）模型生成的。尽管AI的痕迹仍然显而易见，但其中的人物和场景展现出相当不错的一致性。
这是如何办到的呢？要知道，虽然近些年文生视频技术的生成质量和文本对齐质量都已经相当出色，但大多数现有方法都聚焦于生成短视频（通常是 16 或 24 帧长度）。然而，适用于短视频的现有方法通常无法用于长视频（≥ 64 帧）。
即使是生成短序列，通常也需要成本高昂的训练，比如训练步数超过 260K，批大小超过 4500。如果不在更长的视频上进行训练，通过短视频生成器来制作长视频，得到的长视频通常质量不佳。而现有的自回归方法（通过使用短视频后几帧生成新的短视频，进而合成长视频）也存在场景切换不一致等一些问题。
为了弥补现有方法的不足，Picsart AI Research等多个机构联合提出了一种新的文生视频方法：StreamingT2V。这种方法采用自回归技术，并结合长短期记忆模块，使其能够生成时间连贯性强的长视频。
- 论文标题：StreamingT2V: Consistent, Dynamic, and Extendable Long Video Generation from Text
- 论文地址：https://arxiv.org/abs/2403.14773
- 项目地址：https://streamingt2v.github.io/
如下是一段 600 帧 1 分钟的视频生成结果，可以看到蜜蜂和花朵都有非常出色的一致性：
因此，团队提出了条件注意力模块（CAM）。CAM利用其注意力机制，能够有效地整合之前帧的信息来生成新的帧，并且能够自如地处理新帧中的运动情况，而不受之前帧结构或形状的限制。
而为了解决生成的视频中人与物外观变化的问题，该团队又提出了外观保留模块（APM）：其可从一张初始图像（锚帧）提取对象或全局场景的外观信息，并使用该信息调节所有视频块的视频生成过程。
为了进一步提升长视频生成的质量和分辨率，该团队针对自回归生成任务对一个视频增强模型进行了改进。为此，该团队选择了一个高分辨率文生视频模型并使用了 SDEdit 方法来提升连续 24 帧（其中有 8 帧重叠帧）视频块的质量。
为了使视频块增强过渡变得平滑，他们还设计了一种随机混合方法，能以无缝方式混合重叠的增强过的视频块。
方法
首先，生成 5 秒时长的 256 × 256 分辨率的视频（16fps），然后将其增强至更高的分辨率（720 × 720）。图 2 展示了其完整的工作流程。
长视频生成部分由初始化阶段（Initialization Stage）和流式文生视频阶段（Streaming T2V Stage）构成。
其中，初始化阶段是使用一个预训练的文生视频模型（比如可以使用 Modelscope）来生成第一个 16 帧的视频块；而流式文生视频阶段则是以自回归方式生成后续帧的新内容。
对于自回归过程（见图 3），该团队新提出的 CAM 可以利用之前视频块最后 8 帧的短期信息，实现块之间的无缝切换。另外，他们还会使用新提出的 APM 模块来提取一张固定锚帧的长期信息，使自回归过程能稳健地应对事物和场景细节在生成过程中的变化。
在生成得到了长视频（80、240、600、1200 或更多帧）之后，他们再通过流式优化阶段（Streaming Refinement Stage）来提升视频质量。这个过程会以自回归方式使用一个高分辨率文生短视频模型（如可使用 MS-Vid2Vid-XL），再搭配上新提出的用于无缝视频块处理的随机混合方法。而且后一步无需额外的训练，这使得该方法无需较高的计算成本。
条件注意力模块
首先，将所使用的预训练文生（短）视频模型记为 Video-LDM。注意力模块（CAM）的构成是一个特征提取器、一个向 Video-LDM UNet 注入的特征注入器。
其中特征提取器使用了逐帧的图像编码器，之后是与 Video-LDM UNet 直到中间层一直使用的一样的编码器层（并通过 UNet 的权重初始化）。
对于特征注入，这里的设计则是让 UNet 中的每个长程跳跃连接通过交叉注意力关注 CAM 生成的相应特征。
外观保留模块
APM 模块可通过使用固定锚帧中的信息来将长期记忆整合进视频生成过程中。这有助于维持视频块生成过程中的场景和对象特征。
为了让 APM 能平衡处理锚帧和文本指令给出的引导信息，该团队做出了两点改进：（1）将锚帧的 CLIP 图像 token 与文本指令的 CLIP 文本 token 混合起来；（2）为每个交叉注意力层引入了一个权重来使用交叉注意力。
自回归视频增强
为了自回归地增强 24 帧的生成视频块，这里使用的是高分辨率（1280x720）的文生（短）视频模型（Refiner Video-LDM，见图 3）。这个过程的做法是首先向输入视频块加入大量噪声，然后再使用这个文生视频扩散模型来进行去噪处理。
不过，这种方法不足以解决视频块之间的过渡不匹配的问题。
为此，该团队的解决方案是随机混合方法。具体详情请参阅原论文。
实验
在实验中，该团队使用的评估指标包括：用于评估时间一致性的 SCuts 分数、用于评估运动量和扭变误差的运动感知扭变误差（MAWE）、用于评估文本对齐质量的 CLIP 文本图像相似度分数（CLIP）、美学分数（AE）。
消融研究
为了评估各种新组件的有效性，该团队从验证集中随机采样 75 个 prompt 执行了消融研究。
用于条件处理的 CAM：CAM 能帮助模型生成更一致的视频，其 SCuts 分数比相比较的其它基线模型低 88%。
长期记忆：图 6 表明长期记忆能在自回归生成过程中极大帮助维持对象和场景的特征稳定。
在一个定量评估指标（人再识别分数）上，APM 实现了 20% 的提升。
用于视频增强的随机混合：与其它两个基准相比，随机混合能带来显著的质量提升，从图 4 中也能看到：StreamingT2V 可以得到更平滑的过渡。
StreamingT2V 对比基线模型
该团队通过定量和定性评估比较了集成上述改进的 StreamingT2V 与多种模型，包括使用自回归方法的图像到视频方法 I2VGen-XL、SVD、DynamiCrafter-XL、SEINE，视频到视频方法 SparseControl，文本到长视频方法 FreeNoise。
定量评估：从表 8 可以看出，在测试集上的定量评估表明，StreamingT2V 在无缝视频块过渡和运动一致性方面的表现最佳。新方法的 MAWE 分数也显著优于其它所有方法 —— 甚至比第二好的 SEINE 低 50% 以上。SCuts 分数上也有类似表现。
此外，在生成视频的单帧质量上，StreamingT2V 仅略逊于 SparseCtrl。这表明这个新方法能够生成高质量的长视频，并且比其它对比方法具有更好的时间一致性和运动动态。
定性评估：下图展示了 StreamingT2V 与其它方法的效果比较，可以看出新方法能在保证视频动态效果的同时维持更好的一致性。
更多研究细节，可参考原论文。
Postman是一套面向API全生命周期的开发与测试平台，可在Mac上发送和调试多种协议请求，管理集合、环境及认证信息，并完成脚本测试、模拟服务、监控、文档发布和团队协作。它适合开发、测试及运维人员使用，提供个人免费方案。
Docker Desktop 是 Docker 官方为 Mac 提供的容器开发环境，集成 Docker Engine、命令行工具、Compose、Build、Kubernetes 与图形化管理界面。
Android Studio 是 Google 面向安卓应用开发提供的官方集成开发环境，基于 IntelliJ IDEA 构建。它整合智能代码编辑、Gradle 构建、界面预览、设备模拟、性能分析、调试测试及 APK 分析等工具。
Xcode 是苹果面向 Mac 提供的官方集成开发环境，将代码编辑、项目构建、SwiftUI 实时预览、设备模拟、自动化测试、断点调试、性能分析和应用分发整合在同一套工作流中，适合开发与维护 iPhone、iPad、Mac、Apple Wa
JetBrains WebStorm 是面向 JavaScript、TypeScript 和现代 Web 技术的专业集成开发环境，可智能理解项目结构，提供代码补全、重构、错误检查、运行调试、测试及 Git 工具。
PhpStorm 是 JetBrains 推出的专业 PHP 集成开发环境，可在 Mac 上完成代码编写、智能检查、重构、调试、测试和数据库管理。它支持主流 PHP 框架、Composer、Git、Docker 与远程解释器。
JetBrains PyCharm 是面向 Python 开发者的集成开发环境，提供智能补全、代码检查、重构、调试、测试、版本控制及虚拟环境管理功能。Mac 版兼容 Intel 与 Apple 芯片，核心功能可免费使用。
IntelliJ IDEA 是 JetBrains 推出的专业集成开发环境，重点服务于 Java、Kotlin 与 JVM 项目开发。软件集成代码补全、静态检查、重构、调试、测试、版本控制及构建工具，并可借助插件扩展语言和框架支持。
Visual Studio Code 是微软提供的免费代码编辑器，支持 macOS，并为 Intel 与 Apple 芯片 Mac 提供适配版本。软件集代码编辑、调试、Git 源代码管理、集成终端和扩展市场于一体。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Pro Tools 是 Avid 推出的专业数字音频工作站，覆盖多轨录音、无损剪辑、MIDI 编曲、插件处理、自动化混音及声音与画面同步等工作。它拥有 Intro、Artist、Studio 和 Ultimate 等方案。
PixPix 是面向品牌、卖家和内容团队的在线 AI 图片视频创作平台，提供图视频 Agent、无限画布、图片生成、视频生成、自然语言编辑及商品套图、产品精修和带货视频等电商工具。
Postman 是面向 API 全生命周期的开发与协作平台。Windows 桌面版可用于构建和发送 HTTP、GraphQL、gRPC、WebSocket、MQTT 等请求，并提供环境变量、集合、脚本测试、模拟服务、监控、文档及团队工作区等
Docker Desktop 为 Windows 开发者提供集成式容器环境，内置 Docker Engine、命令行工具、Compose、Build 与 Kubernetes 等组件，可在本机完成镜像构建、容器运行、日志查看和资源管理。
Android Studio 是 Google 面向 Android 应用开发提供的官方集成开发环境，以 IntelliJ IDEA 为基础，集成智能代码编辑、Gradle 构建、设备模拟、界面预览、调试测试及性能分析工具，
WebStorm 是 JetBrains 面向 JavaScript、TypeScript 和现代 Web 技术打造的集成开发环境。它提供项目级代码分析、智能补全、安全重构、导航搜索，并集成调试、测试、终端、Git 与常用前端工具，
PhpStorm 是 JetBrains 面向 PHP 与现代 Web 开发打造的专业集成开发环境，提供代码补全、静态检查、重构、调试、测试、数据库、版本控制及前端语言支持。Windows 用户可直接下载安装程序，
PyCharm 是 JetBrains 推出的 Python 集成开发环境，提供智能代码补全、错误检查、重构、调试、测试、Git、终端及 Jupyter Notebook 支持。统一版安装后可体验 30 天 Pro 功能，
JetBrains IntelliJ IDEA 是以 Java、Kotlin 和 JVM 项目为核心的专业集成开发环境，提供智能补全、代码检查、安全重构、调试、测试、版本控制及构建工具集成。统一发行版的核心功能可免费用于商业和非商业项目，
Visual Studio Code 是微软推出的免费代码编辑器，Windows 版集成智能补全、代码导航、调试、终端和版本控制，并可通过扩展添加语言、格式化及远程开发能力。它启动较快、配置灵活，
REAPER 是 Cockos 推出的数字音频工作站，适用于录音、MIDI 编曲、音频编辑、混音、母带制作及声音设计。软件安装包小巧，支持多轨录制、灵活路由、自动化、第三方插件和脚本扩展，并提供完整功能的 60 天免费评估期。
Adobe Audition 是面向播客、影视后期、广播与音乐制作的专业音频工作站，提供波形编辑、多轨混音、频谱分析、录音、降噪修复和效果处理等功能。Windows 版通过 Adobe Creative Cloud 安装和管理，
Pro Tools 是 Avid 推出的专业数字音频工作站，提供多轨录音、音频剪辑、MIDI编曲、插件处理、自动化混音及影视声音制作能力。它适合音乐人、录音师、制作人和音频后期团队使用，并提供免费入门版、订阅方案及永久授权选择。