香港科技大学与蚂蚁集团联手打造"实时电影导演"

最近，一项由香港科技大学、蚂蚁集团和上海交通大学联合完成的研究，为AI视频生成领域带来了一个颇具启发性的新思路。这项研究以预印本形式发布于2026年5月，论文编号为arXiv:2605.12496，感兴趣的读者可以查阅其完整的技术细节。

拍电影最难的是什么？或许不是拍好某一个惊艳的镜头，而是让所有镜头连贯地讲述同一个故事。导演需要在不同场景间丝滑切换，角色要在时隔许久的镜头里保持同一张脸，新的剧情要能随时插入而不显突兀——这对人类导演已是巨大挑战，对AI而言，则更像一道难以逾越的鸿沟。

然而，一个名为**CausalCine**的系统，正在尝试跨越这道鸿沟。它的核心目标很明确：让AI能像真正的电影导演一样，边生成视频边接受新的拍摄指令，并且已经“拍好”的镜头无需推倒重来。

这听起来似乎理所当然，但如果你了解当前AI视频生成的现状，就会明白这其实是一项相当棘手的任务。

一、为什么“让AI拍多镜头电影”这么难？

目前的AI视频生成系统，大致可分为两类。

第一类是“全局规划派”。这类系统在动工前，就规划好所有镜头的内容，然后一口气生成出来。它的优势在于前后镜头的协调性较好，因为生成过程是“双向”的，每个镜头既能参考前面，也能预见后面。但代价同样高昂：视频越长，计算量几乎呈平方级增长。更关键的是，用户必须在开始前就写完所有“剧本”，中途无法修改。

第二类是“逐帧生成派”。它像写日记一样，一帧一帧地往后生成，每次只参考已生成的内容。这种方式天然适合实时流式输出，计算成本也相对可控。但问题在于，一旦视频变长，系统就容易“失忆”——开始循环、画面漂移，甚至记错主角的脸。更麻烦的是，当需要切换场景时（比如从森林全景切到角色特写），它往往意识不到该开启新内容，只是机械地延续之前的画面。

不妨做个比喻：第一类系统像在录音棚里精心制作完整专辑的音乐人，品质完整但需要等待；第二类则像直播中即兴演奏的歌手，互动性强却容易跑调忘词。

CausalCine想做的，正是让那位“即兴歌手”不再跑调——在保留实时流式输出能力的同时，让AI真正理解“该换场景了”，并记住几分钟前出现过的人物。

二、把“拍片知识”教给AI，要从基础开始

研究团队发现，此前许多系统犯了一个顺序上的错误：先让AI学会快速生成（比如只用四步出图），再让它学习多镜头结构。这好比让学徒还没掌握调色，就去挑战一分钟完成画作——速度是快了，但基础不牢，一切皆是空中楼阁。

CausalCine的思路恰恰相反：先扎扎实实地教会AI多镜头拍片的能力，再去压缩速度。

为此，他们首先训练了一个“全步骤因果基础模型”。模型的训练素材是大量真实的长视频片段（约15秒，包含多个镜头切换）。训练采用了一种称为“教师强制”的方法：在同一次训练中，同时给AI看视频的“干净版本”（已生成内容）和“带噪声版本”（未生成内容），让AI在对照中学习——在已知前面镜头的情况下，接下来应该生成什么。

这个训练过程的设计颇为精妙。系统将一段视频的所有片段打包成一个长序列，并分成两半：前半段是所有干净片段，后半段是所有带噪声片段。同时，设定了一套严格的“注意力规则”：干净片段可以互相参照，但只能看时间上在自己之前的内容；带噪声片段只能看干净部分，不能相互交叉；干净片段则完全不允许看带噪声部分。这套规则确保了AI在训练中学到的“回顾历史、预测未来”的逻辑，与它实际生成视频时的工作方式完全一致。

与此同时，每个视频片段的文字描述（即镜头指令）是按镜头分配的：同一镜头内的片段共享同一描述，镜头切换时，描述也随之改变。这套机制让AI学会了：当文字描述变化时，画面需要真正做出一个新的开始，而非惯性延续上一个场景。

这一阶段的效果是显著的。经过如此训练的基础模型，已经能够稳定生成多镜头视频，在切换场景时不再“卡”在旧画面中，也不会混淆人物。

三、记住过去，但不能什么都记——智能记忆路由是怎么工作的

解决了多镜头结构问题后，第二个挑战随之而来：随着视频越来越长，AI需要记住的东西越来越多，但计算机的“工作记忆”有限。如果全盘记忆，会撑爆系统；如果只记最近内容，又会遗忘很久前出现的重要角色。

以往的做法通常是“保留最近几秒内容，再加上视频开头的几帧”。这好比开会时，你只记得刚才说的话和会议开场白，中间的重要讨论全忘了。这在单场景视频中或许勉强够用，但一旦涉及多场景、角色跨镜头出现，该方法便彻底失效：你需要记住的那个人可能出现在第二个镜头，而系统只记得开头和最近的画面，第二个镜头早已被遗忘。

CausalCine引入了一套更聪明的机制，称为“内容感知记忆路由”（Content-Aware Memory Routing, CAMR）。

具体而言，系统会为历史视频中的每一帧提取一个“内容摘要”——通过对该帧视觉特征进行平均，得到一个代表其“大意”的向量。同时，对当前正在生成的视频片段，也提取一个类似的“当前需求摘要”。随后，系统将当前需求与历史每一帧的摘要进行匹配打分，找出历史中最相关的若干帧，调出参与注意力计算。

这套机制的工作方式，更接近一位经验丰富的导演在脑海中的检索：不是盲目回想最近的事，而是根据当前场景需要，精准回忆起“我们之前拍过类似的画面”。在实验中，系统会保留最近3个片段的完整记忆（类似“短期工作记忆”），并额外从历史中检索出5帧最相关的内容（类似“长期语义记忆”）。

这里还有一个巧妙的细节：检索到的历史帧在使用时会被重新编号。例如，一帧视频的实际位置可能是第1000帧，若直接将该编号输入模型，AI可能无法理解（因为训练时从未见过这么大的数字）。CausalCine的解决方案是：无论该帧实际是第几帧，在使用时都按照“记忆帧占0到4号位，最近窗口占5到13号位，当前片段占14到16号位”的固定格式重新排列。这样，无论视频多长，AI看到的位置编号始终在自己熟悉的范围内，避免了“位置恐慌”。

研究团队将这一设计称为“块相对旋转位置编码”。本质上，它就是为AI提供了一套固定格式的“记忆文件夹”，无论历史多深，每次查阅都按同一套索引进行。

四、从“会拍”到“实时拍”——四步完成的加速技术

具备了扎实的多镜头理解能力和智能记忆机制后，最后一步是让系统真正“跑起来”——并且要足够快，以实现实时流式输出。

标准的扩散模型通常需要几十甚至上百步迭代才能生成一帧高质量图像，这对实时视频来说太慢了。CausalCine采用了一种名为“分布匹配蒸馏”（Distribution Matching Distillation, DMD）的技术，将那个需要50步才能完成工作的基础模型（“老师”），压缩成一个只需4步的“学生模型”。

这个过程可以理解为：先由“老师”慢慢走完50步，生成一段高质量视频；再让“学生”在仅走4步的情况下，尽力逼近“老师”的最终结果。训练目标并非逐帧模仿，而是让“学生”的输出分布与“老师”的输出分布尽可能接近。

此外，研究团队在压缩过程中还加入了一个“鉴别器”——一个轻量级的判断网络，专门检测视频中是否出现长镜头漂移、人物位置乱跑、画面构图突变等问题。如果“学生”生成的视频被鉴别器判定为“不真实”，训练就会对其施加惩罚。这一机制有效稳定了长视频的视觉质量，避免了画面主体在一系列镜头后悄悄移位或变形。

整个蒸馏过程还有一个初始化步骤：在正式进行分布匹配训练前，先让“学生”进行“预热”——在给定正确历史条件下，学习模仿“老师”沿标准轨迹走4步的结果。这相当于先为学生打好基本功，确保其在后续高强度训练中不会因起点太差而跑偏。

五、这套系统究竟有多好用？

为了客观评估，研究团队构建了一个专门的评测基准，利用谷歌的Gemini 2.5 Pro生成了100段测试用的多镜头剧本。每段剧本包含一个整体故事描述和五个分镜头描述，涵盖了角色跨镜头重现、场景切换、正反拍互动、视角变化以及长时间间隔等多种复杂场景。

评测结果在多个维度上都颇具说服力。与其他自回归（逐段生成）视频系统相比，CausalCine在文字指令跟随、镜头切换准确率等关键指标上显著领先。具体而言，其镜头切换准确率达到0.9732，而对比的其他系统大多在0.5左右徘徊，表现最好的竞争对手ShotStream也仅为0.9647。这意味着，当用户指令要求“第二个镜头拍室内特写”时，CausalCine确实会在对应时间点准确切换，而其他系统往往忽略切换或出现较大位置偏差。

与“全局规划派”的双向生成模型相比，CausalCine在视觉质量和跨镜头一致性上也展现出相当的竞争力——部分指标甚至有所超越——同时保留了实时流式输出和中途修改指令的核心优势，而这些是双向模型无法做到的。

在消融实验中，三个核心设计的价值得到了验证。若没有多镜头因果调优阶段直接压缩速度，镜头切换准确率会从0.9732骤降至0.5042，跨镜头角色一致性也大幅下滑；将内容感知记忆路由替换为固定的“首帧记忆”后，跨镜头一致性明显下降，角色长时间消失后再次出现时往往面目全非；若去掉对抗正则化（即“鉴别器”），生成的视频则容易出现长镜头后画面构图漂移的问题。

在硬件部署层面，CausalCine运行在8张英伟达H200显卡上，以140亿参数的骨干模型，实现了每秒16帧的实时生成速度。

六、它还不完美的地方

研究团队对自身局限性的描述相当坦诚。其中两个主要问题值得关注。

第一是硬件门槛。140亿参数模型加上8张H200显卡的配置，对普通消费者或小型团队而言完全不现实。不过，研究团队认为这更多是工程层面的限制，而非方法本身的根本缺陷。随着更小的视频骨干模型出现、模型量化技术进步以及更高效的注意力计算核问世，这一门槛有望逐步降低。

第二是“物理状态连续性”问题。CausalCine能记住人物、跟随叙事逻辑，但并未对物理世界建立显式的状态追踪。论文附录中展示了一个失败案例：一段咖啡拉花视频，整体场景和杯子保持一致，但牛奶的流向、壶的位置、手的姿势以及奶泡的形状，在不同镜头之间发生了物理上不可能的变化。这说明，内容感知记忆能帮助AI“认出”之前的画面，但无法替代真正的物理状态建模与因果推理。

归根结底，这项研究证明了什么？

说到底，CausalCine最核心的贡献，在于将一组看似矛盾的需求在一定程度上统一了起来：既要实时流式生成（如直播），又要维持多镜头的叙事一致性（如电影）；既要能随时接受新指令（如现场导演），又要记住很久之前的内容（如有经验的剧组成员）。

这项任务的难度，不仅在于任何单项技术挑战，更在于这些要求之间存在内在张力。CausalCine的解法，是将“学会多镜头”与“学会加速”严格分开，先夯实前者，再优化后者；同时在记忆管理上，从“记最近的和最开始的”转变为“记最相关的”，让有限的注意力资源用在刀刃上。

对普通用户而言，这意味着未来的AI视频生成工具，或许真能像一个随叫随到的虚拟导演：你描述第一幕场景，它开始生成，画面实时流出；你看到第二幕想加个角色特写，直接追加指令，它便顺着已有内容继续，无需从头开始。这种体验目前仍停留在实验室演示阶段，但通往那个方向的技术路径，已因这项工作而变得更加清晰。

Q&A

Q1：CausalCine生成视频需要什么硬件？普通人能用吗？

目前，CausalCine需要8张英伟达H200显卡才能达到每秒16帧的实时效果，这对普通消费者而言完全不现实。不过，研究团队认为这属于工程层面的限制。随着模型量化、更小骨干模型以及更高效计算技术的发展，未来硬件门槛有望降低。现阶段，它主要是一套实验室级别的研究成果。

Q2：CausalCine的内容感知记忆路由和普通的滑动窗口记忆有什么区别？

普通滑动窗口通常只保留最近几帧加上视频开头的几帧，无论这些内容是否真正有用。CausalCine的内容感知记忆路由则会为历史每一帧提取内容摘要，并与当前生成内容进行相关性打分，自动选出历史中最“有用”的帧作为参考。因此，即使某个人物出现在很久之前的第二个镜头，只要当前场景需要，系统也能精准将其调出。

Q3：CausalCine无法处理哪类视频内容？

CausalCine在需要精确追踪物体物理状态的场景下表现较差。例如，一段展示咖啡拉花全过程的视频，每个单独镜头看起来都合理，但牛奶流向、壶的位置、手势等物理细节在镜头之间会出现不连续的变化。这是因为系统没有对物理世界建立显式的状态追踪，仅依赖视觉相似性来维持一致性。