港科大携手蚂蚁集团：当AI导演开始"记住"视频里的每一个角色

这项由香港科技大学、蚂蚁集团、浙江大学及香港中文大学联合完成的研究，以预印本形式于2026年7月2日发布在arXiv平台，编号为arXiv:2607.02517。

不妨想象这样一个场景：你正在看一部AI生成的电影，主角刚刚走出画面，下一秒镜头转回来，演员的脸却换了一个人。这听起来像低劣的剪辑失误，但恰恰是当前AI视频生成技术的软肋——AI导演似乎天生患有“脸盲症”，一旦某个角色脱离视线，再次出现时便认不出来了。

更棘手的是，现有的AI视频系统工作方式就像一个只会盯着当前屏幕的监控摄像头：它只处理眼前可见的画面，对于已经离开视野的角色，完全无法追踪其后续的状态。于是，当镜头重新对准那个角色时，AI给出的结果往往是：要么人物静止不动，仿佛时间冻结；要么容貌大变，变成了另一个人；要么直接凭空消失。

这个核心挑战，正是这篇论文要正面解决的。研究团队将他们的解决方案命名为 **WorldDirector**，字面意思是“世界导演”。名字很贴切：它的目标，是让AI不再只是被动录制画面，而是像真正的电影导演一样，掌控整个场景中每一个角色的运动轨迹，并确保无论镜头转向何处，所有角色都保持着完整而连续的“生命状态”。

一、现有AI视频系统的“失忆症”从何而来

要理解WorldDirector的突破，得先弄清楚现有系统为何会“失忆”。

把现有的AI视频生成模型想象成一个短期记忆极差的画家：你告诉他“画一个走路的女人和一辆静止的跑车”，他能画出来。但如果女人走出了画面边缘，你再问他“女人现在走到哪里了”，他根本答不上来——因为他只记得“眼睛能看到的”，对于已经离开视野的事物，记忆一片空白。

现有的AI视频模型基本都工作在这种模式下：它们把“角色在哪儿”和“画面长什么样”这两件事混在一起处理。角色的位置、运动、外貌细节，全部被压缩进同一套神经网络权重里。这种“一锅炖”的方式在短片段内还能应付，可一旦角色离开画面超过一段时间，系统就会丢失关于该角色的一切信息——再次出现时，要么凭空编造一个新样子，要么直接让角色“冻结”在最后一次被看见的状态。

研究团队将这个核心问题归结为两个必须同时满足的条件：第一，角色必须有“独立运动的意志”，即使摄像机没有看着它，它也应该按照物理逻辑继续移动；第二，系统必须保证“外貌一致性”，无论角色消失了多久，再次出现时必须是同一张脸、同一身衣服、同样的细节特征。缺了任何一个，都称不上真正的“世界模拟”。

二、把“导演大脑”和“摄影机”彻底分开

WorldDirector最核心的设计思路，可以用电影制作来做类比。

传统AI视频模型就像导演和摄影师合二为一的人——既要规划剧情走势，又要实时操作摄像机，结果两件事都做得不够好。WorldDirector则将这两个职责彻底拆开：一个大语言模型（LLM）充当“导演大脑”，专门负责规划所有角色的三维运动轨迹；另一套视频生成模型充当“摄影机”，专门负责按照导演的指示渲染画面。

导演大脑的工作方式是这样的：给定一张初始画面，系统会识别出所有感兴趣的动态对象——比如一个女人和一辆跑车。用户可以用文字描述想要的场景剧本，比如“女人向前走，摄像机向右旋转，然后跑车开始向前驶去”。大语言模型接收到这个描述后，会将其翻译成精确的三维坐标轨迹：每一帧，每个对象应该在三维空间中的哪个位置，朝向哪个方向。

这些三维轨迹再被投影到二维图像平面上，生成每一帧画面中每个对象应该出现的“边界框”——可以理解为一个标注了物体位置和大小的矩形框。这套二维边界框序列就成为视频生成模型的“位置指令”，告诉摄影机：“这个角色在这帧应该出现在这个区域，那个角色在那帧应该出现在那个位置。”

这种分离的好处显而易见。无论摄像机在看哪里，导演大脑中存储的三维轨迹都在持续更新，记录着每一个角色此刻应该在什么位置。当镜头重新转向某个角色时，系统精确知道它此时应该在哪里，不会因为“没看见”就忘记它的存在。

三、给每个角色颁发“视觉身份证”

知道角色在哪儿是一回事，让它看起来还是同一个人又是另一回事。为此，研究团队设计了一套叫做“外貌绑定”（Appearance Binding）的机制，相当于给每个角色颁发了一张“视觉身份证”。

具体来说，系统会维护一个“外貌条件视频”。对于画面中的每一个动态对象，系统会从之前已经生成或看到的视频帧中，找出该对象的历史外貌图像，裁剪出来，然后精确地放置在当前帧中该对象应该出现的位置上。这样，即使角色已经消失了很长时间，当它重新出现时，系统手里握有的参考图像会清楚地告诉视频生成模型：“这个位置要出现的角色，应该长这个样子。”

不过，这里有一个微妙的问题需要处理。如果系统在每一帧都给角色提供一张完全详细的参考图像，那么生成的角色就会像一张照片被强行贴到视频里——缺乏自然动态感，走起路来像是在“滑翔”而非真正迈步。为了解决这个问题，研究团队引入了一个叫做“时间丢弃机制”（Temporal Drop Mechanism）的设计。

这个机制的逻辑是：当角色刚进入画面的前16帧，系统会密集地提供外貌参考，帮助模型迅速锁定其外貌特征；之后，系统开始“稀疏化”参考频率，每隔6帧才提供一次外貌参考，其余帧则留给模型自己根据运动轨迹和文字描述来合成动作。这个信息瓶颈设计，迫使模型在保持外貌一致的同时，也必须根据角色的语义描述（比如“正在行走”）来生成真实的肢体动作，而不是简单地把参考图像平移过去。

四、串联历史记忆的“上下文胶水”

WorldDirector采用了一种叫做“因果分块生成”的架构。把整段视频想象成一串香肠，每一节就是一个5秒的视频片段（“块”）。系统先生成第一块，再生成第二块，再生成第三块，依次推进。每次生成新的一块时，系统都需要参考之前已生成的内容，以确保前后连贯。

这个参考机制被称为“上下文记忆”（Contextual Memory）。具体实现上，系统会从之前生成的视频帧中，用两套并行的策略挑选出最有价值的10帧作为参考：一套策略专门挑选与当前摄像机视角重叠度最高的帧（保证静态背景的一致性），另一套策略专门挑选包含最多动态角色信息的帧（保证动态对象的一致性）。两套策略挑出的帧被交错合并，去掉重复的，并确保彼此之间至少间隔4帧，最终形成一组时间分布均匀、内容全面的“记忆快照”。

这些记忆帧被拼接在当前待生成视频片段的前面，一同输入到视频生成模型中。为了防止记忆帧被当前正在进行的噪声渲染过程“污染”，系统对记忆帧施加了一种“单向注意力遮罩”：记忆帧只能关注自身，不能被当前带噪声的生成帧所影响，但当前的生成过程可以充分参考记忆帧的干净信息。此外，记忆帧在时间编码上被故意打上一个远超训练序列长度的偏移量，让模型在频率空间上清楚地区分“这是历史，那是当下”。

五、让文字描述精确落地的“空间导航系统”

还有一个重要细节：当用户给不同角色分别指定不同的行为描述时（比如“女人快步走，跑车缓慢行驶”），系统如何确保“快步走”这个描述只影响女人，而不会扩散到跑车上？

研究团队采用了一种叫做“空间感知加权交叉注意力”的机制。在视频生成过程中，画面被分解成许多小的视觉token（可以理解为画面的小碎片）。系统会识别出哪些视觉token落在哪个角色的边界框内，然后在计算文字描述与画面关系时，对属于某个角色区域内的视觉token与该角色专属文字描述之间的关联权重进行额外加强。这样，关于女人的文字描述就会在女人所在的画面区域内产生更强的影响，而不会“跑偏”到跑车所在的区域。这有效防止了“语义泄漏”——避免出现跑车突然变得像人一样走路的荒诞情况。

相机运动的处理同样经过精心设计。系统将所有历史帧和当前生成帧的相机姿态都转换为相对于当前块第一帧的相对坐标，使用一种叫做Plücker坐标的数学表示来编码相机的内参和外参，然后将这些相机运动信息以自适应归一化层的形式注入到视频生成模型的每一个处理模块中，让模型始终清楚当前的视角是如何变化的。

六、数据从哪里来：用游戏世界造训练素材

训练这样一个系统需要大量包含“角色走出画面然后重新出现”场景的视频数据，而现实世界中这类视频极为稀缺。研究团队的解决方案是：用游戏引擎生成这些数据。

他们搭建了一个游戏平台，专门生成时长15秒的视频，并在脚本中故意安排角色消失和重新出现的场景，同时记录精确的摄像机参数和角色位置信息。每段视频中，他们挑选一个5秒的训练窗口，这个窗口被专门选取为包含最多“新出现对象”的时段（即那些在第一帧还不在画面里、但后来出现的对象），以专门训练模型处理重现场景的能力。剩余的10秒则作为“候选池”，用来提供历史外貌参考和上下文信息。

接下来，他们用SAM3（一个强大的视频目标跟踪工具）来自动标注每个对象在每一帧中的位置边界框，其强大的重识别能力能够在对象暂时消失后再次出现时仍然准确对应上同一个体。然后，将独特的颜色标记叠加在每个对象上，再把这些带颜色标注的视频输入到Qwen2.5-VL-72B（一个强大的视觉语言模型）中，为每个对象的行为动作生成详细的文字描述，形成训练所需的文字-视频对数据。

七、实验结果：数字与画面都说话

研究团队构建了一个包含100段视频的测试集，这些视频中的场景和角色在训练时从未见过。评估从多个维度展开：像素级重建质量（PSNR、SSIM、LPIPS三个指标，分别衡量峰值信噪比、结构相似度和感知差异）、帧级别的主体和背景一致性（来自VBench评测框架），以及专门针对动态对象的“动态主体一致性”（DSC）——这个指标会把检测到的动态对象区域裁剪出来，分别用DINO和CLIP两种视觉特征计算前后帧之间的相似度，直接衡量角色重现时是否还认得出是同一个人。

与五个主流的对比方法相比——包括Yume 1.5、HY-World 1.5、Infinite World、LingBot-World-Fast和HyDRA——WorldDirector在像素级重建的三个指标上全面领先，PSNR从其他方法的13至14点区间一举跃升至18.127，SSIM达到0.502，LPIPS则降至0.359（这个指标越低越好）。在动态主体一致性上，WorldDirector的DSC-DINO达到0.769，DSC-CLIP达到0.917，同样是所有方法中最优秀的。

值得一提的是，Yume、HY-World和Infinite-World在VBench的主体一致性和背景一致性指标上数值较高，但研究团队指出，分析生成的视频后发现，这些方法之所以数值高，是因为它们根本就没有让角色和摄像机做太多运动——画面基本上静止不动，当然一致性就高了。而WorldDirector在产生高度动态运动的同时，依然维持了出色的一致性，这才是真正有意义的成就。

定性对比同样清晰。研究团队设计了一个测试场景：一个男人原地站立，然后向远处走去；同时摄像机先向左旋转（让男人离开画面），之后再转回来，让男人重新进入视野。Yume、HY-World和Infinite-World三个方法都让男人一直保持静止，完全没有按照描述走起来。LingBot-World虽然让男人动了起来，但在外貌细节上随着时间推移出现了明显退化。HyDRA更直接——它干脆在男人重新进入画面时生成了一个全新的、和之前完全不同的人。唯有WorldDirector准确执行了脚本设计，男人在整段视频中保持了相同的外貌，并且按预期完成了走出画面、在不可见区间继续前行、再次回到视野的完整动作。

八、消融实验：每一块都不可缺少

研究团队还做了一系列消融实验，验证各个设计组件的必要性。

第一组实验去掉了外貌条件（Appearance Condition），只保留位置信息。结果，模型在动态对象重新出现时出现了严重的身份丢失——它不知道重新出现的角色应该长什么样，只能胡乱生成一个看起来相似但并非同一人的形象。这验证了显式注入外貌参考的必要性。

第二组实验保留了外貌条件，但改为用自注意力路由的方式强化当前帧和历史帧中同一身份对象之间的注意力权重，而不引入额外的外貌参考通道。结果虽然颜色风格（比如衣服颜色）大体保持了一致，但精细纹理完全模糊，整个画面充满伪影，质量极差。分析认为，这是因为在训练数据中，静态背景占据了绝大多数像素，MSE损失被背景主导，模型根本学不到如何在小的动态区域上保持高保真的细节一致性。

第三组实验去掉了动态上下文（即只保留静态场景帧作为历史记忆，不专门挑选包含动态对象的历史帧）。结果，即使有外貌条件的帮助，模型在处理重现角色时身份保持能力也明显下降——它会生成语义上相似但并非同一个体的角色。这说明历史动态帧的记忆对于“认出”重现角色同样不可或缺。

第四组实验去掉了时间丢弃机制，改为每一帧都提供完整的密集外貌参考。结果角色动作出现了严重的“滑翔”效应——角色像一张照片被平移一样，看起来没有真正在走路，而是在地面上滑行。这证明时间丢弃机制是让角色自然运动、而非僵硬移动的关键。

九、“可编程世界事件”：让全新角色凭空出现

WorldDirector还支持一种特别有趣的功能——“可提示世界事件”（Promptable World Events）。这意味着系统并不局限于初始画面中已经存在的角色，用户可以在故事脚本中凭空定义全新的角色：给它起个描述（比如“一匹骏马”），设定它从哪个方向进入画面，规划它进入后的运动轨迹，然后系统就会在指定时刻让这匹马自然地出现在画面中，并在它第一次出现后将其外貌纳入外貌条件池，确保它后续每次出现都还是同一匹马。

论文中展示了一个例子：画面从一片空旷的沙漠场景开始，然后在不同时刻陆续出现了骆驼、一辆卡车和一个人物，每个新角色都按照预设轨迹运动，整个序列长达560帧，各角色和场景的一致性都得到了很好的维持。这种能力让系统不再只是“续写已有视频”，而是真正成为一个可以编排全新世界事件的导演工具。

此外，系统还支持灵活的视角切换。研究团队展示了两种场景：一种是全程跟随一只奔跑的狗进行第三人称追踪，同时完成360度全景旋转；另一种是前两个块保持第三人称跟拍人物，第三个块切换为第一人称视角，镜头从角色身上分离并开始独立向后移动。这两种模式都通过调整摄像机轨迹与角色轨迹的相对关系来实现，切换自然流畅。

十、坦诚的局限与未来方向

研究团队坦承，WorldDirector目前存在一个明显的局限性：训练数据主要来自游戏引擎，而游戏画面与真实世界视频之间存在域间隔阂。这导致生成结果有时会出现不太自然的运动方式（如人物走路姿态略显机械）或面部细节模糊的问题。未来计划引入真实世界数据集来弥合这一差距，提升生成内容的视觉真实感。

在技术实现层面，整个训练过程在64块NVIDIA A100（80GB显存）GPU上运行，分布在8个计算节点上，采用全分片数据并行（FSDP）和激活检查点技术来管理显存。训练视频分辨率为832×480像素，帧率16fps，上下文长度固定为10帧，使用AdamW优化器以每批64个样本、学习率1×10⁻⁴进行3000步训练，总耗时约72小时。

说到底，WorldDirector在AI视频生成这条路上解决了一个长期被忽视却又根本性的问题：让AI真正“记住”视频世界中的每一个角色，不管它走到画面外的哪个角落。这件事的意义，对于游戏、电影制作、虚拟现实等领域来说都相当实在——当AI开始能够维护一个持久存在、物理一致的虚拟世界时，交互式叙事、游戏场景生成、影视预可视化等应用才能真正站得住脚。

从这篇研究可以提炼出一个核心命题：将“规划谁在哪里”和“渲染它长什么样”这两件事彻底分开处理，比把它们混在一起要高明得多。这个思路本身并不复杂，但要把它做好需要每一个环节都精确配合——大语言模型的轨迹规划、外貌绑定的参考机制、时间丢弃的信息瓶颈设计、双流上下文检索，以及空间感知的文字路由，每一块都不能少。

Q&A

Q1：WorldDirector与普通AI视频生成模型相比，核心区别是什么？

A：普通AI视频模型把角色的位置、运动和外貌全部混在一起学习，一旦角色离开画面就无法追踪，再次出现时会变成另一个人或直接静止不动。WorldDirector则将“角色在哪里运动”和“画面长什么样”彻底分开处理——先用大语言模型规划三维轨迹，再把轨迹作为指令传给视频生成模型渲染画面，同时通过外貌绑定机制保存每个角色的视觉特征，确保重新出现时仍是同一个角色。

Q2：WorldDirector的外貌绑定机制为什么要“故意减少”参考图像的频率？

A：如果每一帧都提供完整的外貌参考图，模型会倾向于把参考图像直接平移过去，角色看起来像在“滑翔”而非真正走路。时间丢弃机制让系统在角色出现的前16帧密集提供参考（帮助锁定外貌），之后每6帧才提供一次。这个信息瓶颈迫使模型必须根据运动轨迹和文字描述自己合成动作，从而产生自然的肢体运动，而不是僵硬的图像平移。

Q3：WorldDirector能否让初始画面中没有出现过的全新角色也出现在视频里？

A：可以。这就是论文中所说的“可提示世界事件”功能。用户可以在大语言模型的规划脚本中定义全新角色，指定它的外观描述、进入画面的时机和运动轨迹。当该角色第一次进入画面时，系统会根据文字描述生成它的样子，之后将其外貌纳入外貌条件池，确保后续每次出现都保持一致的视觉身份，实现真正开放式的世界事件编排。