香港大学联合多所顶尖机构，为AI视频世界模型装上了"记忆大脑"

这篇由香港大学联合复旦、浙大和快手科技的团队完成的研究，于2026年6月30日以预印本的形式挂在arXiv上，编号是arXiv:2606.31734。想进一步深挖的朋友，可以凭这个编号直接搜到完整论文。

你有没有过这种体验：跟朋友聊天，聊着聊着，他突然忘了五分钟前刚说过的事，又把同一段话翻来覆去地讲？那感觉，确实挺让人崩溃的。现在，AI生成视频也碰到了完全一样的尴尬——开头能拍得精彩绝伦，但一拉长，它就把前面干了什么忘得一干二净，结果画面东拼西凑，前后矛盾，简直不能看。

这次的研究团队，专门针对AI的“失忆症”，搞出了一套叫MemLearner的解决方案。核心思路很简单：与其给AI硬塞一套死板的“记忆清单规则”，不如直接教会它自己判断该记住什么、什么时候该调取记忆。说白了，一个是按图索骥的菜鸟，一个是真正读懂上下文的老手——差距就在这里。

一、先说说什么叫“视频世界模型”

要弄懂这项研究，得先建立一个基本概念：“视频世界模型”到底是个什么鬼。

拿游戏来举例。你在玩开放世界游戏时，游戏引擎会根据你的操作——往左走、往右看、跳个台阶——实时生成你眼前的画面。视频世界模型干的就是同一件事。只不过，它背后不是写死的代码规则，而是一个经过海量真实视频训练出来的AI系统。你给它一个摄像机的移动指令，它就立刻生成对应的视频画面，就好像你真的在一个真实世界里漫步一样。

这类技术的想象空间巨大：可以用它来做游戏场景、拍电影、训练机器人，甚至成为虚拟现实体验的底层引擎。研究人员管它叫“交互式视频生成模型”——也就是说，用户可以通过动作指令，与生成的视频世界进行实时互动。

但麻烦在于，一旦视频生成时间稍长，问题就冒出来了。AI的“视野”是有限的：它只能“看到”最近一小段发生的事情，再早之前的画面已经彻底从视野里消失了。于是，当摄像机转了一圈又转回来时，AI彻底忘了这个地方长什么样，只好临时东拼西凑，结果生成的画面和之前拍的完全对不上。这就是所谓的“场景一致性”问题，也是这篇论文要啃的硬骨头。

二、为什么已有的方案都不够用

在这项研究之前，已经有不少人在琢磨怎么解决AI的“失忆”问题，但每种方案都有它的软肋。

一类是“3D重建记忆”。让AI先把看过的场景重建为一个三维模型，下次需要时就从模型里渲染出对应视角的画面作为参考。这思路听起来挺扎实的，可问题是，三维重建本身就容易出错；碰上会动的物体，比如走路的人、摇尾巴的狗，更是几乎无从下手。

另一类是“特征压缩记忆”。AI不直接存画面，而是把历史内容压缩成抽象的特征码，好比将一本书浓缩成几条关键词。存储效率是高，但信息损失也大得吓人，细节全丢了。

还有一类是最直观的“关键帧记忆”——从历史视频里挑出一些有代表性的帧，直接作为当前生成的参考。这个方向其实很有前途，因为它简单直接，不需要搞什么三维重建或特征压缩。但问题在于：怎么挑帧？

目前主流的挑帧方式，靠的还是固定规则。比如，算一算当前摄像机的视野范围（FOV），然后挑出那些和当前视野重叠最多的历史帧；或者用点云估算的方法，找到在空间位置上最接近的帧。这些规则在简单场景里还算管用，但一碰到复杂情况，破绽立刻暴露无遗。

举个例子，墙壁遮挡。假设摄像机在一栋建筑外面，转到另一侧。按照视野重叠规则，AI会认为某几帧“很相关”——因为它们的拍摄方向相近。可实际上，这两个视角之间隔着一堵厚厚的墙，场景内容完全不同，参考这些帧只会帮倒忙。再比如，场景里有一条四处乱逛的狗，它的位置不断变化，基于静态空间位置的规则根本没法正确追踪它。

更根本的问题在于：这些规则是人为写死的，完全不能随着场景的复杂程度自动调整。

三、MemLearner的思路：让AI自己学会“该看哪里”

MemLearner提出的方案，从根本上改变了整个问题的处理方式。与其告诉AI“按照规则X去找相关帧”，不如让它通过大量训练，自己学会判断哪些历史信息对当前的生成最有帮助。

为了实现这一点，研究团队引入了一种叫“查询令牌”（Query Token）的机制。要理解这个概念，可以打一个比方。

假设你是一名正在写小说的作家（这里对应AI里负责生成视频的部分），图书馆里存放着你之前写过的所有素材（对应历史视频帧）。你需要一位助理（对应查询令牌）来帮你从图书馆里调取相关资料。这位助理的工作方式很特别：他先看一眼你现在正在写的当前章节草稿（预测令牌），弄清楚你需要什么风格的信息；然后拿着这个“需求单”去图书馆翻找（上下文令牌），把真正有用的资料整理好递给你；最后，你参考这些资料完成写作。

在MemLearner的框架里，整个系统处理的信息被分成三种角色：C令牌（Context Token，历史上下文）代表已有的历史视频帧；Q令牌（Query Token，查询令牌）是连接历史和当前生成的中间桥梁；P令牌（Predicted Token，预测令牌）代表当前正在生成的视频帧。Q令牌先关注P令牌，理解“要生成什么”；再关注C令牌，提取“需要哪些历史信息”；最后P令牌参考Q令牌完成生成。

整个过程完全靠端到端训练来学习——也就是说，AI不需要任何额外的人工标注来说明“在这个情况下应该查询哪些帧”，它只是通过生成视频时的误差信号，反过来不断调整查询策略，最终自然而然地学会了适应性记忆提取。

四、一次失败的尝试，带来了关键洞察

研究团队在设计过程中，也走过一段弯路。而这段弯路本身，很能说明问题。

最直觉的想法是：既然需要一个“查询助理”，那就单独训练一个专门的查询模块，让它负责从历史帧里提取信息，再把提取结果传给视频生成模型。两个模块各司其职，听起来非常合理。

然而实验结果让团队大吃一惊：这个单独训练的查询模块，完全没能学会查询历史信息。通过注意力可视化分析发现，这个模块的查询令牌和历史上下文令牌之间的相似度接近于零——换句话说，这个模块根本就没有在读历史帧，只是在输出一堆毫无意义的信号。更糟糕的是，由于这个独立模块的输出毫无意义，视频生成模型也渐渐学会了“无视”它，最终直接退化成一个普通的文本生成视频模型，完全丧失了记忆能力。

这个失败揭示了一个关键洞察：从零开始训练一个新模块，想让它学会有意义的视觉查询，是极其困难的。因为你没有办法为“正确的查询”提供明确的监督信号——没有人能标注“在这一帧，你应该去查历史第147帧的左上角”这样的信息。

正确的做法是：直接利用视频生成模型本身来做查询。视频生成模型已经经过了大规模预训练，对视觉内容有着丰富的理解能力。把查询令牌和上下文令牌、预测令牌一起输入到同一个视频生成模型里，让模型的自注意力机制自然地建立起它们之间的联系，效果反而更好——因为模型已经具备了理解视觉内容的能力，只需要学习如何运用这种能力来做记忆查询。

五、让系统跑得更快的两个小窍门

理论上，把所有历史帧和当前帧都塞进模型里让它自己分析，效果当然最好。但实际操作中，这会带来巨大的计算量——历史帧越堆越多，计算量就会线性增长，最终变得不可负担。

研究团队提出了两个简洁的效率优化策略。

第一个叫“浅层查询，深层生成”。整个扩散变换器模型有28层，研究团队把它分成两段：前5层（浅层）作为“查询层”，负责让Q令牌从C令牌和P令牌中提取信息；后23层（深层）作为“生成层”，只处理Q令牌和P令牌，C令牌不再参与。这背后的逻辑是：提取记忆更像“编码”，不需要太多计算量；真正的创作生成才是大头。好比人类写作：快速浏览一下参考资料（浅层）只需要几分钟，真正坐下来写作（深层）才是主要工作。实验证明，5层已经足够完成有效的记忆提取，继续增加查询层数对效果的提升非常有限，却会显著拖慢速度。

第二个叫“只保留有用的注意力计算”。在注意力机制里，每个令牌既可以作为“提问者”（查询），也可以作为“被问者”（键值对）。研究团队仔细分析了哪些注意力交互是真正必要的，然后删掉了所有冗余计算。最终保留下来的只有三种核心交互：Q令牌向P令牌提问（搞清楚当前要生成什么）、Q令牌向C令牌提问（从历史帧里提取信息）、P令牌向P令牌和Q令牌提问（生成时参考同伴和查询结果）。特别值得注意的是，C令牌不作为提问者——历史帧的内容只需要被查询，不需要主动去问任何人。

六、专为复杂场景设计的训练数据集

一个聪明的算法，还需要合适的训练数据。研究团队在这方面也下了很大功夫，因为他们发现，现有的长视频数据集没有一个能满足训练需求。

理想的训练数据，需要同时具备四个特点：精确的逐帧摄像机位姿标注（知道每一帧摄像机在哪里、朝哪里看）、场景遮挡关系（物体互相遮挡的情况）、动态物体（会动的人或动物）以及大量的“重访场景”（摄像机离开某个地方又回来的情况）。现有的数据集各有残缺：用YouTube视频组成的数据集内容丰富，但摄像机标注不精确；基于游戏引擎渲染的数据集标注精确，但没有遮挡和动态物体。

于是，研究团队自己在虚幻引擎里搭了一套数据采集流程。他们精心挑选了13个不同风格的三维场景，涵盖了街道、购物中心、乡村、室内室外各种环境，并在场景中加入了人类角色、狗、骆驼、马等动态物体。为了高效生成摄像机运动轨迹，他们写了个自动化脚本，让摄像机在场景中自主漫游、自动避障，同时记录下每一帧的位姿信息。最终采集了100段长视频，分布在13个场景中，每段视频平均超过18000帧，总计16.7小时的视频内容。

仅靠渲染视频还不够，因为渲染画面和真实世界的视觉风格存在差距。为此，研究团队还加入了另外两类视频：一类是带有较准确摄像机估算标注的真实世界视频；另一类则是完全没有摄像机标注的真实世界视频。对于这三类不同来源的数据，他们采用了一个独特的训练策略：给每类数据分别配备一个专属的摄像机编码器；完全没有标注的真实视频，则直接用零参数处理（相当于告诉模型“这段视频没有摄像机信息”）。通过这种隔离方式，不同质量的标注数据互不干扰，模型可以同时从精确的渲染数据、真实的风格数据和丰富的多样性数据中各取所长。

七、实验结果：数字和故事都说明了问题

研究团队在多个不同的数据集上进行了全面评估，包括自己采集的复杂场景数据集、另一个团队发布的无遮挡无动态物体数据集，以及真实世界的SpatialVID数据集。

评估方式分两种。第一种叫“地面真值对比”：给AI看一段历史帧，让它生成接下来的画面，然后对比生成结果和真实视频有多像。第二种叫“重访对比”：让摄像机在场景里转出去再转回来，对比“出去时拍的某个地方”和“回来时再次拍到同一个地方”的画面是否一致。第二种测试方式更贴近实际应用，也更能考验模型的真实记忆能力。

拿来对比的方法包括几类：完全没有记忆设计的长视频生成模型DFoT、通过压缩历史帧保留有限记忆的FramePack、基于点云规则检索的VMem，以及基于视野重叠规则检索的Context-as-Memory（CaM），还有研究团队自己尝试过并放弃的“独立查询模块”设计。

在复杂场景数据集上，MemLearner在所有指标上均取得了最好的成绩。以像素相似度指标PSNR（越高越好）为例，CaM得到了19.85分，MemLearner达到了21.23分；在衡量感知相似度的LPIPS指标上（越低越好），CaM为0.3475，MemLearner为0.2904，差距相当明显。在视频生成质量指标FVD上，MemLearner同样领先。那个被放弃的“独立查询模块”方案，PSNR只有9.16分，比完全没有记忆的DFoT（16.98分）还低——这直接印证了研究团队关于“独立模块无法有效学习”的判断。

有意思的是，当在没有遮挡和动态物体的简单场景数据集上测试时，CaM和MemLearner的成绩非常接近（分别是20.22和20.35）。这说明在简单场景下，规则方法和学习方法表现相当；但一旦场景复杂起来，学习方法的优势就会显著拉开。

研究团队还做了一项零样本迁移测试：在完全没有接触过的Epic-Kitchens厨房视频数据集上直接测试（这个数据集风格和训练数据差异很大），MemLearner依然比同类方法表现更好，说明学到的记忆机制具有一定的通用性。

八、细节决定成败：几个关键设计的验证

研究团队还通过一系列消融实验，逐一验证了每个设计选择的必要性。

关于查询令牌的初始化方式，研究团队测试了两种方案：用随机噪声初始化，和用带噪声的预测令牌副本初始化。结果两者的表现几乎没有差别，说明初始值是什么其实并不重要——真正重要的是Q令牌通过注意力机制从P令牌那里学到当前的需求，而不是靠初始值传递信息。

关于摄像机位姿信息是否必须提供给所有令牌，结果颇为出人意料。研究发现，就算不给历史帧（C令牌）和查询令牌（Q令牌）注入摄像机信息，只给当前生成帧（P令牌）注入，模型的记忆能力并没有明显下降。这意味着，视频生成模型具备从纯视觉信息中隐式理解空间几何关系的潜力，不需要手动提供三维坐标信息。

关于注意力计算的必要性，如果删掉Q令牌向P令牌提问这一步（也就是让Q令牌不再先理解“要生成什么”），性能会大幅下滑，PSNR从21.23跌到17.27。这证实了“先理解需求再查询信息”这个两步走逻辑的关键性。

此外，研究团队还测试了另一种方案：把分别训练查询模块的做法改为“先预训练再联合微调”——用L1损失来预训练查询模块，让Q令牌的输出靠近P令牌，然后再联合微调。结果这个方案依然远逊于MemLearner（PSNR仅16.56），再次印证了端到端学习的优越性：不需要人为设计中间监督目标，让误差信号自然地反向传播到查询机制里，效果反而更好。

九、这套方案能往别的模型上搬吗

一个自然的问题是：MemLearner是不是只能搭配研究团队内部使用的专属模型？

为了验证通用性，研究团队把同样的方法应用到了Wan2.1这个开源视频生成模型上（参数量13亿）。结果显示，MemLearner在Wan2.1上同样比基线方法表现更好，说明这套机制并不依赖特定的模型架构，只要底层模型使用了三维注意力机制，就可以直接接入MemLearner的查询框架。

说到底，MemLearner做的事情，就是把AI视频生成里那个“按规则找参考帧”的死板逻辑，换成了一个“通过学习来理解上下文需求”的灵活机制。这个转变听起来简单，但背后隐藏着一个深刻的工程洞察：与其费尽心思设计各种规则来告诉AI“什么情况下该记什么”，不如给AI提供足够丰富的训练场景，让它自己摸索出适合的记忆策略。

这项研究对普通人的生活可能不会立竿见影，但它所解决的问题，其实是未来一大批应用的基础性障碍。当我们期待AI能为我们生成一段沉浸式的虚拟旅行视频、能在游戏里创造出真正有记忆的虚拟世界、能帮助机器人在复杂环境里保持对空间的连贯认知——所有这些，都需要先解决AI的“失忆”问题。MemLearner给出了一个目前看来相当有说服力的方向。

当然，研究团队自己也坦承，问题远没有彻底解决。当场景里有超过五个角色同时互动时，现有的10亿参数模型就开始力不从心，生成画面会出现角色外貌不一致或物体消失的情况。更长远来看，记忆不应该随着视频时长线性膨胀，未来需要研究的方向包括如何压缩、更新、编辑，甚至有选择地遗忘历史信息——就像人的记忆一样，不是存档所有细节，而是保留真正重要的内容。

对这项研究感兴趣的朋友，可以通过arXiv编号2606.31734找到完整论文，以及该团队的演示项目页面，里面有实际生成的视频案例可供直观感受。

Q&A

Q1：MemLearner解决的“场景一致性”问题具体是什么意思？

A：场景一致性是指在生成长视频时，摄像机离开某个地方又回来后，AI生成的画面要和之前拍过的保持一致——同一个房间应该有同样的家具，同一个角色应该有同样的外貌。由于AI的“视野”有限，它很容易忘记早期的画面，导致重访时生成出完全不同的场景，这就是一致性问题。

Q2：MemLearner的查询令牌和普通的历史帧检索有什么区别？

A：传统历史帧检索靠人工写死的规则（比如摄像机视野重叠度），而MemLearner的查询令牌通过训练学会自适应地判断“当前生成需要哪些历史信息”。它先理解当前要生成的内容，再去历史帧里提取相关信息，整个过程是通过生成误差反向训练出来的，不需要任何手动标注的查询标准。

Q3：MemLearner在有遮挡的场景里为什么比基于视野规则的方法更好？

A：基于视野规则的方法只看摄像机朝向是否相似，无法判断两个视角之间是否有墙壁遮挡。而MemLearner通过训练学到了视觉内容之间的关联，能够隐式地理解遮挡关系，只调取真正视觉相关的历史帧，而不是仅仅方向相近的帧。