北大等多机构联手破解AI视频"边想边画"难题：让机器先谋后动

这篇由北京大学、香港科技大学、北京航空航天大学、福州大学等多家机构联合完成的研究，被神经信息处理系统顶级会议（NeurIPS 2026）收录，论文编号为arXiv:2607.15278v1，发布于2026年7月16日。对技术细节感兴趣的朋友，可以通过这个编号在arXiv上直接查到完整论文。

一、先想清楚再动笔，还是边画边看？

你见过那种下棋高手吗？每走一步之前，脑子里已经推演了好几路后续棋局，然后才从容落子。与之相反，还有一种人下棋全凭直觉，走一步看一步，结果往往在关键岔路口做出错误选择，后悔莫及。

这两种下棋风格，恰恰对应了当前视频生成AI领域的两条主流技术路线。而研究团队正是从这个根本矛盾出发，提出了他们的新方案。

今天AI视频模型的能力已经相当惊人。它们不仅能生成逼真的画面，还开始尝试“解题”——比如在视频里演示如何走出一个迷宫，如何移动汉诺塔的圆盘，如何用一笔画完一个图形。这类任务不只是“好看”，而是要求AI在每一帧画面里保持严密的逻辑一致性，每一步都不能出错，否则整个解题过程就会崩溃。

问题来了：现有的视频AI在这件事上表现得并不令人满意。背后的原因，研究团队用一个极其清晰的框架做了拆解。

目前有两大类视频生成方式。第一类叫“双向扩散”，可以理解为这类AI在生成视频时，会把整段视频同时放在眼前反复修改，前面的帧可以根据后面的信息来调整，整体协调性很好，逻辑推理能力也强。但这种方式的代价是极高的计算成本——每次修改都要把整段视频重新过一遍，速度非常慢，完全不适合实时流式输出。第二类叫“流式自回归扩散”，这类AI生成视频就像打字一样，从左到右一帧一帧输出，已经生成的帧不会再改变。这种方式速度快、延迟低，适合实时应用，但致命的弱点在于：一旦某一帧出现了错误判断，后续所有帧都只能在这个错误的基础上继续生成，无法回头修正。就像在一张白纸上写字，写错了却没有橡皮擦。

研究团队把这对矛盾称为“核心张力”：要么推理能力强但速度慢，要么速度快但逻辑容易前后矛盾。他们的目标，就是同时拥有这两种优点。

二、像建筑师一样先画草图，再精修细节

解决这个矛盾的核心思路，研究团队借用了建筑设计里一个人人都熟悉的流程。建筑师不会一上来就直接画出每扇窗户的螺丝钉位置，而是先画一张粗略的整体布局草图，确认方向没问题，再画各楼层的平面图，最后才到具体的施工图纸。每一层图纸都在上一层的基础上增加细节，随时可以在不影响整体方向的前提下做局部调整。

这个框架就是HDR（Hierarchical Denoising for Visual Reasoning，层次化去噪视觉推理）的核心设计理念。

具体来说，HDR把视频的内容组织成一棵“树形结构”。树的顶端是最粗略的层次，只有极少数几个“节点”，每个节点代表整段视频的高层次摘要，就像建筑师的总体布局草图，画面模糊但方向明确。往树的下方走，节点数量越来越多，每个节点代表的时间段越来越短，内容越来越具体，直到最底层的叶节点，才对应真正要输出的视频帧，就像最终的施工图纸，清晰精确。

在生成视频时，HDR从树的顶端开始往下走。顶层节点先被生成，但故意保留一定程度的“模糊性”——用专业术语说是保持在较高的噪声水平，用建筑类比来说就是草图还没画定，可以随时改。这种模糊性是刻意设计的，因为它意味着模型还没有把某个全局计划“锁死”，仍然有余地进行全局推理和调整。等到顶层的全局方向大体确定下来，再传递给下一层，下一层在此基础上细化，再往下一层继续细化，最终在底层生成清晰的视频帧并流式输出给用户。

这个过程有一个关键的设计细节：每一层被“去噪”（即从模糊变清晰）的程度是不一样的。粗糙的高层节点只做少量去噪，保持一定程度的不确定性，可以同时维持多种可能的全局方案；精细的底层节点则做充分去噪，把高层确定下来的方向落实成具体的画面细节。研究团队把这套设计称为“匹配层次的去噪预算”，并用信息熵的数学概念推导出了每一层应该分配多少去噪步骤。对于他们实验中使用的六层结构，计算出来的各层去噪步骤分别是5、8、13、20、32、50步，越到底层步骤越多，越精细。

三、只看必要的信息：稀疏层次注意力机制

解决了“先谋后动”的生成顺序问题，还有另一个技术挑战需要攻克：计算效率。

在双向扩散模型里，每个视频帧对应的计算节点都要和其他所有帧的节点互相“看一遍”，这在技术上叫“全注意力”。帧数越多，需要互相查看的次数就以平方速度暴增，计算量极大。

HDR为此专门设计了一套叫做SHAP（Sparse Hierarchical Attention Pattern，稀疏层次注意力模式）的机制。其核心思想是：不是每个节点都需要看所有其他节点，只需要看少数几个关键邻居就够了。

具体来说，树形结构里的每个节点只需要关注三类信息：同一层里紧挨着自己的前一个节点（保持同层的时序连贯性）、自己在上一层的“父节点”（获取更粗粒度的全局方向）、以及父节点旁边的兄弟节点（获取邻近粗粒度区段的边界信息）。此外，所有节点都可以看到视频的第一帧（作为整个生成过程的初始条件）。

这种设计让每个节点只需要查看固定数量的其他节点，无论视频有多长，这个固定数量都不会变。于是整个计算量从平方级别降低到了线性级别——视频长度翻倍，计算量也只是翻倍，而不是变成四倍。同时，这种树形的稀疏注意力机制还天然支持跨层级的信息共享：粗糙层生成后，其对应的计算缓存（KV缓存）可以直接被精细层复用，不需要重新计算，进一步提升了效率。

四、六项考验：从迷宫到汉诺塔的严苛测试

为了公平评估新方法，研究团队专门构建了一套全新的测试基准，因为现有的视频推理测试大多不适合评估这种需要长序列逻辑一致性的任务。

这套测试包含六项任务，每项都有鲜明的特点。迷宫导航要求AI生成一段视频，展示一个小球从迷宫入口出发，按照正确路径到达终点，任何穿墙或走错路都会被判定失败。汉诺塔要求AI正确演示这个经典益智游戏的解法，每次移动圆盘都必须符合规则。一笔画要求AI生成一段视频，展示如何不重复地用一条连续线条覆盖给定图形的所有格子。滑块拼图即俗称的“华容道”，要求AI演示正确的移动序列。推箱子（Sokoban）是另一个经典的逻辑推理游戏。倒水游戏要求AI演示如何将各种颜色的液体在试管之间转移，最终让每支试管都只含一种颜色。

测试集包含370个评测视频，每项任务都按照难度分级，而且刻意包含了“超出分布”（OOD）的案例——就是训练时从未见过的特殊情况，用来测试模型是否真的学会了规则，还是只是在死记硬背。

评分使用两个维度：成功率衡量任务是否被完整正确地完成；平均进度衡量完成了多少比例的中间步骤。后者可以反映模型的中间推理是否保持逻辑一致性，即使最终没有完全成功。

五、数字背后的故事：HDR表现如何？

测试结果给出了清晰的对比图景。

与速度最快的流式自回归基准方法CausalForcing相比，HDR的总体成功率从34.22分提升到了60.29分，相对提升幅度高达76.2%。平均进度从76.00提升到了89.56，说明即便偶尔在最后一步出错，HDR的中间推理过程也明显更为连贯和正确。

六项具体任务中，进步最为显著的是迷宫导航，成功率从12分飙升至78分。汉诺塔从45分升至58.75分，Sokoban从40分升至78.33分，一笔画从48.33分升至70分。滑块拼图和倒水游戏的提升相对温和，但也均有改善。

与使用全局注意力机制的双向扩散基准相比，HDR在不使用全局注意力的前提下，总体成功率（60.29）已经与双向扩散（60.00）基本持平，甚至略高，而推理速度则相差悬殊——每生成一个视频片段，HDR只需要0.70秒，而双向扩散需要37.92秒，整整快了54.2倍。另一个流式基准CausalForcing的速度是0.72秒，与HDR几乎相同，说明HDR在提升推理能力的同时，没有牺牲速度优势。

从定性案例中可以更直观地看到差异。在迷宫任务里，CausalForcing到达一个分叉路口后，会立刻选择一条路并把这个选择“锁定”，如果选错了，后续帧只能继续在错误的路上走下去，最终无法到达终点。HDR面对同样的分叉路口，先在高层次的粗糙表示里做全局规划，确认正确路径后，再在精细层次生成具体的移动画面，因此能够做出正确的选择。类似的对比在一笔画任务中也清晰可见：CausalForcing会漏掉某些格子导致路径不完整，而HDR通过层次化规划确保了全覆盖。

六、抗压能力：减少数据和计算预算时的表现

研究团队还设计了两组“压力测试”，专门考察HDR在资源受限条件下的鲁棒性。

第一组测试减少了去噪步骤数量。在正常情况下使用50步去噪，当步骤减少到1步（极端情况）时，双向扩散的成功率从60.00骤降至17.78，CausalForcing从34.22降至11.25，而HDR从60.29降至34.72，保留了57.6%的完整性能，远高于另外两者的29.6%和32.9%。高层次的粗糙节点即使在极少步骤的情况下仍然能提供有效的全局方向指引，这是HDR抗压能力的来源。

第二组测试减少了训练数据量。当训练数据只剩下全部数据的2%时，双向扩散的成功率只剩下31.18分，仅保留了52%的完整性能。HDR在同样条件下保留了82.9%的完整性能，成功率达到50分。研究团队认为，这说明层次化的结构为模型提供了一种“归纳偏置”，帮助模型更有效地从少量数据中学习可迁移的推理规则，而不是死记硬背训练样本。

七、从虚拟到现实：机器人实验室里的挑战

为了验证HDR不只是在合成数据上好用，研究团队还做了一个物理世界的机器人实验。

实验场景是让一个机械臂控制一个毛绒玩具，把它从迷宫的入口移动到出口，迷宫由玩具积木搭建而成。这个场景充满了现实世界的复杂性：积木摆放不够规整、光线条件多变、物体识别可能有偏差、摄像头视角存在遮挡。研究团队先用3000个虚拟迷宫视频做预训练，然后只用50个真实机器人视频做微调，生成的视频再由一个“逆动力学模型”转换为机械臂的实际操作指令。

测试设置按照难度分为简单、中等、困难三个级别，还专门设计了一个“超出分布”级别，在这个级别里积木被斜放或叠放，形成和训练时完全不同的不规则迷宫形态。

在简单级别，HDR成功率达到80/100，CausalForcing也是80/100，两者打平。在中等级别，HDR达到60/100，超过CausalForcing。在困难级别，CausalForcing得0分，HDR也只有0分，说明这个难度对两者都是巨大挑战。在最具挑战性的不规则积木关卡，HDR拿到了20/80，而CausalForcing同样得0分。这组结果说明HDR确实能够把它在虚拟环境中学到的层次化推理能力，迁移到真实物理场景中去。

八、层次越深，思考越深：各层作用的分析

研究团队还对层次数量做了系统分析，从只有1层（等同于普通流式自回归）到完整的6层逐步增加。结果显示，随着层次数量的增加，模型表现呈现出稳定的提升趋势。1层时成功率34.22，2层升至38.38，3层升至40.12，4层升至59.15，5层升至60.31，6层达到60.29（与5层非常接近）。平均进度同样从76.00稳步升至89.56。这说明每一个额外的层次都在贡献真实的推理价值，而不是其中某一个层次起了全部作用。

此外，研究团队还测试了不同去噪分配策略的效果。除了他们推导出的熵匹配策略（5、8、13、20、32、50步）之外，他们还测试了“所有层均使用50步”的策略、“前五层各用5步最后一层用50步”的策略，以及指数增长策略（2、4、8、16、32、50步）。熵匹配策略在总体平均进度上表现最佳，在成功率上也名列前茅，与理论预期一致：过度去噪高层节点会过早锁定全局计划，削弱层次化推理的灵活性。

九、机器人技能泛化：RoboDojo模拟平台上的测试

研究团队还进一步把HDR的思路拓展到了机器人具身操作领域，创建了HDR-WAM（世界动作模型）变体，在RoboDojo模拟平台上进行了测试。这个平台包含42个机器人交互任务，涵盖泛化能力、精度、长时程规划、记忆能力和开放场景五个维度。

HDR-WAM在没有使用任何机器人专属预训练数据的情况下，整体得分达到5.47，平均成功率3.00%，超越了同样没有使用机器人预训练的AHA-WAM（4.82/2.39%）和Fast-WAM（3.48/2.03%），在无预训练类方法中排名第一。特别值得关注的是长时程任务维度，HDR-WAM得分9.85，成功率4.75%，在所有方法（包括有预训练数据的方法）中排名第一。这正好呼应了HDR的设计初衷：层次化结构天然擅长维护跨越很长时间段的任务逻辑一致性。

HDR-WAM的具体实现方式是把整个任务视频分成两个视角：一个“全局视角”，从整段任务视频中均匀采样9帧，作为任务进度的稀疏锚点；一个“局部视角”，从当前时刻出发，取最近的9帧加上4帧未来里程碑帧，形成局部动作执行窗口。两个视角的信息通过精心设计的注意力掩码协同工作：视频流负责预测未来画面，动作流负责预测可执行的具体动作，两者既共享视觉上下文，又保持各自的计算独立性。

十、残余错误的本质：哪里还没做到位？

研究团队在论文中坦诚地呈现了HDR的失败案例，并对其模式做了归纳。

一个典型的迷宫失败案例里，HDR成功路由到达了目标走廊，中间推理完全正确（平均进度满分1.0），但在最后几帧，迷宫墙壁消失了，导致最终帧的迷宫结构是错误的，被评判为失败。类似的现象也出现在Sokoban和倒水任务中：推理逻辑基本正确，但在接近尾声时出现了视觉上的“状态漂移”——箱子的墙壁突然消失，或者两种颜色的液体合并成了一种颜色。

研究团队把这类错误定性为“后期状态一致性漂移”，与那种从一开始就走错方向的“规划失败”有本质区别。高层次节点通常已经正确编码了预期的任务结构，精细层次也基本按照这个结构生成了画面，但在需要精确保持几何细节、物体身份或终止状态的最后阶段，模型的精确控制力还不够稳定。对此，研究团队提出的改进方向是引入约束感知的精细化机制，或者在生成末尾帧时加入轻量级的验证步骤。

说到底，HDR做的事情可以用一句话概括：给AI视频生成加上了“先谋后动”的能力。它不是简单地让AI变快，也不是单纯地让AI更聪明，而是找到了一种结构，让“快”和“聪明”可以同时存在。

这对普通人意味着什么？当你和AI互动，希望它帮你演示一道复杂的数学题的解题步骤，或者展示一个棋局的最优走法，或者规划一段有多个约束条件的旅行路线，这类需要“多步骤逻辑一致”的任务，未来可以通过视频生成的方式得到更可靠的呈现。在机器人领域，这项技术的意义更为直接：机器人需要实时响应、快速动作，同时又不能在复杂任务中“走一步看一步”导致后续失误，HDR正是为这种需求量身定制的解决方案。

当然，论文也诚实地指出，HDR目前仍然在某些困难任务（如滑块拼图、倒水游戏的高难度关卡）上表现不够理想，且在物理机器人的困难级别测试中成功率仍为零。通往真正的通用物理世界模型，这项研究是一个有意思的起点，但距离终点显然还有很长的路要走。

对这项研究感兴趣的读者，可以通过arXiv编号2607.15278查阅完整论文，项目演示页面也包含了大量可视化案例。

Q&A

Q1：HDR视频生成和普通AI视频生成有什么区别？

A：普通流式AI视频生成是从左到右一帧一帧输出，一旦某帧出错就无法纠正。HDR在正式输出前会先建立一个从粗到细的层次结构，先在模糊的高层次节点里做全局规划，确认整体方向后再逐层细化，最终才输出清晰帧，相当于先有草稿再有定稿，避免了早期错误的连锁传导。

Q2：HDR处理视频比双向扩散模型快多少？

A：在流式输出阶段，HDR每生成一个视频片段只需0.70秒，而双向扩散需要37.92秒，HDR快了约54倍。这是因为HDR采用稀疏层次注意力机制，每个节点只需关注少数几个邻居节点，而双向扩散需要让每一帧都和所有其他帧互相计算，计算量随帧数平方增长。

Q3：HDR用少量数据训练效果会不会变差很多？

A：相比双向扩散，HDR对数据量减少的抵抗力更强。当训练数据减少到只剩2%时，双向扩散的成功率保留了52%，HDR保留了82.9%。研究团队认为这是因为层次化树形结构提供了一种有效的归纳偏置，帮助模型从少量数据中学习可迁移的推理规则，而不是死记训练样本。