结合物理引擎，GPT-4+扩散模型生成逼真、连贯、合理视频

扩散模型的引入推动了文本生成视频技术的发展，然而，这些方法往往计算成本高昂，且难以实现流畅的物体运动视频

为了应对这些问题，来自中国科学院深圳先进技术研究院、中国科学院大学和VIVO人工智能实验室的研究人员联合提出了一种名为GPT4Motion的新框架，该框架无需训练即可生成文本视频。GPT4Motion 结合了GPT等大型语言模型的规划能力、Blender软件提供的物理模拟能力以及扩散模型的文生成图能力，旨在大幅提升视频合成的质量

• 项目链接：https://gpt4motion.github.io/
• 论文链接：https://arxiv.org/pdf/2311.12631.pdf
• 代码链接：https://github.com/jiaxilv/GPT4Motion

GPT4Motion 使用 GPT-4 基于用户输入的文本 prompt 生成 Blender 脚本。它利用 Blender 的物理引擎来创建基本的场景组件，并将其封装为连续的跨帧运动。然后，将这些组件输入到扩散模型中，生成与文本 prompt 相匹配的视频

实验结果表明，GPT4Motion 能够高效地生成高质量的视频，同时保持了运动的一致性和实体的一致性。需要注意的是，GPT4Motion 使用了物理引擎，使得生成的视频更加真实。这为文本生成视频提供了新的视角

让我们先看看GPT4Motion的生成效果，例如输入文本提示：「一件白色T恤在微风中飘动」、「一件白色T恤在风中飘动」、「一件白色T恤在大风中飘动」。由于风的强度不同，GPT4Motion生成的视频中白色T恤的飘动幅度也不同：

在液体流动形态方面，GPT4Motion 生成的视频也能够很好地表现出来：

篮球从空中旋转着落下：

方法介绍

该研究的目标是根据使用者对一些基本物理运动场景的 prompt，生成一个符合物理特性的视频。物理特性通常与物体的材料有关。研究者的重点在于模拟日常生活中常见的三种物体材料：1）刚性物体，在受力时能保持形状不发生变化；2）布料，其特点是柔软且易飘动；3）液体，表现出连续和可变形的运动。

此外，研究人员还特别关注这些材料的几种典型运动模式，包括碰撞（物体之间的直接撞击）、风效应（气流引起的运动）和流动（连续且朝着一个方向移动）。模拟这些物理场景通常需要经典力学、流体力学和其他物理知识。目前专注于文本生成视频的扩散模型很难通过训练获取这些复杂的物理知识，因此无法制作出符合物理特性的视频

GPT4Motion的优势在于：确保生成的视频不仅与用户输入的提示一致，而且在物理上也是正确的。GPT-4的语义理解和代码生成能力可以将用户的提示转化为Blender的Python脚本，该脚本可以驱动Blender的内置物理引擎来模拟相应的物理场景。此外，该研究还使用了ControlNet，将Blender模拟的动态结果作为输入，指导扩散模型逐帧生成视频

利用 GPT-4 激活 Blender 进行模拟操作

研究者观察到，虽然 GPT-4 对 Blender 的 Python API 有一定的了解，但它根据用户 prompt 生成 Blender 的 Python 脚本的能力仍然有所欠缺。一方面，要求 GPT-4 直接在 Blender 中创建哪怕是一个简单的 3D 模型（如篮球）似乎都是一项艰巨的任务。另一方面，由于 Blender 的 Python API 资源较少且 API 版本更新较快，GPT-4 很容易误用某些功能或因版本差异而出错。为了解决这些问题，该研究提出了以下方案：

1. 使用外部 3D 模型
2. 封装 Blender 函数
3. 将用户 prompt 转化为物理特性

图 3 显示了该研究为 GPT-4 设计的通用 prompt 模板。它包括封装的 Blender 函数、外部工具和用户指令。研究者在模板中定义了虚拟世界的尺寸标准，并提供了有关摄像机位置和视角的信息。这些信息有助于 GPT-4 更好地理解三维空间的布局。之后基于用户输入的 prompt 生成相应的指令，引导 GPT-4 生成相应的 Blender Python 脚本。最后，通过该脚本，Blender 渲染出物体的边缘和深度，并以图像序列的形式输出。

重写后的内容：制作遵循物理规律的视频

这项研究旨在根据用户提供的提示和Blender所提供的相应物理运动条件，生成与文字内容一致且视觉效果逼真的视频。为此，研究采用了扩散模型XL（SDXL）来完成生成任务，并对其进行了改进

1. 物理运动约束
2. 时间一致性约束

实验结果

控制物理特性

图4展示了GPT4Motion在三种提示下生成的篮球运动视频，涉及篮球的下落和碰撞。在图4的左侧，篮球在旋转时保持了高度逼真的纹理，并准确地复制了与地面碰撞后的弹跳行为。图4的中间显示，此方法可以精确控制篮球的数量，并有效地生成多个篮球落地时发生的碰撞和弹跳。令人惊喜的是，如图4右侧所示，当用户要求将篮球抛向摄像机时，GPT-4会根据生成脚本中篮球的下落时间计算出必要的初速度，从而实现逼真的视觉效果。这表明，GPT4Motion可以与GPT-4所掌握的物理知识相结合，从而控制生成的视频内容

在风中飘动的布料。图 5 和图 6 验证了 GPT4Motion 在生成在风力影响下运动的布匹的能力。利用现有的物理引擎进行模拟，GPT4Motion 可生成不同风力下布的波动和波浪。在图 5 展示了一面飘动旗帜的生成结果。在不同风力下，旗帜呈现出复杂的波纹和波浪图案。图 6 显示了不规则布料物体 —— T 恤，在不同风力下的运动情况。受织物弹性和重量等物理特性的影响，T 恤发生了抖动和扭曲，并出现了明显的褶皱变化。

图 7 展示了将不同粘度的水倒入马克杯的三段视频。当水的粘度较低时，流动的水与杯子中的水发生碰撞并融合，形成复杂的湍流现象。随着粘度的增加，水流变得缓慢，并且液体开始相互黏连在一起

与基线方法对比

在图1中，GPT4Motion与其他基线方法进行了直观对比。很明显，基线方法的结果与用户的提示不符。DirecT2V和Text2Video-Zero在纹理逼真度和动作一致性方面存在缺陷，而AnimateDiff和ModelScope虽然提高了视频的流畅度，但在纹理一致性和动作逼真度方面仍有提升空间。与这些方法相比，GPT4Motion可以在篮球下落和与地板碰撞后的弹跳过程中生成平滑的纹理变化，看起来更加逼真

如图 8（第一行）所示，AnimateDiff 和 Text2Video-Zero 生成的视频在旗帜上出现了伪影 / 扭曲，而 ModelScope 和 DirecT2V 则无法平滑地生成旗帜在风中飘动的渐变。但是，如图 5 中间所示，GPT4Motion 生成的视频可以显示出旗帜在重力和风力作用下皱纹和波纹的连续变化。

所有基线的结果都与用户提示不符，如图8中的第二行所示。尽管AnimateDiff和ModelScope的视频反映了水流的变化，但它们无法捕捉到水倒入杯子的物理效果。另一方面，由Text2VideoZero和DirecT2V生成的视频则创造了一个不断抖动的杯子。与此相比，如图7（左）所示，GPT4Motion生成的视频准确地描述了水流与马克杯碰撞时的激荡，效果更加逼真

有兴趣的读者可以阅读原始论文，以了解更多的研究内容