Meta 版 Sora 无预警来袭！抛弃扩散模型，音视频生成 / 画面编辑全包，92 页论文无保留公开
刚刚，Meta抢在OpenAI之前推出自己的Sora——MetaMovieGenSora有的它都有，可创建不同宽高比的高清长视频，支持1080p、16秒、每秒16帧。Sora没有的它还有，能生成配套的背景音乐和音效、根据文本指令编辑视频，以及根据用户上传的图像生成个性化视频。Meta表示，这是"迄今为止最先进的媒体基础模型（MediaFoundationModels）"。只需一句"把灯笼变成飞向空中的泡泡"，就能替换视频中的物体，同时透明的泡泡正确反射了背景环境。上传一张自己的照片，就能成为AI电影的主角
刚刚，Meta 抢在 OpenAI 之前推出自己的 Sora ——Meta Movie Gen
Sora 有的它都有，可创建不同宽高比的高清长视频，支持 1080p、16 秒、每秒 16 帧。
Sora 没有的它还有，能生成配套的背景音乐和音效、根据文本指令编辑视频，以及根据用户上传的图像生成个性化视频。
Meta 表示，这是 " 迄今为止最先进的媒体基础模型（Media Foundation Models）"。
只需一句 " 把灯笼变成飞向空中的泡泡 "，就能替换视频中的物体，同时透明的泡泡正确反射了背景环境。
上传一张自己的照片，就能成为 AI 电影的主角。
生成的视频不再无声，也不只是能安一个背景音乐。
比如看这里！视频会配合滑板轮子转动和落地配上逼真音效。（注意打开声音）
有人表示，随着大量创作者学会使用 AI 视频编辑工具，很难想象几年后长视频和短视频会变成什么样。
这一次，与 Sora 只有演示和官网博客不同，Meta 在92 页的论文中把架构、训练细节都公开了。
不过模型本身还没开源，遭到抱抱脸工程师贴脸开大，直接在评论区扔下 Meta 的开源主页链接：
在这等着您嗷。
Meta 在论文中特别强调，数据规模、模型大小、训练算力的扩展对于训练大规模媒体生成模型至关重要。通过系统地提升这几个维度，才使得如此强大的媒体生成系统成为可能。
其中最另业界关注的一点是，这一次他们完全扔掉了扩散模型和扩散损失函数，使用 Transformer 做骨干网络，流匹配（Flow Matching）做训练目标。
用 Llama3 架构做视频模型
具体来说 Movie Gen 由视频生成和音频生成两个模型组成。
Movie Gen Video：30B 参数 Transformer 模型，可以从单个文本提示生成 16 秒、16 帧每秒的高清视频，相当于 73K 个视频 tokens。
对于精确视频编辑，它可以执行添加、删除或替换元素，或背景替换、样式更改等全局修改。
对于个性化视频，它在保持角色身份一致性和运动自然性方面取得 SOTA 性能。
Movie Gen Audio：13B 参数 Transformer 模型，可以接受视频输入以及可选的文本提示，生成与视频同步的高保真音频。
Movie Gen Video 通过预训练 - 微调范式完成，在骨干网络架构上，它沿用了 Transoformer，特别是 Llama3 的许多设计。
预训练阶段
在海量的视频 - 文本和图像 - 文本数据集上进行联合训练，学习对视觉世界的理解。这个阶段的训练数据规模达到了 O ( 100 ) M 视频和 O ( 1 ) B 图像，用以学习运动、场景、物理、几何、音频等概念。
微调阶段
研究人员精心挑选了一小部分高质量视频进行有监督微调，以进一步提升生成视频的运动流畅度和美学品质。
为了进一步提高效果，模型还引入了流匹配（Flow Matching）作为训练目标，这使得视频生成的效果在精度和细节表现上优于扩散模型。
扩散模型通过从数据分布逐渐加入噪声，然后在推理时通过逆过程去除噪声来生成样本，用大量的迭代步数逐步逼近目标分布。
流匹配则是通过直接学习样本从噪声向目标数据分布转化的速度，模型只需通过估计如何在每个时间步中演化样本，即可生成高质量的结果。
与扩散模型相比，流匹配方法训练更加高效，计算成本更低，并且生成的结果在时间维度上具有更好的连续性和一致性。
在整体架构上，首先通过时空自编码器（Temporal AutoEncoder， TAE）将像素空间的 RGB 图像和视频压缩到一个时空潜空间，学习一种更加紧凑的表征。
接着，输入的文本提示被一系列预训练的文本编码器编码成向量表示，作为模型的条件信息。这里用到了多种互补的文本编码器，包括理解语义的编码器如 UL2、与视觉对齐的编码器如 Long-prompt MetaCLIP，以及理解视觉文本的字符级编码器如 ByT5。
最后，生成模型以 Flow Matching 的目标函数进行训练，从高斯分布采样的噪声向量作为输入，结合文本条件，生成一个输出潜码。这个潜码经过 TAE 解码，就得到最终的图像或视频输出。
此外 Movie Gen Video 在技术上还引入了多项创新：
为了让模型同时适配图像和视频，设计了一套因子化的可学习位置编码（factorized learnable positional embedding）机制。对高度、宽度、时间三个维度分别编码，再相加。这样即适配了不同宽高比，又能支持任意长度的视频。
针对推理效率问题，它采用了线性 - 二次时间步长调度（linear-quadratic t-schedule）策略。仅用 50 步就能逼近 1000 步采样的效果，大幅提升了推理速度。
为了进一步提高生成效率，Movie Gen Video 模型还采用了基于时间平铺（temporal tiling）的推理方法。应对生成高分辨率长视频时，直接对整个视频进行编码和解码可能会遇到的内存限制问题。
在时间平铺推理中，输入视频在时间维度上被分割成多个片段，每个片段独立进行编码和解码，然后在输出时将所有片段重新拼接在一起。这种方法不仅降低了对内存的需求，还提高了推理的效率。
此外，在解码阶段使用了重叠和混合的方式来消除片段边界处的伪影问题，即通过在片段之间引入重叠区域，并对重叠区域进行加权平均，确保生成的视频在时间维度上保持平滑和一致。
另外 Meta 还开源了多个基准测试数据集，包括 Movie Gen Video Bench、Movie Gen Edit Bench 和 Movie Gen Audio Bench，为后续研究者提供了权威的评测工具，有利于加速整个领域的进步。
这篇长达 92 页的论文还介绍了更多在架构、训练方法、数据管理、评估、并行训练和推理优化、以及音频模型的更多信息。
感兴趣的可到文末链接查看。
One More Thing
AI 视频生成这块，这两天热闹不断。
就在 Meta 发布 Movie Gen 之前不久，OpenAI Sora 主创之一Tim Brooks跳槽谷歌 DeepMind，继续视频生成和世界模拟器方面的工作。
这让很多人想到，就像当年谷歌迟迟不推出大模型应用，Transformer 8 个作者纷纷出走。
现在 OpenAI 迟迟发布不了 Sora，主要作者也跑了。
不过另外也有人认为，Tim Brooks 选择现在离开，或许说明他在 OpenAI 的主要工作完成了，也让人开始猜测：
Meta 的发布会迫使 OpenAI 放出 Sora 来回应吗？
（截至目前为止，Sora 的另一位主创 Bill Peebles 还未发声。）
现在 Meta 放出了带有视频编辑功能的模型，再加上 10 月 1 日 Pika 1.5 更新，主打给视频中物体加上融化、膨胀、挤压等物理特效。
不难看出，AI 视频生成下半场，要开始卷向 AI 视频编辑了。
论文地址：
https://ai.meta.com/static-resource/movie-gen-research-paper
参考链接：
[ 1 ] https://ai.meta.com/research/movie-gen/
[ 2 ] https://x.com/AIatMeta/status/1842188252541043075
Shapr3D是一款面向工业设计、机械工程、建筑概念和三维打印工作流的CAD软件。Mac版采用Parasolid建模内核，支持草图约束、实体建模、工程图、可视化渲染及常见CAD格式交换，并可通过账户在多台设备之间同步项目。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Ableton Live 是面向音乐制作人与现场表演者的数字音频工作站，提供编曲视图、独具特色的现场视图、音频录制、MIDI创作、实时变速、乐器及效果器。Mac版原生支持Apple芯片，并可连接音频接口、MIDI控制器和第三方插件。
Adobe After Effects 是面向动态图形、影视特效与视频合成的专业创作软件。它提供关键帧动画、遮罩抠像、运动跟踪、三维空间、文字动画和表达式等工具，并可与 Premiere Pro、Photoshop、Illustrator
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Adobe Bridge 是面向摄影师、设计师及内容团队的免费数字资产管理工具，可集中预览照片、视频和 Adobe 项目文件，并利用评级、标签、关键词、元数据、筛选与收藏集完成分类检索。它还支持批量重命名、格式导出、相机导入及 Camera
Adobe Illustrator 是 Adobe 推出的专业矢量图形设计软件，适合在 Mac 上制作标志、图标、插画、包装、信息图及印刷版面。它以路径和锚点构建可无损缩放的图形，并提供钢笔、形状、文字、图像描摹、渐变、画板及生成式功能。
Adobe InDesign 是面向印刷品与数字出版物的专业版面设计软件，可在 Mac 上制作书籍、杂志、宣传册、海报、报告及交互式文档。它提供精细的文字样式、网格、母版、长文档管理和印前输出能力。
Adobe Lightroom Classic 是面向桌面摄影工作流的照片管理与后期处理软件，可将原始照片保存在本地硬盘，通过目录、关键词、评分和收藏夹高效整理图库，并提供 RAW 冲印、蒙版、镜头校正、批量同步及多格式导出等功能。
Adobe Media Encoder 是 Adobe 推出的专业音视频编码与转码工具，可通过队列、预设和监视文件夹批量完成格式转换、代理文件创建及多平台成片输出，并与 Premiere Pro、After Effects 等软件紧密协作。
Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理软件，提供图层、蒙版、选区、修复、调色、文字排版、智能对象及生成式编辑等能力。Mac 版支持 Intel 与 Apple Silicon 处理器。
Adobe Premiere Pro 是面向专业视频制作的非线性剪辑软件，提供多轨时间线、调色、音频处理、字幕、代理工作流和多格式输出能力，并可与 After Effects、Audition、Photoshop 及 Frame.io 协同
Photoshop 2026 是 Adobe 推出的专业图像处理与视觉设计软件，支持 Windows、macOS 和 iPad 等平台，广泛应用于摄影修图、电商设计、平面海报、数字绘画及视觉合成等创作场景。
Blender 是一款免费开源、跨平台的专业 3D 创作软件，集建模、动画、渲染、视频编辑与视觉合成等功能于一体，广泛应用于影视动画、游戏设计和建筑可视化等领域。软件支持 Cycles 物理渲染器与 Eevee 实时渲染引擎，并提供多边形建模、骨骼绑定、物理模拟等专业工具。Blender 兼容 Windows、macOS 和 Linux 系统，安装包轻巧、运行流畅，依托活跃的全球开发者社区持续更新，是从初学者到专业创作者都值得选择的正版 3D 创作工具。
极度公式是一款跨平台专业LaTeX公式识别编辑软件，支持OCR公式识别和多平台编辑。和使用说明，避免使用，享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
一款文字处理软件，一种订阅式的跨平台办公软件，基于云平台提供多种服务，通过将 Excel 和 Outlook 等应用与 OneDrive 和 Microsoft Teams 等强大的云服务相结合，Office 365 可让任何人使用任何设备随时随地创建和共享内容。
Wise Folder Hider Pro 是一款专业级文件和文件夹隐藏加密软件，为私密数据添加多重保护。高频操作更强调就近处理，浏览、整理和跨目录移动文件时，来回切换和重复点击都会少很多。
CodeExpander 是一款快捷短语输入增强工具，通过键入缩写自动展开为自定义文段，提升工作效率。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。