抖音跳舞不用真人出镜，一张照片就能生成高质量视频！字节新技术连抱抱脸CTO都下场体验了
看！现在正有四位小姐姐在你面前大秀热舞：以为是某些主播在短视频平台发布的作品？No，No，No。真实答案是：假的，生成的，而且还是只靠了一张图的那种！真正的开启方式是这样的：这就是来自新加坡国立大学和字节跳动最新的一项研究，名叫MagicAnimate。它的作用简单来说可以总结为一个公式：一张图片+一组动作=毫无违和感的视频。随着这项技术的公布，科技圈内掀起了一股轩然大波，众多科技巨擘和极客们纷纷加入其中就连HuggingFaceCTO都拿自己的头像体验了一把：顺便还以一种幽默的方式开了个玩笑：这算是健身
看！现在正有四位小姐姐在你面前大秀热舞：
以为是某些主播在短视频平台发布的作品？
No，No，No。
真实答案是：假的，生成的，而且还是只靠了一张图的那种！
真正的开启方式是这样的：
这就是来自新加坡国立大学和字节跳动最新的一项研究，名叫MagicAnimate。
它的作用简单来说可以总结为一个公式：一张图片 + 一组动作 = 毫无违和感的视频。
随着这项技术的公布，科技圈内掀起了一股轩然大波，众多科技巨擘和极客们纷纷加入其中
就连HuggingFace CTO都拿自己的头像体验了一把：
顺便还以一种幽默的方式开了个玩笑：
这算是健身了吧？我这周可以不去健身房了。
还有相当与时俱进的网友，拿着刚出炉的GTA6（侠盗猎车手6）预告片中的人物玩了一把：
甚至连表情包都成为了网友们选择的对象......
MagicAnimate可以说是把科技圈的目光聚焦到了自己身上，因此也有网友调侃说：
OpenAI可以休息一下了。
火，着实是火。
一张图即可生成一段舞
MagicAnimate如此受欢迎，应该如何使用呢？
话不多说，我们现在就来手把手地体验一次。
目前，我们的项目团队已经在HuggingFace上开放了一个在线体验页面
操作非常简单，只需要三个步骤：
- 上传一张静态人物照片
- 上传想要生成的动作demo视频
- 调整参数，点击“Animate”即可
举个例子，以下是我的照片和最近全球风靡的《科目三》舞蹈片段：
△视频源：抖音（ID：QC0217）
也可以选择页面下方提供的模版进行体验：
不过需要注意的是，由于MagicAnimate目前过于火爆，在生成的过程中可能会出现“宕机”的情况：
即便成功“食用”，可能也得排大队
……
（没错！截至发稿，还是没有等到结果！）
除此之外，MagicAnimate在GitHub中也给出了本地体验的方式，感兴趣的小伙伴可以试试哦~
那么接下来的一个问题便是：
怎么做到的？
整体而言，MagicAnimate采用的是基于扩散模型（diffusion）的一个框架，目的就是增强时间一致性、保持参考图像的真实性，并提高动画保真度。
为此，团队首先开发了一个视频扩散模型（Temporal Consistency Modeling）来编码时间信息。
这个模型通过在扩散网络中加入时间注意力模块，来编码时间信息，从而确保动画中各帧之间的时间一致性。
其次，为了保持帧间的外观一致性，团队引入了一种新的外观编码器（Appearance Encoder）来保留参考图像的复杂细节。
这个编码器与以往使用CLIP编码的方法有所不同，它能够提取更密集的视觉特征，以引导动画制作，从而更好地保留身份、背景和服装等信息
在这两项创新技术的基础之上，团队进一步采用了一种简单的视频融合技术（Video Fusion Technique）来促进长视频动画的平滑过渡。
最终，经过两个基准实验的验证，结果显示MagicAnimate的效果远远超过以往的方法
尤其是在具有挑战性的TikTok舞蹈数据集上，MagicAnimate在视频保真度方面比最强基线高出38%以上！
以下是团队给出的定性比较：
并且与cross-ID的最先进的基准模型相比，我们的结果如下：
One More Thing
不得不说，像MagicAnimate这样的项目最近真的非常受欢迎
这不，在它“出道”前不久，阿里团队也发布了一个名叫Animate Anyone的项目，同样是只要“一张图”和“想要的动作”：
由此，也有网友提出了疑问：
这似乎是MagicAnimate和AnimateAnyone之间的战争。谁更胜一筹？
你觉得呢？
请点击以下链接查看论文：https://arxiv.org/abs/2311.16498
赤友清理大师是一款为 Mac 设计的智能清理优化工具，可精准扫描垃圾、大文件、重复文件等，释放磁盘空间。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
极度公式是一款跨平台专业LaTeX公式识别编辑软件，支持OCR公式识别和多平台编辑。和使用说明，避免使用，享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
一款文字处理软件，一种订阅式的跨平台办公软件，基于云平台提供多种服务，通过将 Excel 和 Outlook 等应用与 OneDrive 和 Microsoft Teams 等强大的云服务相结合，Office 365 可让任何人使用任何设备随时随地创建和共享内容。
CodeExpander 是一款快捷短语输入增强工具，通过键入缩写自动展开为自定义文段，提升工作效率。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。
Mountain Duck 是一款能将多个网盘挂载到本地的工具，像本地磁盘一样使用网盘。清理链路的完整性会更好一些，做应用卸载、残留处理和空间整理时，通常能少走很多手动排查步骤。
极度公式是一款跨平台专业LaTeX公式识别编辑软件，支持OCR公式识别和多平台编辑。和使用说明，避免使用，享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
一款文字处理软件，一种订阅式的跨平台办公软件，基于云平台提供多种服务，通过将 Excel 和 Outlook 等应用与 OneDrive 和 Microsoft Teams 等强大的云服务相结合，Office 365 可让任何人使用任何设备随时随地创建和共享内容。
Wise Folder Hider Pro 是一款专业级文件和文件夹隐藏加密软件，为私密数据添加多重保护。高频操作更强调就近处理，浏览、整理和跨目录移动文件时，来回切换和重复点击都会少很多。
CodeExpander 是一款快捷短语输入增强工具，通过键入缩写自动展开为自定义文段，提升工作效率。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。
Mountain Duck 是一款能将多个网盘挂载到本地的工具，像本地磁盘一样使用网盘。清理链路的完整性会更好一些，做应用卸载、残留处理和空间整理时，通常能少走很多手动排查步骤。
