改写后的标题：Sora在东京以女郎身份演唱，高启强模仿罗翔变声，阿里技术人员精准制作口型视频
有了阿里的EMO，AI生成或真实的图像「动起来说话或唱歌」变得更容易了。最近，以OpenAISora为代表的文生视频模型又火了起来。除了文本生成视频，以人为中心的视频合成一直备受关注。比如，专注于“说话人头部”的视频生成，其目标是根据用户提供的音频片段生成面部表情。在技术层面上，生成表情需要准确捕捉说话者微妙且多样化的面部动作，这对于类似视频合成任务而言是一个巨大的挑战。传统方法通常会施加一些限制以简化视频生成任务。例如，有些方法利用3D模型来约束面部关键点，另一些方法则从原始视频中提取头部运动序列以引导
有了阿里的 EMO，AI 生成或真实的图像「动起来说话或唱歌」变得更容易了。
最近，以 OpenAI Sora 为代表的文生视频模型又火了起来。
除了文本生成视频，以人为中心的视频合成一直备受关注。比如，专注于“说话人头部”的视频生成，其目标是根据用户提供的音频片段生成面部表情。
在技术层面上，生成表情需要准确捕捉说话者微妙且多样化的面部动作，这对于类似视频合成任务而言是一个巨大的挑战。
传统方法通常会施加一些限制以简化视频生成任务。例如，有些方法利用3D模型来约束面部关键点，另一些方法则从原始视频中提取头部运动序列以引导整体运动。尽管这些限制降低了视频生成的复杂性，但也会限制最终面部表情的丰富度和自然度。
最近在阿里智能计算研究院发表的一篇论文中，研究者着重探讨了音频提示与面部动作之间微妙的关联，以提高说话人头部视频的真实性、自然度和表现力。
研究者发现，传统方法通常无法充分捕捉不同说话人的面部表情和独特风格。因此，他们提出了 EMO（Emote Portrait Alive）框架，该框架通过音频 - 视频合成方法直接呈现面部表情，无需使用中间的3D模型或面部标志。
论文标题：EMO: Emote Portrait Alive- Generating Expressive Portrait Videos with Audio2Video Diffusion Model under Weak Conditions
论文地址：https://arxiv.org/pdf/2402.17485.pdf
项目主页：https://humanaigc.github.io/emote-portrait-alive/
就效果而言，阿里的方法可以确保整个视频的无缝帧过渡，并保持身份一致，进而产生表现力强和更加逼真的角色化身视频，在表现力和真实感方面显著优于当前 SOTA 方法。
比如 EMO 可以让 Sora 生成的东京女郎角色开口唱歌，歌曲为英国 / 阿尔巴尼亚双国籍女歌手 Dua Lipa 演唱的《Don't Start Now》。
EMO 支持包括英文、中文在内等不同语言的歌曲，可以直观地识别音频的音调变化，生成动态、表情丰富的 AI 角色化身。比如让 AI 绘画模型 ChilloutMix 生成的小姐姐唱陶喆的《Melody》。 
EMO 还能让角色化身跟上快节奏的 Rap 歌曲，比如让小李子来一段美国说唱歌手 Eminem 的《哥斯拉》（Godzilla）。
当然，EMO 不仅仅能让角色开口唱歌，还支持各种语言的口语音频，将不同风格的肖像画、绘画以及 3D 模型和 AI 生成的内容制作成栩栩如生的动画视频。比如奥黛丽赫本的谈话。 
最后，EMO 还能实现不同角色之间的联动，比如《狂飙》高启强联动罗翔老师。
方法概览
给定人物肖像的单张参考图像，本文方法可以生成与输入语音音频片段同步的视频，还能保留人物非常自然的头部运动和生动的表情，并且与所提供的声音音频的音调变化相协调。通过创建一系列无缝的级联视频，该模型有助于生成具有一致身份和连贯运动的长时间说话肖像视频，这对于现实应用至关重要。
网络 Pipeline
方法概览如下图所示。主干网络接收多帧噪声潜在输入，并尝试在每个时间步骤中将它们去噪为连续的视频帧，主干网络具有与原始 SD 1.5 版本相似的 UNet 结构配置，具体而言
与之前的工作相似，为了确保生成帧之间的连续性，主干网络嵌入了时间模块。
为了保持生成帧中人像的 ID 一致性，研究者部署了一个与主干网络并行的 UNet 结构，称为 ReferenceNet，它输入参考图像以获取参考特征。
为了驱动角色说话时的动作，研究者使用了音频层来编码声音特征。
为了使说话角色的动作可控且稳定，研究者使用脸部定位器和速度层提供弱条件。
对于主干网络，研究者没有使用提示嵌入，因此，他们将 SD 1.5 UNet 结构中的交叉注意力层调整为参考注意力层。这些修改后的层将从 ReferenceNet 获取的参考特征作为输入，而非文本嵌入。
训练策略
训练过程分为三个阶段：
第一阶段是图像预训练，其中主干网络、ReferenceNet 和面部定位器被纳入训练过程中，在这个阶段，主干网络以单一帧作为输入，而 ReferenceNet 处理来自同一视频剪辑的不同的、随机选择的帧。主干网络和 ReferenceNet 都从原始 SD 初始化权重。
在第二阶段，研究者引入了视频训练，并且加入了时间模块和音频层，从视频剪辑中采样 n+f 个连续帧，其中起始的 n 帧为运动帧。时间模块从 AnimateDiff 初始化权重。
最后一个阶段集成了速度层，研究者只在这个阶段训练时间模块和速度层。这种做法是为了故意忽略训练过程中的音频层。因为说话人的表情、嘴部运动和头部运动的频率主要受音频的影响。因此，这些元素之间似乎存在相关性，模型可能会根据速度信号而不是音频来驱动角色的运动。实验结果表明，同时训练速度层和音频层削弱了音频对角色运动的驱动能力。
实验结果
实验过程中参与比较的方法包括 Wav2Lip、SadTalker、DreamTalk。
图 3 展示了本文方法与先前方法的比较结果。可以观察到，当提供单个参考图像作为输入时，Wav2Lip 通常会合成模糊的嘴部区域并生成以静态头部姿态和最小眼部运动为特征的视频。就 DreamTalk 而言，其结果可能会扭曲原始面孔，也会限制面部表情和头部运动的范围。与 SadTalker 和 DreamTalk 相比，该研究提出的方法能够生成更大范围的头部运动和更生动的面部表情。
该研究进一步探索了各种肖像风格的头像视频生成，如现实、动漫和 3D。这些角色使用相同的声音音频输入进行动画处理，结果显示，生成的视频在不同风格之间产生大致一致的唇形同步。
图 5 表明本文方法在处理具有明显音调特征的音频时能够生成更丰富的面部表情和动作。例如下图第三行，高音调会引发角色更强烈、更生动的表情。此外，借助运动帧还可以扩展生成的视频，即根据输入音频的长度生成持续时间较长的视频。如图 5 和图 6 所示，本文方法即使在大幅运动中也能在扩展序列中保留角色的身份。
表 1 结果表明本文方法在视频质量评估方面具有显著优势：
Postman是一套面向API全生命周期的开发与测试平台，可在Mac上发送和调试多种协议请求，管理集合、环境及认证信息，并完成脚本测试、模拟服务、监控、文档发布和团队协作。它适合开发、测试及运维人员使用，提供个人免费方案。
Docker Desktop 是 Docker 官方为 Mac 提供的容器开发环境，集成 Docker Engine、命令行工具、Compose、Build、Kubernetes 与图形化管理界面。
Android Studio 是 Google 面向安卓应用开发提供的官方集成开发环境，基于 IntelliJ IDEA 构建。它整合智能代码编辑、Gradle 构建、界面预览、设备模拟、性能分析、调试测试及 APK 分析等工具。
Xcode 是苹果面向 Mac 提供的官方集成开发环境，将代码编辑、项目构建、SwiftUI 实时预览、设备模拟、自动化测试、断点调试、性能分析和应用分发整合在同一套工作流中，适合开发与维护 iPhone、iPad、Mac、Apple Wa
JetBrains WebStorm 是面向 JavaScript、TypeScript 和现代 Web 技术的专业集成开发环境，可智能理解项目结构，提供代码补全、重构、错误检查、运行调试、测试及 Git 工具。
PhpStorm 是 JetBrains 推出的专业 PHP 集成开发环境，可在 Mac 上完成代码编写、智能检查、重构、调试、测试和数据库管理。它支持主流 PHP 框架、Composer、Git、Docker 与远程解释器。
JetBrains PyCharm 是面向 Python 开发者的集成开发环境，提供智能补全、代码检查、重构、调试、测试、版本控制及虚拟环境管理功能。Mac 版兼容 Intel 与 Apple 芯片，核心功能可免费使用。
IntelliJ IDEA 是 JetBrains 推出的专业集成开发环境，重点服务于 Java、Kotlin 与 JVM 项目开发。软件集成代码补全、静态检查、重构、调试、测试、版本控制及构建工具，并可借助插件扩展语言和框架支持。
Visual Studio Code 是微软提供的免费代码编辑器，支持 macOS，并为 Intel 与 Apple 芯片 Mac 提供适配版本。软件集代码编辑、调试、Git 源代码管理、集成终端和扩展市场于一体。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Pro Tools 是 Avid 推出的专业数字音频工作站，覆盖多轨录音、无损剪辑、MIDI 编曲、插件处理、自动化混音及声音与画面同步等工作。它拥有 Intro、Artist、Studio 和 Ultimate 等方案。
PixPix 是面向品牌、卖家和内容团队的在线 AI 图片视频创作平台，提供图视频 Agent、无限画布、图片生成、视频生成、自然语言编辑及商品套图、产品精修和带货视频等电商工具。
Postman 是面向 API 全生命周期的开发与协作平台。Windows 桌面版可用于构建和发送 HTTP、GraphQL、gRPC、WebSocket、MQTT 等请求，并提供环境变量、集合、脚本测试、模拟服务、监控、文档及团队工作区等
Docker Desktop 为 Windows 开发者提供集成式容器环境，内置 Docker Engine、命令行工具、Compose、Build 与 Kubernetes 等组件，可在本机完成镜像构建、容器运行、日志查看和资源管理。
Android Studio 是 Google 面向 Android 应用开发提供的官方集成开发环境，以 IntelliJ IDEA 为基础，集成智能代码编辑、Gradle 构建、设备模拟、界面预览、调试测试及性能分析工具，
WebStorm 是 JetBrains 面向 JavaScript、TypeScript 和现代 Web 技术打造的集成开发环境。它提供项目级代码分析、智能补全、安全重构、导航搜索，并集成调试、测试、终端、Git 与常用前端工具，
PhpStorm 是 JetBrains 面向 PHP 与现代 Web 开发打造的专业集成开发环境，提供代码补全、静态检查、重构、调试、测试、数据库、版本控制及前端语言支持。Windows 用户可直接下载安装程序，
PyCharm 是 JetBrains 推出的 Python 集成开发环境，提供智能代码补全、错误检查、重构、调试、测试、Git、终端及 Jupyter Notebook 支持。统一版安装后可体验 30 天 Pro 功能，
JetBrains IntelliJ IDEA 是以 Java、Kotlin 和 JVM 项目为核心的专业集成开发环境，提供智能补全、代码检查、安全重构、调试、测试、版本控制及构建工具集成。统一发行版的核心功能可免费用于商业和非商业项目，
Visual Studio Code 是微软推出的免费代码编辑器，Windows 版集成智能补全、代码导航、调试、终端和版本控制，并可通过扩展添加语言、格式化及远程开发能力。它启动较快、配置灵活，
REAPER 是 Cockos 推出的数字音频工作站，适用于录音、MIDI 编曲、音频编辑、混音、母带制作及声音设计。软件安装包小巧，支持多轨录制、灵活路由、自动化、第三方插件和脚本扩展，并提供完整功能的 60 天免费评估期。
Adobe Audition 是面向播客、影视后期、广播与音乐制作的专业音频工作站，提供波形编辑、多轨混音、频谱分析、录音、降噪修复和效果处理等功能。Windows 版通过 Adobe Creative Cloud 安装和管理，
Pro Tools 是 Avid 推出的专业数字音频工作站，提供多轨录音、音频剪辑、MIDI编曲、插件处理、自动化混音及影视声音制作能力。它适合音乐人、录音师、制作人和音频后期团队使用，并提供免费入门版、订阅方案及永久授权选择。