一张照片生成视频，张嘴、点头、喜怒哀乐，都可以打字控制
最近，微软进行的一项研究揭示了视频处理软件PS的灵活程度有多高在这项研究中，你只要给AI一张照片，它就能生成照片中人物的视频，而且人物的表情、动作都是可以通过文字进行控制的。比如，如果你给的指令是「张嘴」，视频中的人物就会真的张开嘴。如果你给的指令是「伤心」，她就会做出伤心的表情和头部动作。当给出指令「惊讶」，虚拟人物的抬头纹都挤到一起了。除此之外，您还可以提供一段语音，使虚拟角色的嘴型和动作与语音同步。或者，您可以提供一段真人视频供虚拟角色模仿如果你对虚拟人物的动作有更多的自定义编辑需求，例如让他们点头
最近，微软进行的一项研究揭示了视频处理软件PS的灵活程度有多高
在这项研究中，你只要给 AI 一张照片，它就能生成照片中人物的视频，而且人物的表情、动作都是可以通过文字进行控制的。比如，如果你给的指令是「张嘴」，视频中的人物就会真的张开嘴。
如果你给的指令是「伤心」，她就会做出伤心的表情和头部动作。
当给出指令「惊讶」，虚拟人物的抬头纹都挤到一起了。
除此之外，您还可以提供一段语音，使虚拟角色的嘴型和动作与语音同步。或者，您可以提供一段真人视频供虚拟角色模仿
如果你对虚拟人物的动作有更多的自定义编辑需求，例如让他们点头、转头或歪头，这项技术也是支持的
这项研究名叫 GAIA（Generative AI for Avatar，用于虚拟形象的生成式 AI），其 demo 已经开始在社交媒体传播。不少人对其效果表示赞叹，并希望用它来「复活」逝者。
但也有人担心，这些技术的持续进化会让网络视频变得更加真假难辨，或者被不法分子用于诈骗。看来，反诈手段要继续升级了。
GAIA 有什么创新点？
零样本会说话的虚拟人物生成技术旨在根据语音合成自然视频，确保生成的嘴型、表情和头部姿势与语音内容一致。以往的研究通常需要针对每个虚拟人物进行特定训练或调整特定模型，或在推理过程中利用模板视频以实现高质量的结果。最近，研究人员致力于设计和改进零样本会说话的虚拟人物的生成方法，只需使用一张目标虚拟人物的肖像图片作为外貌参考即可。不过，这些方法通常采用基于warping的运动表示、3D Morphable Model（3DMM）等领域先验来降低任务难度。这类启发式方法虽然有效，但可能会限制多样性，导致不自然的结果。因此，从数据分布中直接学习是未来研究的重点
本文中，来自微软的研究者提出了 GAIA（Generative AI for Avatar），其能够从语音和单张肖像图片合成自然的会说话的虚拟人物视频，在生成过程中消除了领域先验。
项目地址：https://microsoft.github.io/GAIA/可以在此链接上找到相关项目的详细信息
论文链接: https://arxiv.org/pdf/2311.15230.pdf
盖亚揭示了两个关键洞见：
- 用语音来驱动虚拟人物运动，而虚拟人物的背景和外貌（appearance）在整个视频中保持不变。受此启发，本文将每一帧的运动和外貌分开，其中外貌在帧之间共享，而运动对每一帧都是唯一的。为了根据语音预测运动，本文将运动序列编码为运动潜在序列，并使用以输入语音为条件的扩散模型来预测潜在序列；
- 当一个人在说出给定的内容时，表情和头部姿态存在巨大的多样性，这需要一个大规模和多样化的数据集。因此，该研究收集了一个高质量的能说话的虚拟人物数据集，该数据集由 16K 个不同年龄、性别、皮肤类型和说话风格的独特说话者组成，使生成结果自然且多样化。
根据上述两个洞见，本文提出了 GAIA 框架，其由变分自编码器 (VAE)（橙色模块）和扩散模型（蓝色和绿色模块）组成。
VAE的主要功能是分解运动和外貌。它由两个编码器（运动编码器和外貌编码器）和一个解码器组成。在训练时，运动编码器的输入为面部关键点（landmarks）的当前帧，而外貌编码器的输入为当前视频剪辑中的随机采样帧
根据这两个编码器的输出，随后优化解码器以重建当前帧。一旦获得训练完成的VAE，就会得到所有训练数据的潜在动作（即运动编码器的输出）
然后，这篇文章使用扩散模型训练，以预测基于语音和视频剪辑中随机采样帧的运动潜在序列，从而为生成过程提供外貌信息
在推理过程中，给定目标虚拟人物的参考肖像图像，扩散模型将图像和输入语音序列作为条件，生成符合语音内容的运动潜在序列。然后，生成的运动潜在序列和参考肖像图像经过 VAE 解码器合成说话视频输出。
该研究在数据方面进行了构建，从不同的来源收集了数据集，包括 High-Definition Talking Face Dataset (HDTF) 和 Casual Conversation datasets v1&v2 (CC v1&v2)。除了这三个数据集之外，研究还收集了一个大规模的内部说话虚拟人物数据集，其中包含 7K 小时的视频和 8K 说话者 ID。数据集的统计概述如表 1 所示
为了学习到所需的信息，文章提出了几种自动过滤策略以确保训练数据的质量：
- 为了使嘴唇运动可见，头像的正面方向应朝向相机；
- 为了保证稳定性，视频中的面部动作要流畅，不能出现快速晃动；
- 为了过滤掉嘴唇动作和言语不一致的极端情况，应该删除头像戴口罩或保持沉默的帧。
本文在过滤后的数据上训练 VAE 和扩散模型。从实验结果来看，本文得到了三个关键结论：
- GAIA 能够进行零样本说话虚拟人物生成，在自然度、多样性、口型同步质量和视觉质量方面具有优越的性能。根据研究者的主观评价，GAIA 显着超越了所有基线方法；
- 训练模型的大小从 150M 到 2B 不等，结果表明，GAIA 具有可扩展性，因为较大的模型会产生更好的结果；
- GAIA 是一个通用且灵活的框架，可实现不同的应用，包括可控的说话虚拟人物生成和文本 - 指令虚拟人物生成。
GAIA 效果怎么样？
实验过程中，该研究将 GAIA 与三个强大的基线进行比较，包括 FOMM、HeadGAN 和 Face-vid2vid。结果如表 2 所示：GAIA 中的 VAE 比以前的视频驱动基线实现了持续的改进，这说明 GAIA 成功地分解了外貌和运动表示。
语音驱动结果。用语音驱动说话虚拟人物生成是通过从语音预测运动实现的。表 3 和图 2 提供了 GAIA 与 MakeItTalk、Audio2Head 和 SadTalker 方法的定量和定性比较。
从数据中可以清楚地看出，GAIA 在主观评价方面远远超过了所有基准方法。更具体地说，如图 2 所示，即使参考图像是闭眼或头部姿态不寻常，基准方法的生成结果通常高度依赖于参考图像；相比之下，GAIA 对各种参考图像都表现出鲁棒性，并生成具有更高自然度、口型高度同步、视觉质量更好以及运动多样性的结果
根据表3，最佳的MSI分数表明GAIA生成的视频具有出色的运动稳定性。Sync-D得分为8.528，接近真实视频得分（8.548），表明生成的视频具有出色的唇形同步性。该研究获得了与基线相当的FID分数，这可能是受到了不同头部姿态的影响，因为该研究发现未经扩散训练的模型在表中实现了更好的FID分数，详见表6
Postman是一套面向API全生命周期的开发与测试平台，可在Mac上发送和调试多种协议请求，管理集合、环境及认证信息，并完成脚本测试、模拟服务、监控、文档发布和团队协作。它适合开发、测试及运维人员使用，提供个人免费方案。
Docker Desktop 是 Docker 官方为 Mac 提供的容器开发环境，集成 Docker Engine、命令行工具、Compose、Build、Kubernetes 与图形化管理界面。
Android Studio 是 Google 面向安卓应用开发提供的官方集成开发环境，基于 IntelliJ IDEA 构建。它整合智能代码编辑、Gradle 构建、界面预览、设备模拟、性能分析、调试测试及 APK 分析等工具。
Xcode 是苹果面向 Mac 提供的官方集成开发环境，将代码编辑、项目构建、SwiftUI 实时预览、设备模拟、自动化测试、断点调试、性能分析和应用分发整合在同一套工作流中，适合开发与维护 iPhone、iPad、Mac、Apple Wa
JetBrains WebStorm 是面向 JavaScript、TypeScript 和现代 Web 技术的专业集成开发环境，可智能理解项目结构，提供代码补全、重构、错误检查、运行调试、测试及 Git 工具。
PhpStorm 是 JetBrains 推出的专业 PHP 集成开发环境，可在 Mac 上完成代码编写、智能检查、重构、调试、测试和数据库管理。它支持主流 PHP 框架、Composer、Git、Docker 与远程解释器。
JetBrains PyCharm 是面向 Python 开发者的集成开发环境，提供智能补全、代码检查、重构、调试、测试、版本控制及虚拟环境管理功能。Mac 版兼容 Intel 与 Apple 芯片，核心功能可免费使用。
IntelliJ IDEA 是 JetBrains 推出的专业集成开发环境，重点服务于 Java、Kotlin 与 JVM 项目开发。软件集成代码补全、静态检查、重构、调试、测试、版本控制及构建工具，并可借助插件扩展语言和框架支持。
Visual Studio Code 是微软提供的免费代码编辑器，支持 macOS，并为 Intel 与 Apple 芯片 Mac 提供适配版本。软件集代码编辑、调试、Git 源代码管理、集成终端和扩展市场于一体。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Pro Tools 是 Avid 推出的专业数字音频工作站，覆盖多轨录音、无损剪辑、MIDI 编曲、插件处理、自动化混音及声音与画面同步等工作。它拥有 Intro、Artist、Studio 和 Ultimate 等方案。
PixPix 是面向品牌、卖家和内容团队的在线 AI 图片视频创作平台，提供图视频 Agent、无限画布、图片生成、视频生成、自然语言编辑及商品套图、产品精修和带货视频等电商工具。
Postman 是面向 API 全生命周期的开发与协作平台。Windows 桌面版可用于构建和发送 HTTP、GraphQL、gRPC、WebSocket、MQTT 等请求，并提供环境变量、集合、脚本测试、模拟服务、监控、文档及团队工作区等
Docker Desktop 为 Windows 开发者提供集成式容器环境，内置 Docker Engine、命令行工具、Compose、Build 与 Kubernetes 等组件，可在本机完成镜像构建、容器运行、日志查看和资源管理。
Android Studio 是 Google 面向 Android 应用开发提供的官方集成开发环境，以 IntelliJ IDEA 为基础，集成智能代码编辑、Gradle 构建、设备模拟、界面预览、调试测试及性能分析工具，
WebStorm 是 JetBrains 面向 JavaScript、TypeScript 和现代 Web 技术打造的集成开发环境。它提供项目级代码分析、智能补全、安全重构、导航搜索，并集成调试、测试、终端、Git 与常用前端工具，
PhpStorm 是 JetBrains 面向 PHP 与现代 Web 开发打造的专业集成开发环境，提供代码补全、静态检查、重构、调试、测试、数据库、版本控制及前端语言支持。Windows 用户可直接下载安装程序，
PyCharm 是 JetBrains 推出的 Python 集成开发环境，提供智能代码补全、错误检查、重构、调试、测试、Git、终端及 Jupyter Notebook 支持。统一版安装后可体验 30 天 Pro 功能，
JetBrains IntelliJ IDEA 是以 Java、Kotlin 和 JVM 项目为核心的专业集成开发环境，提供智能补全、代码检查、安全重构、调试、测试、版本控制及构建工具集成。统一发行版的核心功能可免费用于商业和非商业项目，
Visual Studio Code 是微软推出的免费代码编辑器，Windows 版集成智能补全、代码导航、调试、终端和版本控制，并可通过扩展添加语言、格式化及远程开发能力。它启动较快、配置灵活，
REAPER 是 Cockos 推出的数字音频工作站，适用于录音、MIDI 编曲、音频编辑、混音、母带制作及声音设计。软件安装包小巧，支持多轨录制、灵活路由、自动化、第三方插件和脚本扩展，并提供完整功能的 60 天免费评估期。
Adobe Audition 是面向播客、影视后期、广播与音乐制作的专业音频工作站，提供波形编辑、多轨混音、频谱分析、录音、降噪修复和效果处理等功能。Windows 版通过 Adobe Creative Cloud 安装和管理，
Pro Tools 是 Avid 推出的专业数字音频工作站，提供多轨录音、音频剪辑、MIDI编曲、插件处理、自动化混音及影视声音制作能力。它适合音乐人、录音师、制作人和音频后期团队使用，并提供免费入门版、订阅方案及永久授权选择。