哈工大南洋理工提出全球首个「多模态DeepFake检测定位」模型：让AIGC伪造无处可藏
由于如StableDiffusion等视觉生成模型的快速发展，高保真度的人脸图片可以自动化地伪造，制造越来越严重的DeepFake问题。随着如ChatGPT等大型语言模型的出现，大量假本文也可以容易地生成并恶意地传播虚假信息。为此，一系列单模态检测模型被设计出来，去应对以上AIGC技术在图片和文本模态的伪造。但是这些方法无法较好应对新型伪造场景下的多模态假新闻篡改。具体而言，在多模态媒体篡改中，各类新闻报道的图片中重要人物的人脸（如图1中法国总统人脸）被替换，文字中关键短语或者单词被篡改（如图1
由于如Stable Diffusion等视觉生成模型的快速发展，高保真度的人脸图片可以自动化地伪造，制造越来越严重的DeepFake问题。
随着如ChatGPT等大型语言模型的出现，大量假本文也可以容易地生成并恶意地传播虚假信息。
为此，一系列单模态检测模型被设计出来，去应对以上AIGC技术在图片和文本模态的伪造。但是这些方法无法较好应对新型伪造场景下的多模态假新闻篡改。
具体而言，在多模态媒体篡改中，各类新闻报道的图片中重要人物的人脸（如图 1 中法国总统人脸）被替换，文字中关键短语或者单词被篡改（如图 1 中正面短语「is welcome to」被篡改为负面短语「is forced to resign」）。
这将改变或掩盖新闻关键人物的身份，以及修改或误导新闻文字的含义，制造出互联网上大规模传播的多模态假新闻。
图1. 本文提出检测并定位多模态媒体篡改任务（DGM4）。与现有的单模态DeepFake检测任务不同，DGM4不仅对输入图像-文本对预测真假二分类，也试图检测更细粒度的篡改类型和定位图像篡改区域和文本篡改单词。除了真假二分类之外，此任务对篡改检测提供了更全面的解释和更深入的理解。
表1: 所提出的DGM4与现有的图像和文本伪造检测相关任务的比较
检测并定位多模态媒体篡改任务
为了解此新挑战，来自哈工大（深圳）和南洋理工的研究人员提出了检测并定位多模态媒体篡改任务（DGM4）、构建并开源了DGM4数据集，同时提出了多模态层次化篡改推理模型。目前，该工作已被CVPR 2023收录。
论文地址：https://arxiv.org/abs/2304.02556
GitHub：https://github.com/rshaojimmy/MultiModal-DeepFake
项目主页：https://rshaojimmy.github.io/Projects/MultiModal-DeepFake
如图1和表1所示，检测并定位多模态媒体篡改任务（Detecting and Grounding Multi-Modal Media Manipulation （DGM4））和现有的单模态篡改检测的区别在于：
1）不同于现有的DeepFake图像检测与伪造文本检测方法只能检测单模态伪造信息，DGM4要求同时检测在图像-文本对中的多模态篡改；
2）不同于现有DeepFake检测专注于二分类，DGM4进一步考虑了定位图像篡改区域和文本篡改单词。这要求检测模型对于图像-文本模态间的篡改进行更全面和深入的推理。
检测并定位多模态媒体篡改数据集
为了支持对DGM4研究，如图2所示，本工作贡献了全球首个检测并定位多模态媒体篡改（DGM4）数据集。
图2. DGM4数据集
DGM4数据集调查了4种篡改类型，人脸替换篡改（FS）、人脸属性篡改（FA）、文本替换篡改（TS）、文本属性篡改（TA）。
图2展示了 DGM4 整体统计信息，包括（a） 篡改类型的数量分布；（b） 大多数图像的篡改区域是小尺寸的，尤其是对于人脸属性篡改；（c） 文本属性篡改的篡改单词少于文本替换篡改；（d）文本情感分数的分布；（e）每种篡改类型的样本数。
此数据共生成23万张图像-文本对样本，包含了包括77426个原始图像-文本对和152574个篡改样本对。篡改样本对包含66722个人脸替换篡改，56411个人脸属性篡改，43546个文本替换篡改和18588个文本属性篡改。
多模态层次化篡改推理模型
本文认为多模态的篡改会造成模态间细微的语义不一致性。因此通过融合与推理模态间的语义特征，检测到篡改样本的跨模态语义不一致性，是本文应对DGM4的主要思路。
图3. 提出的多模态层次化篡改推理模型HierArchical Multi-modal Manipulation rEasoning tRansformer (HAMMER)
基于此想法，如图3所示，本文提出了多模态层次化篡改推理模型HierArchical Multi-modal Manipulation rEasoning tRansformer (HAMMER)。
此模型建立在基于双塔结构的多模态语义融合与推理的模型架构上，并将多模态篡改的检测与定位细粒度层次化地通过浅层与深层篡改推理来实现。
具体而言，如图3所示，HAMMER模型具有以下两个特点：
1）在浅层篡改推理中，通过篡改感知的对比学习（Manipulation-Aware Contrastive Learning）来对齐图像编码器和文本编码器提取出的图像和文本单模态的语义特征。同时将单模态嵌入特征利用交叉注意力机制进行信息交互，并设计局部块注意力聚合机制（Local Patch Attentional Aggregation）来定位图像篡改区域；
2）在深层篡改推理中，利用多模态聚合器中的模态感知交叉注意力机制进一步融合多模态语义特征。在此基础上，进行特殊的多模态序列标记（multi-modal sequence tagging）和多模态多标签分类（multi-modal multi-label classification）来定位文本篡改单词并检测更细粒度的篡改类型。
实验结果
如下图，实验结果表明研究团队提出的HAMMER与多模态和单模态检测方法相比，都能更准确地检测并定位多模态媒体篡改。
图4. 多模态篡改检测和定位结果可视化
图5. 关于篡改文本的模型篡改检测注意力可视化
图4提供了一些多模态篡改检测和定位的可视化结果，说明了HAMMER可以准确地同时进行篡改检测与定位任务。图5提供了关于篡改单词的模型注意力可视化结果，进一步展示了HAMMER是通过关注与篡改文本语义不一致性的图像区域来进行多模态篡改检测和定位。
总结
- 本工作提出了一个新的研究课题：检测并定位多模态媒体篡改任务，来应对多模态假新闻。
- 本工作贡献了首个大规模的检测并定位多模态媒体篡改数据集，并提供了详细丰富的篡改检测与定位的标注。团队相信它可以很好地帮助未来多模态假新闻检测的研究。
- 本工作提出了一个强大的多模态层次化篡改推理模型作为此新课题很好的起始方案。
本工作的代码和数据集链接都已分享在本项目的GitHub上，欢迎大家Star这个GitHub Repo， 使用DGM4数据集和HAMMER来研究DGM4问题。DeepFake领域不只有图像单模态检测，还有更广阔的多模态篡改检测问题亟待大家解决！
IntelliJ IDEA 是 JetBrains 推出的专业集成开发环境，重点服务于 Java、Kotlin 与 JVM 项目开发。软件集成代码补全、静态检查、重构、调试、测试、版本控制及构建工具，并可借助插件扩展语言和框架支持。
JetBrains PyCharm 是面向 Python 开发者的集成开发环境，提供智能补全、代码检查、重构、调试、测试、版本控制及虚拟环境管理功能。Mac 版兼容 Intel 与 Apple 芯片，核心功能可免费使用。
JetBrains WebStorm 是面向 JavaScript、TypeScript 和现代 Web 技术的专业集成开发环境，可智能理解项目结构，提供代码补全、重构、错误检查、运行调试、测试及 Git 工具。
Adobe After Effects 是面向动态图形、影视特效与视频合成的专业创作软件。它提供关键帧动画、遮罩抠像、运动跟踪、三维空间、文字动画和表达式等工具，并可与 Premiere Pro、Photoshop、Illustrator
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Adobe Bridge 是面向摄影师、设计师及内容团队的免费数字资产管理工具，可集中预览照片、视频和 Adobe 项目文件，并利用评级、标签、关键词、元数据、筛选与收藏集完成分类检索。它还支持批量重命名、格式导出、相机导入及 Camera
Adobe Illustrator 是 Adobe 推出的专业矢量图形设计软件，适合在 Mac 上制作标志、图标、插画、包装、信息图及印刷版面。它以路径和锚点构建可无损缩放的图形，并提供钢笔、形状、文字、图像描摹、渐变、画板及生成式功能。
Adobe InDesign 是面向印刷品与数字出版物的专业版面设计软件，可在 Mac 上制作书籍、杂志、宣传册、海报、报告及交互式文档。它提供精细的文字样式、网格、母版、长文档管理和印前输出能力。
Adobe Lightroom Classic 是面向桌面摄影工作流的照片管理与后期处理软件，可将原始照片保存在本地硬盘，通过目录、关键词、评分和收藏夹高效整理图库，并提供 RAW 冲印、蒙版、镜头校正、批量同步及多格式导出等功能。
Adobe Media Encoder 是 Adobe 推出的专业音视频编码与转码工具，可通过队列、预设和监视文件夹批量完成格式转换、代理文件创建及多平台成片输出，并与 Premiere Pro、After Effects 等软件紧密协作。
Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理软件，提供图层、蒙版、选区、修复、调色、文字排版、智能对象及生成式编辑等能力。Mac 版支持 Intel 与 Apple Silicon 处理器。
Adobe Premiere Pro 是面向专业视频制作的非线性剪辑软件，提供多轨时间线、调色、音频处理、字幕、代理工作流和多格式输出能力，并可与 After Effects、Audition、Photoshop 及 Frame.io 协同
JetBrains IntelliJ IDEA 是以 Java、Kotlin 和 JVM 项目为核心的专业集成开发环境，提供智能补全、代码检查、安全重构、调试、测试、版本控制及构建工具集成。统一发行版的核心功能可免费用于商业和非商业项目，
PhpStorm 是 JetBrains 面向 PHP 与现代 Web 开发打造的专业集成开发环境，提供代码补全、静态检查、重构、调试、测试、数据库、版本控制及前端语言支持。Windows 用户可直接下载安装程序，
PyCharm 是 JetBrains 推出的 Python 集成开发环境，提供智能代码补全、错误检查、重构、调试、测试、Git、终端及 Jupyter Notebook 支持。统一版安装后可体验 30 天 Pro 功能，
WebStorm 是 JetBrains 面向 JavaScript、TypeScript 和现代 Web 技术打造的集成开发环境。它提供项目级代码分析、智能补全、安全重构、导航搜索，并集成调试、测试、终端、Git 与常用前端工具，
Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理工具，可在 Windows 上完成照片修饰、选区抠图、图层合成、文字排版、绘画及生成式编辑。软件采用订阅授权，由 Creative Cloud 管理安装、更新与许
Adobe InDesign 是面向印刷与数字出版的专业页面排版工具，可制作书籍、杂志、宣传册、海报、交互式 PDF 和电子书。它提供精细的文字样式、多页面管理、印前检查及多格式输出能力，并能与 Photoshop、Illustrator
Adobe Illustrator 是用于绘制矢量图形、插画、图标、徽标和版式的专业设计工具。它以路径和锚点为核心，作品放大后仍能保持清晰，并提供画板、文字、渐变、图像描摹及精确变换等功能，适合品牌视觉、印刷物料、数字界面和商业插画创作。
Adobe Bridge 是 Adobe 推出的创意资产管理工具，可集中预览、分类和查找照片、视频、PDF及多种设计文件，并支持元数据、关键词、评级、批量重命名和格式导出。它可与 Photoshop、Illustrator 等应用衔接，
Adobe Lightroom Classic 是面向 Windows 桌面摄影工作流的照片管理与无损编辑工具，可通过目录集中整理大型图库，并完成 RAW 显影、局部蒙版、批量调整、打印和多格式导出。它强调本地文件管理与精细控制，
Adobe Acrobat Pro 是面向专业 PDF 工作的综合解决方案，可在 Windows 中创建、编辑、转换、比较、整理和保护文档，并支持表单、电子签名、扫描件文字识别及敏感信息永久遮盖。订阅还包含网页、移动服务和云端协作能力，
Adobe After Effects 是面向动态图形、动画与影视视觉特效制作的专业工具，可完成关键帧动画、图层合成、遮罩跟踪、抠像、文字动画和二维三维元素整合。Windows 版通过 Adobe Creative Cloud 安装及更新，
Adobe Media Encoder 是 Adobe 面向视频与音频制作流程提供的专业编码和转码工具，可批量处理媒体文件、创建代理、套用输出预设并监控文件夹自动执行任务。它与 Premiere、After Effects、Audition