「无需配对数据」就能学习！浙大等提出连接多模态对比表征C-MCR
多模态对比表示（MCR）旨在将来自不同模态的输入编码到一个语义对齐的共享空间中随着视觉-语言领域中CLIP模型的巨大成功，越来越多的模态对比表征开始出现，并在许多下游任务上取得明显的改善，但这些方法严重依赖于大规模高质量的配对数据为了解决这个问题，来自浙江大学等机构的研究人员提出了连接多模态对比表示（C-MCR），一种无需配对数据且训练极为高效的多模态对比表征学习方法。请点击以下链接查看论文：https://arxiv.org/abs/2305.14381C-MCR项目主页链接：https://c-mcr
多模态对比表示（MCR）旨在将来自不同模态的输入编码到一个语义对齐的共享空间中
随着视觉-语言领域中CLIP模型的巨大成功，越来越多的模态对比表征开始出现，并在许多下游任务上取得明显的改善，但这些方法严重依赖于大规模高质量的配对数据
为了解决这个问题，来自浙江大学等机构的研究人员提出了连接多模态对比表示（C-MCR），一种无需配对数据且训练极为高效的多模态对比表征学习方法。
请点击以下链接查看论文：https://arxiv.org/abs/2305.14381
C-MCR项目主页链接：https://c-mcr.github.io/C-MCR/
模型和代码地址：https://github.com/MCR-PEFT/C-MCR
该方法在不使用任何配对数据的情况下，通过枢纽模态连接不同的预训练对比表征，我们学习到了强大的音频-视觉和3D点云-文本表征，并在音频-视觉检索、声源定位、3D物体分类等多个任务上取得了SOTA效果。
介绍
多模态对比表示（MCR）旨在将不同模态的数据映射到统一的语义空间中。随着CLIP在视觉-语言领域的巨大成功，学习更多模态组合之间的对比表示已成为一个热门研究课题，吸引了越来越多的关注。
然而，现有多模态对比表示的泛化能力主要受益于大量高质量数据对。这严重限制了对比表征在缺乏大规模高质量数据的模态上的发展。例如，音频和视觉数据对之间的语义相关性往往是模糊的，3D点云和文本之间的配对数据稀缺且难以获得。
不过，我们观察到，这些缺乏配对数据的模态组合，往往和同一个中间模态具有大量高质量配对数据。比如，在音频-视觉领域，尽管视听数据质量不可靠，但音频-文本和文本-视觉之间存在大量高质量的配对数据。
同样，虽然3D点云-文本配对数据的可用性有限，但3D点云-图像和图像-文本数据却非常丰富。这些枢纽模态可以为模式之间建立进一步关联的纽带。
考虑到具有大量配对数据的模态间往往已经拥有预训练的对比表示，本文直接尝试通过枢纽模态来将不同模态间的对比表征连接起来，从而为缺乏配对数据的模态组合构建新的对比表征空间。
使用连接多模态对比表示（C-MCR）可以通过重叠模态来构建已有大量多模态对比表示的连接，从而学习更广泛的模态之间的对齐关系。这个学习过程不需要任何配对数据，并且具有极高的效率
C-MCR具有两个关键优势：
重点在于灵活性：
C-MCR的能力在于为模态学习提供缺乏直接配对的对比表征。从另一个角度来看，C-MCR将每个已有的多模态对比表示空间视为一个节点，并将重叠的模态视为关键的枢纽模态
通过连接各个孤立的多模态对比表征，我们能够灵活地扩展所获得的多模态对齐知识，并挖掘出更广泛的模态间对比表示
2、高效性：
由于C-MCR仅需为已有的表征空间构建连接，因此只用学习两个简单的映射器，其训练参数和训练成本都是极低的。
在这项实验中，我们使用文本作为枢纽，将视觉-文本（CLIP）和文本-音频（CLAP）进行对比表示空间的连接，最终得到了高质量的视觉-音频表示
类似地，通过使用图像连接文本-视觉（CLIP）和视觉-3D点云（ULIP）进行比较来表示空间，也可以得到一组3D点云-文本对比表示
方法
图1 (a) 介绍了C-MCR的算法流程（以使用文本连接CLIP和CLAP为例）。
文本（重叠模态）的数据分别被CLIP和CLAP的文本编码器编码为文本特征：、。
同时，还有大量的非配对单模态数据被分别编码到CLIP和CLAP空间中，形成了图像记忆和音频记忆
特征语义增强是指通过对特征进行改进和优化，以提升其语义表达能力的过程。通过对特征进行适当的调整，可以使其更加准确地反映所要表达的含义，从而提高语言表达的效果。特征语义增强技术在自然语言处理领域具有重要的应用价值，可以帮助机器理解和处理文本信息，提高机器在语义理解和语义生成方面的能力
我们可以从提升表征的语义信息出发，以增强空间连接的鲁棒性和全面性。在此方面，我们首先从语义一致性和语义完整性两个角度进行探讨
模态间语义一致性
CLIP和CLAP分别已经学到了可靠的对齐的图像-文本和文本-音频表征。
我们利用CLIP和CLAP中这种内在的模态对齐性来生成与第i个文本语义一致的图像和音频特征，从而更好地量化对比表征空间中的modality gap以及更直接的挖掘非重叠模态间的关联性：
模态内语义完整性
不同表征空间对于数据的语义表达会有不同的倾向性，因此不同空间下的同一个文本也会不可避免的存在语义偏差和丢失。在连接表示空间时，这种语义偏差会被累积并且放大。
为了增强每个表征的语义完整性，我们提出将零均值高斯噪声添加到表征中，并将它们重新归一化为单位超球面上：
如图1 (c) 中所示，在对比表征空间中，每个表征可以看代表是在单位超球面上的一个点。添加高斯噪声并重新归一化则使表征能够代表了单位球面上的一个圆。
当两个特征的空间距离越接近时，它们的语义相似度也越高。因此，圆内的特征都具有相似的语义，圆能够更完整地表示语义
2. Inter-MCR的对齐
在表征语义增强之后，我们使用两个映射器 和 来将CLIP和CLAP表征重新映射到一个新的共享空间
新空间需要确保来自不同空间的语义相似的表征彼此接近。
来源于同一文本的 (
,
) 是天然语义一致的，可以被看做真实标签对，而源自于 (,
) 的 (
,
) 可以被视为伪标签对。
(
,
) 之间的语义高度一致，但从它们中学习到的连接对于音频-视觉来说是间接的。 而(
,
)对的语义一致性虽然不太可靠，但其更直接地有利于音频-视觉表征。
为了更全面地连接两个对比表征空间，我们同时对齐 (
,
) 和 (
,
)：
3. Intra-MCR的对齐
除了空间之间的连接，对比表征空间内部还存在着modality gap的现象。即在对比表征空间中，不同模态的表征虽然语义对齐，但它们分布在完全不同的子空间中。这意味着从 (,) 学习到的更稳定的连接可能不能很好的被音频-视觉继承。
为了解决这个问题，我们提出重新对齐各个对比表征空间的不同模态表征。具体来说，我们去除对比损失函数中的负例排斥结构，来推导出用于减小modality gap的损失函数。典型的对比损失函数可以表述为：
我们消除其中的负对排斥项后，最终的公式可以简化为：
实验
实验上，我们通过使用文本连接音频-文本空间（CLAP）和文本-视觉空间（CLIP）来获得音频-视觉表征，使用图像连接3D点云-图像空间（ULIP）和图像-文本空间（CLIP）来获得3D点云-文本表征。
在AVE和Flickr-SoundNet上进行零样本音频图像检索的结果如下：
MUSIC-Solo和VGGSS上的零样本声源定位结果如下：
在Ex-VGGSS和Ex-FlickrNet上的零样本反事实音频图像识别结果如下所示：
在ModelNet40上的zero-shot 3D点云分类结果如下：
WPS Office是一款面向macOS用户的综合办公套件，将文字处理、电子表格、演示文稿、PDF工具、模板与云协作整合在同一应用中。它兼容常见Microsoft Office格式，支持Intel及Apple芯片Mac，基础功能可免费使用，
Shapr3D是一款面向工业设计、机械工程、建筑概念和三维打印工作流的CAD软件。Mac版采用Parasolid建模内核，支持草图约束、实体建模、工程图、可视化渲染及常见CAD格式交换，并可通过账户在多台设备之间同步项目。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Ableton Live 是面向音乐制作人与现场表演者的数字音频工作站，提供编曲视图、独具特色的现场视图、音频录制、MIDI创作、实时变速、乐器及效果器。Mac版原生支持Apple芯片，并可连接音频接口、MIDI控制器和第三方插件。
Adobe After Effects 是面向动态图形、影视特效与视频合成的专业创作软件。它提供关键帧动画、遮罩抠像、运动跟踪、三维空间、文字动画和表达式等工具，并可与 Premiere Pro、Photoshop、Illustrator
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Adobe Bridge 是面向摄影师、设计师及内容团队的免费数字资产管理工具，可集中预览照片、视频和 Adobe 项目文件，并利用评级、标签、关键词、元数据、筛选与收藏集完成分类检索。它还支持批量重命名、格式导出、相机导入及 Camera
Adobe Illustrator 是 Adobe 推出的专业矢量图形设计软件，适合在 Mac 上制作标志、图标、插画、包装、信息图及印刷版面。它以路径和锚点构建可无损缩放的图形，并提供钢笔、形状、文字、图像描摹、渐变、画板及生成式功能。
Adobe InDesign 是面向印刷品与数字出版物的专业版面设计软件，可在 Mac 上制作书籍、杂志、宣传册、海报、报告及交互式文档。它提供精细的文字样式、网格、母版、长文档管理和印前输出能力。
Adobe Lightroom Classic 是面向桌面摄影工作流的照片管理与后期处理软件，可将原始照片保存在本地硬盘，通过目录、关键词、评分和收藏夹高效整理图库，并提供 RAW 冲印、蒙版、镜头校正、批量同步及多格式导出等功能。
Adobe Media Encoder 是 Adobe 推出的专业音视频编码与转码工具，可通过队列、预设和监视文件夹批量完成格式转换、代理文件创建及多平台成片输出，并与 Premiere Pro、After Effects 等软件紧密协作。
Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理软件，提供图层、蒙版、选区、修复、调色、文字排版、智能对象及生成式编辑等能力。Mac 版支持 Intel 与 Apple Silicon 处理器。
AutoCAD 是 Autodesk 推出的专业计算机辅助设计软件，Windows 版支持精确二维绘图、三维实体与曲面建模、图纸标注、布局发布和任务自动化，并包含多套行业专业化工具组合，适用于建筑、机械、电气、工程建设及制造设计人员。
SketchUp Pro 是面向建筑、室内、景观、施工和产品设计等专业场景的三维建模工具，提供桌面建模、LayOut 二维文档、模型资源库、扩展程序及云端协作能力。其操作逻辑直观，适合从概念推敲、空间规划到图纸表达和方案汇报的完整工作流程。
AutoCAD LT 是 Autodesk 推出的专业二维 CAD 软件，适合建筑师、工程师、施工人员和设计师完成精确绘图、标注及文档编制。它支持 DWG 工作流、智能块、图形比较、计数、表格和 AutoLISP 自动化，
Rhino 3D 是 McNeel 推出的专业三维建模工具，可创建、编辑和分析 NURBS 曲线曲面、实体、网格、SubD 与点云。Windows 版支持精确造型、工程制图、渲染、文件转换及 Grasshopper 参数化设计，
Autodesk Fusion 是面向产品设计与制造的云连接开发平台，在统一环境中整合三维 CAD、CAM、CAE、PCB、工程图、数据管理和团队协作功能，适合产品设计师、机械工程师、电子工程师及加工制造团队完成从概念建模、验证分析到生产交
Archicad 是 Graphisoft 面向建筑师、设计师、工程师及 BIM 团队开发的建筑信息模型平台。它把三维建筑建模、施工文档、数据管理、专业协调、实时协作和可视化集中在统一项目环境中，适合从概念方案到施工交付的完整建筑设计流程。
Vectorworks Architect 是面向建筑师、室内设计师和建筑顾问的综合设计与BIM平台，覆盖概念草图、二维制图、三维建模、施工文档、数据报表、可视化及开放式协作。它强调自由造型与数据化建筑对象并存，
Shapr3D 是一款基于 Siemens Parasolid 几何内核的专业三维CAD软件，可在 Windows 电脑和平板设备上完成草图绘制、实体建模、参数化修改、模型可视化及技术图纸制作。软件提供免费基础方案，
FreeCAD 是面向机械设计、产品开发、建筑建模和创客项目的免费开源参数化三维 CAD 工具。它可在 Windows 上完成约束草图、实体零件、装配、工程图、BIM、有限元分析及 CAM 等任务，
Twinmotion 是 Epic Games 推出的实时三维可视化工具，可导入常见 CAD、BIM 与三维模型，通过材质、环境、植被、灯光及动画资源快速构建场景，并输出图片、视频、全景图和交互演示。
BricsCAD 是以 DWG 为核心格式的专业 CAD 平台，可用于二维制图、三维建模、工程文档与设计协作。产品按 Lite、Pro、BIM、Mechanical 和 Ultimate 等层级提供不同工具，
Ableton Live 是面向音乐创作、录音、编曲、声音设计、混音与现场演出的数字音频工作站。它将适合即兴触发素材的 Session 视图与传统时间线编曲结合，并提供音频变速、MIDI工具、软件乐器、效果器和声音资源，