改进图像感知性对比学习以提高多变量时间序列分类效果
这篇AAAI2024中的论文由新加坡科技研究局（A*STAR）和新加坡南洋理工大学合作发表，提出了一种利用图感知对比学习来改善多变量时间序列分类的方法。实验结果显示，该方法在提升时间序列分类效果方面取得了显著的成果。图片论文标题：Graph-AwareContrastingforMultivariateTime-SeriesClassification下载地址：https://arxiv.org/pdf/2309.05202.pdf开源代码：https://github.com/Frank-Wang-os
这篇AAAI 2024中的论文由新加坡科技研究局（A*STAR）和新加坡南洋理工大学合作发表，提出了一种利用图感知对比学习来改善多变量时间序列分类的方法。实验结果显示，该方法在提升时间序列分类效果方面取得了显著的成果。
图片
论文标题：Graph-Aware Contrasting for Multivariate Time-Series Classification
下载地址：https://arxiv.org/pdf/2309.05202.pdf
开源代码：https://github.com/Frank-Wang-oss/TS-GAC
1、整体介绍
作者在针对现有对比学习方法的基础上，提出了一种名为图感知对比（TS-GAC）的方法，该方法旨在解决MTS数据中多传感器的空间一致性问题。TS-GAC包括两个主要组成部分：图增强和图对比。图增强通过节点和连边增强来提高空间一致性，以保持传感器的稳定性和相关性。而图对比则引入了多窗口时间对比来维持时间一致性。 通过广泛的实验验证，该方法在各种MTS分类任务上取得了最优性能。研究结果强调了在MTS数据的对比学习中考虑空间一致性的重要性，并提供了一个全面的解决方案，显著改善了分类性能。这一研究对于进一步提高对比学习的效果具有重要意义，并为处理MTS数据提供了有力的工具。
图片
2、模型结构
本文提出的方法主要包括图增强和图对比两个部分。
为了有效地增强MTS数据，我们引入了节点和连边的增强来生成弱视图和强视图。节点增强包括频域和时域增强，以充分增强图节点。首先，我们应用频域增强来增强节点，然后根据MTS数据中的动态局部模式，将增强后的样本分割成多个窗口（如图2所示）。在每个窗口中，我们使用节点时间增强，并通过一维卷积神经网络对窗口进行特征提取。随后，我们对每个窗口构建图，并通过连边增强进一步增强图。最后，我们使用基于图神经网络的编码器对图进行处理和特征学习。
图片
图对比：包括节点级对比和图级对比，以实现空间一致性。节点级对比通过在不同视图中将相应的传感器拉近、将不同视图中的不同传感器推远，确保节点特征的鲁棒性。图级对比则进一步确保全局特征的鲁棒性，通过对比不同视图中的样本来实现。
该架构的目标是在对比学习中实现空间一致性，针对MTS分类提供了特定的增强和对比技术。通过首先应用节点增强，然后利用节点内的时间增强，以及最终通过GNN处理的边缘增强，该方法能够为每个样本生成具有不同空间和时间特性的弱视图和强视图。这种方法的创新之处在于，它不仅考虑了时间一致性，还通过图结构增强了空间一致性，为MTS数据的深入分析和处理提供了新的视角。
3、图增强模块
针对MTS数据的特性，即作为由多个传感器收集的数据，作者提出了节点和连边增强两种主要方法：
节点增强：分为频域增强和时域增强。频域增强通过将每个传感器的信号转换到频域，并对提取的频率特征进行增强，然后将增强的频率特征转换回时间域以获得增强信号。具体采用了离散小波变换，通过高通和低通滤波器分解信号，以表示信号内的宏观趋势和微观趋势。时域增强则是考虑到MTS数据的动态特性，通过将每个MTS样本分割成多个窗口，并在每个窗口内进行时域增强。
连边增强：旨在增强传感器间的相关性，即构建的图中的边。首先通过图构建过程来定义节点（传感器）和边（传感器间的相关性）。然后，通过连边增强方法有效地增强传感器间的相关性。在这一步骤中，考虑到强相关性比弱相关性在GNN的特征传播中更为重要，因此在进行边缘增强时，保留了最强的s个相关性以保证拓扑信息的稳定，并将其余的相关性用随机值替换来增强连边。
通过这些增强策略，作者旨在生成弱视图和强视图，以便后续的对比学习过程能够学习到鲁棒的传感器特征和传感器间关系。这些增强策略的设计考虑到了MTS数据的多源性和动态性，通过提供不同角度的数据视图，增强了CL的能力，从而可以学习到更鲁棒和泛化的表示。
4、图对比模块
文中提出了图感知对比方法，该方法特别设计了节点和边缘增强以及图对比策略，以增强MTS数据的空间一致性。主要包括多窗口时间对比、节点级对比、图级对比3个级别的对比方式。
多窗口时间对比（Multi-Window Temporal Contrasting, MWTC）：这一方法在传感器级别上保证每个传感器的时间一致性，通过预测编码来维持MTS数据内时间依赖性的鲁棒性。MWTC通过总结一个视图中的过去窗口信息，与另一视图的未来窗口进行对比，以此来保持时间模式的鲁棒性。
节点级对比（Node-level Contrasting, NC）：NC通过在每个MTS样本内不同视图中的传感器进行对比，学习鲁棒的传感器级特征。这包括最大化两个视图中对应传感器之间的相似性，同时最小化那些视图中不同传感器之间的相似性。
图级对比（Graph-level Contrasting, GC）：GC通过在每个训练批次内对样本进行对比，促进鲁棒的全局级特征学习。这一策略通过最大化两个视图中对应样本之间的相似性，同时最小化那些视图中不同样本之间的相似性来实现。
这些对比学习策略共同工作，旨在通过图结构增强MTS数据的表示学习，进而提高分类准确性。文章还强调了时间对比对于保持每个传感器时间一致性的重要性，以及图对比在学习传感器和全局级鲁棒特征中的作用。通过结合节点级和图级对比，该方法能够有效地学习MTS数据中的复杂空间和时间模式，实现对MTS分类性能的显著提升。
5、实验效果
在实验部分，文中对比了在十个公开的多变量时间序列数据集上的性能表现，并与现有的最先进方法进行了比较。这些数据集包括人类活动识别（HAR）、ISRUC睡眠阶段分类，以及UEA数据集中的子数据集，如手指运动、口语阿拉伯数字等。为了公平对比，所有方法都使用了相同的编码器。实验结果显示，TS-GAC在其中八个数据集上取得了最佳性能，特别是在HAR和ISRUC数据集上，相较于其他方法，准确率分别提高了1.44%和3.13%。
图片
同时，作者还对模型特征进行了可视化，可视化结果实现了TS-GAC可以提取更有辨识度的传感器级特征。同时，相对于其他方法，TS-GAC可以对不同视角的数据得到更加一致的传感器级特征。
图片
作者还进行了消融研究，以评估设计的增强和对比技术对模型性能的影响。消融研究测试了不同变体，包括去除节点增强、去除边缘增强、去除图级对比、去除节点级对比、去除多窗口时间对比的变体。结果表明，图增强和图对比技术在提高MTS数据的空间一致性方面极为有效，完全的TS-GAC相较于任何一种减少对比损失的变体都表现出了更好的性能。
图片
此外，作者还对模型的敏感性进行了分析，包括超参数（如λMWTC、λGC、λNC）的影响和保留边缘数量的影响。这些分析进一步证实了所提出方法的有效性和健壮性。
整体而言，实验结果强调了TS-GAC在多个MTS分类任务上达到最优性能的能力，证明了提出的图增强和图对比技术在提高模型对MTS数据的空间一致性方面的重要性和有效性。
WPS Office是一款面向macOS用户的综合办公套件，将文字处理、电子表格、演示文稿、PDF工具、模板与云协作整合在同一应用中。它兼容常见Microsoft Office格式，支持Intel及Apple芯片Mac，基础功能可免费使用，
Shapr3D是一款面向工业设计、机械工程、建筑概念和三维打印工作流的CAD软件。Mac版采用Parasolid建模内核，支持草图约束、实体建模、工程图、可视化渲染及常见CAD格式交换，并可通过账户在多台设备之间同步项目。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Ableton Live 是面向音乐制作人与现场表演者的数字音频工作站，提供编曲视图、独具特色的现场视图、音频录制、MIDI创作、实时变速、乐器及效果器。Mac版原生支持Apple芯片，并可连接音频接口、MIDI控制器和第三方插件。
Adobe After Effects 是面向动态图形、影视特效与视频合成的专业创作软件。它提供关键帧动画、遮罩抠像、运动跟踪、三维空间、文字动画和表达式等工具，并可与 Premiere Pro、Photoshop、Illustrator
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Adobe Bridge 是面向摄影师、设计师及内容团队的免费数字资产管理工具，可集中预览照片、视频和 Adobe 项目文件，并利用评级、标签、关键词、元数据、筛选与收藏集完成分类检索。它还支持批量重命名、格式导出、相机导入及 Camera
Adobe Illustrator 是 Adobe 推出的专业矢量图形设计软件，适合在 Mac 上制作标志、图标、插画、包装、信息图及印刷版面。它以路径和锚点构建可无损缩放的图形，并提供钢笔、形状、文字、图像描摹、渐变、画板及生成式功能。
Adobe InDesign 是面向印刷品与数字出版物的专业版面设计软件，可在 Mac 上制作书籍、杂志、宣传册、海报、报告及交互式文档。它提供精细的文字样式、网格、母版、长文档管理和印前输出能力。
Adobe Lightroom Classic 是面向桌面摄影工作流的照片管理与后期处理软件，可将原始照片保存在本地硬盘，通过目录、关键词、评分和收藏夹高效整理图库，并提供 RAW 冲印、蒙版、镜头校正、批量同步及多格式导出等功能。
Adobe Media Encoder 是 Adobe 推出的专业音视频编码与转码工具，可通过队列、预设和监视文件夹批量完成格式转换、代理文件创建及多平台成片输出，并与 Premiere Pro、After Effects 等软件紧密协作。
Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理软件，提供图层、蒙版、选区、修复、调色、文字排版、智能对象及生成式编辑等能力。Mac 版支持 Intel 与 Apple Silicon 处理器。
Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理工具，可在 Windows 上完成照片修饰、选区抠图、图层合成、文字排版、绘画及生成式编辑。软件采用订阅授权，由 Creative Cloud 管理安装、更新与许
Adobe InDesign 是面向印刷与数字出版的专业页面排版工具，可制作书籍、杂志、宣传册、海报、交互式 PDF 和电子书。它提供精细的文字样式、多页面管理、印前检查及多格式输出能力，并能与 Photoshop、Illustrator
Adobe Illustrator 是用于绘制矢量图形、插画、图标、徽标和版式的专业设计工具。它以路径和锚点为核心，作品放大后仍能保持清晰，并提供画板、文字、渐变、图像描摹及精确变换等功能，适合品牌视觉、印刷物料、数字界面和商业插画创作。
Adobe Bridge 是 Adobe 推出的创意资产管理工具，可集中预览、分类和查找照片、视频、PDF及多种设计文件，并支持元数据、关键词、评级、批量重命名和格式导出。它可与 Photoshop、Illustrator 等应用衔接，
Affinity Photo 是一款面向摄影师、修图师和视觉设计人员的桌面图像编辑工具，提供 RAW 显影、多图层合成、蒙版、实时滤镜、批处理和色彩管理等功能。原独立产品已停止销售，其照片编辑能力已延续至免费的新 Affinity 应用；
Adobe Lightroom Classic 是面向 Windows 桌面摄影工作流的照片管理与无损编辑工具，可通过目录集中整理大型图库，并完成 RAW 显影、局部蒙版、批量调整、打印和多格式导出。它强调本地文件管理与精细控制，
Figma 是面向产品设计与开发团队的云端协作平台，可在 Windows 桌面客户端中完成界面绘制、组件管理、交互原型、评论评审和开发交付。文件保存在云端，多名成员能够同步编辑并共享设计系统；官方同时提供免费 Starter 方案及按席位计
Affinity Designer 是面向矢量图形、数字插画和界面设计的专业创作工具，可在矢量、像素与导出工作区之间快速切换。它提供曲线编辑、形状构建、画板、排版、图层和专业色彩管理，并支持常见设计文件的导入及多种印刷、网页格式输出。
Capture One Pro 是面向摄影师和影像团队的专业桌面照片处理工具，提供相机定制色彩配置、RAW转换、图层与蒙版、联机拍摄、目录及会话管理等功能。它适合棚拍、人像、商业产品、婚礼和风光摄影，
Adobe Acrobat Pro 是面向专业 PDF 工作的综合解决方案，可在 Windows 中创建、编辑、转换、比较、整理和保护文档，并支持表单、电子签名、扫描件文字识别及敏感信息永久遮盖。订阅还包含网页、移动服务和云端协作能力，
Adobe After Effects 是面向动态图形、动画与影视视觉特效制作的专业工具，可完成关键帧动画、图层合成、遮罩跟踪、抠像、文字动画和二维三维元素整合。Windows 版通过 Adobe Creative Cloud 安装及更新，
DaVinci Resolve是Blackmagic Design推出的一体化影视后期工具，将素材管理、非线性剪辑、专业调色、Fusion视觉特效、Fairlight音频处理和成片交付整合在统一工程中。免费版已覆盖多数个人创作需求，