改进图像感知性对比学习以提高多变量时间序列分类效果

这篇AAAI 2024中的论文由新加坡科技研究局（A*STAR）和新加坡南洋理工大学合作发表，提出了一种利用图感知对比学习来改善多变量时间序列分类的方法。实验结果显示，该方法在提升时间序列分类效果方面取得了显著的成果。

图片

论文标题：Graph-Aware Contrasting for Multivariate Time-Series Classification

下载地址：https://arxiv.org/pdf/2309.05202.pdf

开源代码：https://github.com/Frank-Wang-oss/TS-GAC

1、整体介绍

作者在针对现有对比学习方法的基础上，提出了一种名为图感知对比（TS-GAC）的方法，该方法旨在解决MTS数据中多传感器的空间一致性问题。TS-GAC包括两个主要组成部分：图增强和图对比。图增强通过节点和连边增强来提高空间一致性，以保持传感器的稳定性和相关性。而图对比则引入了多窗口时间对比来维持时间一致性。 通过广泛的实验验证，该方法在各种MTS分类任务上取得了最优性能。研究结果强调了在MTS数据的对比学习中考虑空间一致性的重要性，并提供了一个全面的解决方案，显著改善了分类性能。这一研究对于进一步提高对比学习的效果具有重要意义，并为处理MTS数据提供了有力的工具。

图片

2、模型结构

本文提出的方法主要包括图增强和图对比两个部分。

为了有效地增强MTS数据，我们引入了节点和连边的增强来生成弱视图和强视图。节点增强包括频域和时域增强，以充分增强图节点。首先，我们应用频域增强来增强节点，然后根据MTS数据中的动态局部模式，将增强后的样本分割成多个窗口（如图2所示）。在每个窗口中，我们使用节点时间增强，并通过一维卷积神经网络对窗口进行特征提取。随后，我们对每个窗口构建图，并通过连边增强进一步增强图。最后，我们使用基于图神经网络的编码器对图进行处理和特征学习。

图片

图对比：包括节点级对比和图级对比，以实现空间一致性。节点级对比通过在不同视图中将相应的传感器拉近、将不同视图中的不同传感器推远，确保节点特征的鲁棒性。图级对比则进一步确保全局特征的鲁棒性，通过对比不同视图中的样本来实现。

该架构的目标是在对比学习中实现空间一致性，针对MTS分类提供了特定的增强和对比技术。通过首先应用节点增强，然后利用节点内的时间增强，以及最终通过GNN处理的边缘增强，该方法能够为每个样本生成具有不同空间和时间特性的弱视图和强视图。这种方法的创新之处在于，它不仅考虑了时间一致性，还通过图结构增强了空间一致性，为MTS数据的深入分析和处理提供了新的视角。

3、图增强模块

针对MTS数据的特性，即作为由多个传感器收集的数据，作者提出了节点和连边增强两种主要方法：

节点增强：分为频域增强和时域增强。频域增强通过将每个传感器的信号转换到频域，并对提取的频率特征进行增强，然后将增强的频率特征转换回时间域以获得增强信号。具体采用了离散小波变换，通过高通和低通滤波器分解信号，以表示信号内的宏观趋势和微观趋势。时域增强则是考虑到MTS数据的动态特性，通过将每个MTS样本分割成多个窗口，并在每个窗口内进行时域增强。

连边增强：旨在增强传感器间的相关性，即构建的图中的边。首先通过图构建过程来定义节点（传感器）和边（传感器间的相关性）。然后，通过连边增强方法有效地增强传感器间的相关性。在这一步骤中，考虑到强相关性比弱相关性在GNN的特征传播中更为重要，因此在进行边缘增强时，保留了最强的s个相关性以保证拓扑信息的稳定，并将其余的相关性用随机值替换来增强连边。

通过这些增强策略，作者旨在生成弱视图和强视图，以便后续的对比学习过程能够学习到鲁棒的传感器特征和传感器间关系。这些增强策略的设计考虑到了MTS数据的多源性和动态性，通过提供不同角度的数据视图，增强了CL的能力，从而可以学习到更鲁棒和泛化的表示。

4、图对比模块

文中提出了图感知对比方法，该方法特别设计了节点和边缘增强以及图对比策略，以增强MTS数据的空间一致性。主要包括多窗口时间对比、节点级对比、图级对比3个级别的对比方式。

多窗口时间对比（Multi-Window Temporal Contrasting, MWTC）：这一方法在传感器级别上保证每个传感器的时间一致性，通过预测编码来维持MTS数据内时间依赖性的鲁棒性。MWTC通过总结一个视图中的过去窗口信息，与另一视图的未来窗口进行对比，以此来保持时间模式的鲁棒性。

节点级对比（Node-level Contrasting, NC）：NC通过在每个MTS样本内不同视图中的传感器进行对比，学习鲁棒的传感器级特征。这包括最大化两个视图中对应传感器之间的相似性，同时最小化那些视图中不同传感器之间的相似性。

图级对比（Graph-level Contrasting, GC）：GC通过在每个训练批次内对样本进行对比，促进鲁棒的全局级特征学习。这一策略通过最大化两个视图中对应样本之间的相似性，同时最小化那些视图中不同样本之间的相似性来实现。

这些对比学习策略共同工作，旨在通过图结构增强MTS数据的表示学习，进而提高分类准确性。文章还强调了时间对比对于保持每个传感器时间一致性的重要性，以及图对比在学习传感器和全局级鲁棒特征中的作用。通过结合节点级和图级对比，该方法能够有效地学习MTS数据中的复杂空间和时间模式，实现对MTS分类性能的显著提升。

5、实验效果

在实验部分，文中对比了在十个公开的多变量时间序列数据集上的性能表现，并与现有的最先进方法进行了比较。这些数据集包括人类活动识别（HAR）、ISRUC睡眠阶段分类，以及UEA数据集中的子数据集，如手指运动、口语阿拉伯数字等。为了公平对比，所有方法都使用了相同的编码器。实验结果显示，TS-GAC在其中八个数据集上取得了最佳性能，特别是在HAR和ISRUC数据集上，相较于其他方法，准确率分别提高了1.44%和3.13%。

图片

同时，作者还对模型特征进行了可视化，可视化结果实现了TS-GAC可以提取更有辨识度的传感器级特征。同时，相对于其他方法，TS-GAC可以对不同视角的数据得到更加一致的传感器级特征。

图片

作者还进行了消融研究，以评估设计的增强和对比技术对模型性能的影响。消融研究测试了不同变体，包括去除节点增强、去除边缘增强、去除图级对比、去除节点级对比、去除多窗口时间对比的变体。结果表明，图增强和图对比技术在提高MTS数据的空间一致性方面极为有效，完全的TS-GAC相较于任何一种减少对比损失的变体都表现出了更好的性能。

图片

此外，作者还对模型的敏感性进行了分析，包括超参数（如λMWTC、λGC、λNC）的影响和保留边缘数量的影响。这些分析进一步证实了所提出方法的有效性和健壮性。

整体而言，实验结果强调了TS-GAC在多个MTS分类任务上达到最优性能的能力，证明了提出的图增强和图对比技术在提高模型对MTS数据的空间一致性方面的重要性和有效性。