随着信息技术的发展和算力的提升，深度学习时间序列分类模型的实现变得愈发复杂和精巧。但对于一些特定领域下的时间序列分类数据集，存在由于样本缺乏而导致训练出的深度学习分类器泛化能力不足的问题；同时时间序列领域的数据由于各时间点间的依赖需要被充分考虑，导致相应的数据增强技术在很多场景下存在训练困难的情况。由于不同时间序列分类领域的实验成本、数据采集条件不同，对于一个特定的、样本缺乏的目标域分类任务，如果能够借助广泛存在的与之在标签集上、长度、通道数等方面均存在差异的数据集作为源域数据集进行迁移学习，增强目标域分类器的泛化能力和分类性能，将会在一些分类场景下发挥一定作用。
近日，清华大学深圳国际研究生院李星辉副教授团队受视觉任务中以CycleGAN为代表的风格迁移以及领域自适应中的条件对抗方法启发，构建了从弱相关时间序列分类数据集进行迁移学习的架构。该架构在考虑源域和目标域间的差异以及因此而可能产生的负迁移的基础上，将源域和目标域分类器分别搭建，通过在不同深度的表征层上进行对齐操作，并借助归一化流生成同时带有目标域与源域特征的表征，实现了源域到目标域的迁移。由于在新表征的生成上，以及计算的全流程上与风格迁移有相似之处，因而命名方法为特征层风格迁移。
图1 团队所提架构
由于面向的是分类任务，在进行目标域表征对齐的过程中架构采用了条件对抗自适应网络中的方法，将目标域表征以及新生成表征与各自对应的分类结果进行随机多线性映射，以捕捉它们之间的依赖，在通过对抗方法拉进表征间距离的同时，对目标域分类器的参数进行修改。针对同一目标域分类数据集，通过选择不同的源域数据集进行迁移学习并对得到的目标域分类器们运用投票机制，实现最终分类结果的确认。
图2 计算流程图
研究以能够自动适配最佳感受野的OS-CNN为基础分类器，在此基础上将存在样本缺乏且不存在类别不均衡等其它不利因素的难分类公开时间序列分类数据集作为目标域，随机选取与之弱相关的时间序列分类数据集作为源域开展实验，发现从弱相关时间序列分类数据集进行迁移的效果，可与从其他角度入手的深度学习分类方法、集成了多种统计学习方法的时间序列分类器达到相匹敌的准确度。此外，通过对现有的时间序列迁移学习架构进行增加尺寸变换等模块，并将它们应用于弱相关时间序列分类任务间的迁移学习场景，并把得到的结果与所提架构进行比较，进一步论证了本架构的有效性。
表1 实验结果以及消融实验结果
图3 对比实验结果
相关研究成果以“从特征层风格迁移和多源域迁移学习的角度提升时间序列分类器的泛化能力”（Towards the generalization of time series classification: A feature-level style transfer and multi-source transfer learning perspective）为题，发表在计算机科学领域期刊《基于知识的系统》（Knowledge-Based Systems，KBS）。李星辉副教授为论文的通讯作者，第一作者为深圳国际研究生院2021级硕士陈柏含。论文的共同作者包括深圳国际研究生院博士后李桥林、科研助理马瑞、钱翔副教授和王晓浩教授。该项目得到了清华大学深圳国际研究生院交叉学科基金、深圳稳定支持项目以及清华大学深圳国际研究生院启动基金的支持。
论文链接：https://doi.org/10.1016/j.knosys.2024.112057
文：陈柏含、李星辉
编辑：叶思佳
审核：陈超群
