时间序列在数据embedding方面有哪些创新方法和工作？

时间序列数据的嵌入工作也很重要！

我们看到的很多论文，大多把注意力集中到模型结构的改进上，比如：注意力机制、编码器、解码器设计和改进等。但是，却少有人关注到时间序列数据的embedding上。

特别是Transformer架构中的自注意力层无法保留时间序列的位置信息。但同时，局部位置信息，即时间序列的顺序是极其重要的。本篇文章就整理了近期在时序数据输入嵌入方面的工作，这些工作为了增强时间序列输入的时间上下文，改进了时序数据的嵌入方式，如：固定的位置编码、通道投影嵌入、可学习的时态嵌入、带有时间卷积层的时态嵌入等。

1、论文标题：LEARNING TO EMBED TIME SERIES PATCHES INDEPENDENTLY（ICLR24）

掩蔽时间序列建模作为一种自监督表示学习策略，最近在时间序列分析领域受到了极大的关注。但作者认为，捕捉patch之间的依赖关系可能并不是时间序列表示学习的最佳策略。相反，独立学习嵌入每个patch可能会得到更好的时间序列表示。作者建议采用以下两种方法：1) 简单的patch重建任务，即在不参考其他块的情况下对每个patch进行自编码；2) 简单的patch级多层感知机（MLP），它独立地嵌入每个patch。此外，还引入补充性的对比学习，以分层的方式高效捕捉相邻时间序列的信息。该方法在时间序列预测和分类的性能上超越了现有的基于Transformer的最先进的模型，同时在参数数量以及训练和推理时间上都更为高效。

论文代码：https://github.com/seunghan96/pits

2、Gaformer

论文标题：Gaformer：enhancing timeseries Transformer through group-aware embeddings (ICLR24)

本文提出Gaformer，用于学习数据自适应的位置嵌入，将学习到的空间和时间结构整合到Transformer架构中。框架引入了组token，并构建了一个实例特定的组嵌入（GE）层，该层将输入标记分配给一定数量的学习到的组token，从而将结构信息纳入学习过程。在此基础上，提出一种新颖的架构——组感知Transformer（GAFormer），它整合了空间和时间组嵌入，以在各种时间序列分类和回归任务上实现最先进的性能。本文方法能够在没有通道空间顺序先验知识的情况下有效识别数据中的潜在结构，从而实现对复杂时间序列数据集背后空间和时间结构的更可解释的分解。

论文代码：https://github.com/nerdslab/GAFormer.

3、Moderntcn

论文标题：Moderntcn a modern pure convolution structure for general time series analysis （ICLR24）

本文研究了如何更好地在时间序列分析中使用卷积这一问题，对传统的TCN进行了现代化改造，并进行了与时间序列相关的修改，使其更适合时间序列任务。作为成果，提出了ModernTCN，作为一个纯粹的卷积结构，ModernTCN在五个主流的时间序列分析任务（长期和短期预测、插补、分类和异常检测）上仍然实现了一致的最先进性能，同时保持了基于卷积模型的效率优势，因此提供了比现有的基于Transformer和基于MLP的模型更好的效率和性能平衡。与以前的基于卷积的模型相比，ModernTCN具有更大的有效接受域（ERFs），因此能够更好地发挥卷积在时间序列分析中的潜力。

4、T-rep

论文标题: t-rep: representation learning for time series using time embeddings (ICLR24)

本文提出T-Rep，一种自监督学习方法，用于在时间步的粒度上学习时间序列的表示。T-Rep与其特征提取器一起学习时间的向量嵌入，从信号中提取趋势、周期性或分布变化等时间特征。这些时间嵌入在预设任务中被利用，以在表示中纳入平滑且细粒度的时间依赖性，同时增强对缺失数据的鲁棒性。在下游的分类、预测和异常检测任务中评估了T-Rep的性能。与现有的时间序列自监督算法相比，它在所有三个任务中都表现出色。在潜在空间的可视化实验，突出了学习到的表示的可解释性。