七篇值得关注的时序卷积文章（一个不太卷的方向）

从transformer出来后，感觉时序领域的研究就被其霸占，各类工作都是围绕其进行改进、升级。但Transformer提出已经七年了！继续卷Transformer感觉很难，而且大家也“审美”疲劳了。建议可以了解一下时序卷积相关研究，今年ICLR一篇文章（modern TCN）就拿了高分接收！

1、MICN

论文标题：MICN: Multi-scale Local and Global Context Modeling for Long-term Series Forecasting（ICLR23）

本文提出多尺度等距卷积网络MICN，结合局部特征和全局相关性来捕捉时间序列的总体视图（例如，波动、趋势）。为了充分利用时间序列中的底层信息，采用了多尺度分支结构来分别建模不同的潜在模式。每种模式都通过下采样卷积和等距卷积分别提取局部特征和全局相关性。除MICN方法在序列长度的线性复杂度方面更为高效，并且具有适当的卷积核。在六个基准数据集上的实验表明，与最先进的方法相比，MICN分别在多变量和单变量时间序列上实现了17.2%和21.6%的相对改进。

论文代码：https://github.com/wanghq21/MICN

2、SCINET

论文标题：SCINet: Time Series Modeling and Forecasting with Sample Convolution and Interaction（(NeurIPS22）

本文提出SCINet，SCINet是一个递归下采样-卷积-交互架构。在每一层中，使用多个卷积滤波器从下采样的子序列或特征中提取不同但有价值的时间特征。通过结合从多个分辨率聚合的这些丰富特征，SCINet有效地模拟了具有复杂时间动态的时间序列。实验结果表明，SCINet在各种现实世界时间序列预测数据集上，与现有的卷积模型和基于Transformer的解决方案相比，都取得了显著的预测精度提升。

论文代码：https://github.com/cure-lab/SCINet

3、ModernTCN

论文标题：ModernTCN：A Modern Pure Convolution Structure for General Time Series Analysis（ICLR24）

本文提出ModernTCN，对传统的TCN进行了现代化改造，并进行了与时间序列相关的修改，使其更适合时间序列任务。作为一种纯卷积结构，ModernTCN在五个主流的时间序列分析任务上仍然实现了与最先进的性能一致，同时保持了基于卷积模型的效率优势，因此提供了比现有的基于Transformer和基于MLP的模型更好的效率和性能平衡。研究进一步揭示，与以前的基于卷积的模型相比，ModernTCN具有更大的有效感受野（ERFs），因此能够更好地发挥卷积在时间序列分析中的潜力。

论文代码：https://github.com/luodhhh/ModernTCN

4、LSTNet

论文标题：Modeling Long- and Short-Term Temporal Patterns with Deep Neural Networks

本文提出LSTNet，即长期和短期时间序列网络。LSTNet使用卷积神经网络（CNN）和循环神经网络（RNN）来提取变量之间的短期局部依赖模式，并发现时间序列趋势的长期模式。此外，利用传统的自回归模型来解决神经网络模型的尺度不敏感问题。在对具有复杂重复模式的现实世界数据的评估中，LSTNet在性能上取得了显著的提升，超越了几个最先进的基线方法。

5、TCN

论文标题：An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling

本文提出TCN模型，对通用的卷积和循环架构进行了序列建模的系统性评估。这些模型在一系列广泛用于循环网络基准测试的标准任务上进行了评估。结果表明，一个简单的卷积架构在多样化的任务和数据集上，其性能优于规范的循环网络，如长短期记忆网络（LSTM），同时展示了更长的有效记忆。作者得出结论，应该重新考虑将序列建模与循环网络的普遍联系，并把卷积网络视为序列建模任务的自然起点。

论文代码：http://github.com/locuslab/TCN

6、因果卷积

论文标题：Unsupervised Scalable Representation Learning for Multivariate Time Series（NeurIPS19）

本文提出因果卷积，时间序列对于机器学习算法来说是一种具有挑战性的数据类型，这主要是因为它们在实际中具有高度可变的长度和稀疏的标记。在本文中，作者提出一种无监督方法来学习时间序列的通用嵌入来应对这一挑战。该方法在时间序列的长度方面是可扩展的，通过全面的实验和比较来展示学习到的表示的质量、可转移性和实用性。为此，结合了基于因果扩张卷积的编码器和一种新颖的基于时间的负样本三元组损失，获得了适用于变长和多变量时间序列的通用表示。

6、TimeNet

论文标题：TimesNet: Temporal 2D-Variation Modeling for General Time Series Analysis(ICLR23)

本文提出TimesNet，基于对时间序列中多周期性的观察，作者将复杂的时间变化分解为多个周期内和周期间的变异，通过将一维时间序列基于多个周期转换为一组二维张量，将时间变化分析扩展到二维空间。这种转换可以将周期内和周期间的变异嵌入到二维张量的列和行中，使得二维变化容易被二维核所建模，提出了以TimesBlock作为通用主干的TimesNet，TimesBlock能够自适应地发现多周期性，并通过参数高效的初始块从转换后的二维张量中提取复杂的时间变化。在五项主流的时间序列分析任务中实现了一致的最先进水平，包括短期和长期预测、填充、分类和异常检测。

论文代码：https://github.com/thuml/TimesNet.