时序论文31｜NIPS24自注意力机制真的对时序预测任务有效吗？

论文标题：Are Self-Attentions Effective for Time Series Forecasting?

论文链接：https://arxiv.org/pdf/2409.18696

代码链接：https://github.com/dongbeank/CATS

前言

本文将重点转向探究自注意力机制在其中的有效性，提出仅含交叉注意力的CATS架构。

当前时间序列预测还是以Transformer为backbone的模型占据主导，但其有效性一直存争议，比如各类线性模型Dlinear、FITS等表现都比很多Transformer架构好。那么问题到底出在哪？其实一个关键问题是评估 Transformer 中哪些元素对于时间序列建模是必要的，哪些是不必要的。

Dlinear也提到了这个问题，但他们的分析仅限于用线性层替代注意力层。但是， Transformer架构时间信息丢失的问题（即自注意力机制的置换不变性和反序特性）主要是由自注意力机制的使用导致的，那么作者想到先讨论和评估自注意力机制是否对时序预测有正面作用。

本文工作

本文提出了仅含交叉注意力的时间序列 Transformer（CATS）这一新颖预测架构，通过去除自注意力机制并挖掘交叉注意力潜力简化原始架构，将未来预测范围相关参数设为查询项、过去时间序列数据作键值对以增强参数共享与长时预测性能，实验表明其对长输入序列均方误差最低、参数更少，还能借特定预测范围注意力图清晰呈现预测推导过程，且在多时间序列数据集上较之前的 Transformer 模型性能更优、参数和内存消耗更低。

01 为什要去除自注意力机制

这一部分，作者基于PatchTST的三组模型实验来进行论证：一是原始的 PatchTST，它采用长度为 16、步长为 8 的重叠块（图 a）；二是经过修改的 PatchTST，其使用长度为 24 的非重叠块（图 b）；三是将自注意力机制替换为线性嵌入层的版本，同样采用长度为 24 的非重叠块（图 c）。这样的设置能够在控制块重叠影响的同时，分离出自注意力机制对时间信息保留的影响。

其中带有线性嵌入的版本（图 c）对时间信息的捕捉最为清晰，这表明自注意力机制本身对于捕捉时间信息而言可能并非是必要的，用线性层替代自注意力机制不仅能够捕捉清晰的时间模式，另一个好处是能提升性能，尤其是在较长的预测周期。

02 重新思考Transformer设计

下图展示了现有几种建模架构。图a和图b是传统的Transformer架构，图b仅含编码器模块，结合上面的实验可以发现Transformer架构很大程度上依赖自注意力机制，而这可能会导致时间信息丢失。图c是线性模型，尽管这种做法减少了计算量，并有可能避免一些时间信息丢失的问题，但它可能难以捕捉复杂的时间依赖关系。

那么读到这里，作者的意图也就很明了了：提出仅含交叉注意力的时间序列Transformer（CATS），如图d所示，去除了所有自注意力层。

03 本文模型

CATS架构含三个关键组件：以未来为查询的交叉注意力机制、跨预测范围的参数共享与查询自适应掩码。

通过未来作为查询的交叉注意力（Cross-Attention via Future as Query）：CATS摒弃自注意力机制，聚焦交叉注意力。将未来预测范围相关参数设为查询，过去时间序列数据作键值对。如预测未来 H 步，将未来 H 步预测参数设查询 Q，输入时间序列 X 拆分成键 K 与值 V，经线性投影处理后用于交叉注意力计算。

跨预测范围的参数共享（Parameter Sharing across Horizons）：为充分利用交叉注意力提升参数共享，CATS在不同预测范围共享参数。在预测未来 H 步时，对查询 Q 处理并与键 K、值 V 计算交叉注意力得分，经 softmax 与线性投影得预测值。

查询自适应掩码（Query-Adaptive Masking）：这是 CATS提升性能的创新点。预测未来值时，切断输入时间序列信息，仅查询影响预测，通过掩码实现。掩码依概率 p 决定是否掩盖输入序列元素，输入序列 X 与掩码 M 逐元素相乘得新输入序列。掩码用于各层交叉注意力机制前，处理后的输入聚焦预测查询，避免干扰。

本文实验