时序论文18｜ICML24 ：复旦&微软团队提出基于脉冲网络的时序预测新思路

论文标题：Efficient and Effective Time-Series Forecasting with Spiking Neural Networks

论文链接：https://arxiv.org/pdf/2402.01533

代码链接：https: //github.com/microsoft/SeqSNN

前言

这篇文章给我们一个发文章的思路：继续在transformer架构卷改进很难了，换新赛道则竞争相对没有那么激烈，要善于发掘新方法在时序上的应用，比如：如KAN、SNN等。另外，这种类型的文章好难讲清楚，太多额外知识点，还是建议看原文～

脉冲神经网络（SNNs）因其卓越的能效、事件驱动的特性和生物学的合理性，被公认为神经网络发展的第三代技术，为捕捉时间序列数据的细微差别开辟了独特的途径。复旦大学团队提出了一个针对时间序列预测的SNN框架，充分利用脉冲神经元在处理时间信息方面的高效性。作者证明了提出的基于SNN的方法在多样化的基准测试中与传统时间序列预测方法相比，不仅结果相当或更优，而且能耗显著降低。此外，作者还通过分析实验，评估了SNN在捕捉时间序列数据中的时间依赖性方面的能力。该研究不仅为SNN领域的进一步发展做出了贡献，而且为时间序列预测任务提供了一种充满希望的替代方案。

脉冲网络应用到时序难点：

将脉冲神经网络直接应用到时间序列领域面临的难点：1）连续时间序列数据与SNNs离散脉冲周期之间的有效时间同步，这需要对编码机制进行精确的设计；2）SNNs中脉冲值的离散性与时间序列数据的浮点数特性之间存在显著差异，这需要减少浮点数值转换为脉冲序列时可能出现的信息丢失和噪声干扰。3）缺乏标准化的模型选择指南，必须对SNN的架构及其参数进行全面的探索，以便为各种时间序列数据集的特定特征量身定制解决方案。

本文模型

模型框架

如图是作者为时间序列预测构建的SNN框架概览：给定一个输入时间序列样本 𝑋={𝑥1,𝑥2,...,𝑥𝑇}，首先，使用脉冲编码器从原始数据中每 Δ𝑡时间步生成具有 𝑇𝑠个脉冲时间步的脉冲序列。编码后，时间序列数据将转换为脉冲序列（尺寸为 𝐵×𝑇𝑠×𝑇×𝐶），并输入到SNNs中。这里提供了三种SNNs：(a) 脉冲-TCN（Spike-TCN）；(b) 脉冲-RNN（Spike-RNN）；以及 (c) 脉冲-Transformer（Spike-Transformer）。最后，脉冲序列将通过一个投影层转换回浮点数值。

01时序对齐

为了最大限度地发挥SNN的固有特性，将时间序列数据的时间维度与SNNs的时间维度对齐非常关键。作者的核心思想是将时间序列的一个时间步长ΔT细分为Ts个小段，每小段都允许膜电位超过阈值的神经元进行一次发放，即ΔT = Ts × Δt，ΔT等于Ts个小时间步长Δt的总和。前面的方程式将时间序列的时间步长ΔT与SNN的时间步长Δt联系起来，时间序列中的自变量t（表示为X(t)）和SNN中的自变量（包括膜电位U(t)、输入电流I(t)、历史信息H(t)和脉冲S(t)）现在共享相同的含义。

为此，脉冲编码器——负责基于浮点输入生成初始脉冲序列——需要计算Ts × T × C种可能的脉冲事件。作者采用参数化的脉冲编码技术，以更精细地捕捉时间序列数据的特征。

02 脉冲编码

Delta Spike Encoder。起源于差分调制（Delta Modulation），其灵感来自于生物学上神经元对时间变化的敏感性。这个过程的数学表达式可以概括如下：

其中，一个线性层被应用于时间差分，以学习对不同SNN时间步长的不同的敏感性，并将脉冲序列S的维度扩展到Ts × T × C。结果经过批量归一化（Batch Normalization）处理，并通过脉冲神经元层SN转换为脉冲序列。

Convolutional Spike Encoder。使用卷积层作为合适的时间编码器，给定历史观测到的时间序列X ，将其输入到卷积层，然后进行批量归一化，并生成脉冲如下：

与差分脉冲编码器类似，通过卷积层，脉冲序列S的维度扩展到Ts × T × C。每个SNN时间步长的脉冲是通过将数据与不同的卷积核心配对生成的。差分脉冲编码器和卷积脉冲编码器都捕获了输入数据的内部时间信息，即分别捕获了时间变化和形状，这有助于表示信息随时间的动态特性，并为随后的脉冲层进行事件驱动建模提供了支持。

03 脉冲模型

作者将三种经典的面向时间的人工神经网络（ANNs）：时间卷积网络（Temporal Convolutional Network, TCN）、递归神经网络（Recurrent Neural Network, RNN）及其变体门控循环单元（Gated Recurrent Unit, GRU），还有iTransformer，转换为它们各自的脉冲神经网络（SNN）版本。限于篇幅，具体可参考论文原文。

04 脉冲解码器

通过最终的脉冲神经元层后，获得了脉冲隐藏状态。在图像分类任务中，通常使用线性层作为分类头来产生预测。类似地，作者通过应用一个全连接层将脉冲数据转换为预测序列，表示为 𝑌=Linear(𝑆)。

本文实验

论文介绍了一个旨在利用SNNs进行时间序列预测任务的框架。通过一系列实验，证明了所提出的基于SNN的方法在时间序列预测方面的有效性，在多个不同的基准数据集上与传统的时间序列预测方法相比，展现出了可比的性能，同时在能源消耗上实现了显著降低。此外，分析实验揭示了SNN捕获时间序列数据中时间依赖性的能力，这一发现突显了SNN在模拟时间序列复杂动态中的精细优势和有效性。