时序论文22｜ICML24港科大：面向多变量不规则的时间序列预测方法

论文标题：Irregular Multivariate Time Series Forecasting: A Transformable Patching Graph Neural Networks Approach

论文链接：https://openreview.net/pdf?id=UZlMXUGI6e

前言

这篇文章在“定位研究问题”方面很值得学习。其实前段时间对时序研究感觉挺悲观的，因为总感觉各类指标已经卷到头了，没什么值得改进和研究的。但是仔细想想，包括这篇文章、以及今年的Itransformer、FITS等在内的文章，都做的很“巧秒”。为什么说巧，因为都是定义到了一个具体场景，比如：轻量化、不定长采样等。在这样一个具体场景下，算法本身其实并不复杂，但是却往往能够吸引眼球。

如上图，这篇文章就面向的是：对医疗保健、生物力学、气候科学等不规则多变量时间序列（IMTS）的预测，这就和普通卷指标的论文区别开了。提出了一种可变换的patch图神经网络（T-PATCH GNN），将每个单变量不规则时间序列转换为一系列包含不同数量观测值且具有统一时间分辨率的可变换patch，并学习自适应图神经网络，模拟动态的时间序列间相关性。

IMTS面临的挑战

在介绍模型之前首先要了解不规则多变量时序预测任务的挑战。

1. 时间序列内部依赖性的不规则性建模。变化的时间间隔破坏了时间序列数据的一致性流动，使得传统的时间序列预测模型难以准确捕捉潜在的时间动态和依赖性。
2. 时间序列间相关性的异步性建模，IMTS中的观测在时间上可能显著错位。这种异步性使得在特定时间点进行直接比较和相关性分析变得复杂，并可能模糊或扭曲时间序列之间的实际关系。
3. 随着变量数量增加导致的序列长度爆炸。当前研究通常以时间对齐的格式表示IMTS，这种规范的预对齐表示可能导致序列长度随着变量数量的增加而爆炸性增长。

本文模型

提出了一种用于IMTS预测的可变换patch图神经网络（T-PATCH GNN）方法。第一步是不规则时间序列分割，本文提出一种名为可变长片段化（Transformable patching）方法，该方法将IMTS分割成可变长度的片段，每个片段覆盖统一时间窗口，保持时间分辨率一致性，同时避免了预对齐导致的序列长度爆炸问题。此外，通过将观测值置于连续片段中，增强对局部模式和动态的理解。第二步是patch编码，利用可变时域卷积网络（TTCN）对每个patch进行编码，该网络通过元滤波器技术自适应地调整滤波器大小以匹配输入序列的长度，实现对不同时间步长的统一表征。第三步是序列内和序列间的建模。这块对应图（c），基于transformer通道独立（CI）方法进行序列内关键建模，同时提出一种时间自适应图神经网络的方法，建模不同变量间的关系，解决时间错位问题。

实验和结论

T-PATCH GNN通过将每个单变量不规则时间序列，转换为具有不同观测数量但保持统一时间范围分辨率的可变换patch，实现了异步IMTS之间的对齐。这种转换使IMTS内部的局部语义得以捕获，并在没有标准预对齐表示过程的情况下，无缝地促进了时间序列内部和之间的建模，避免了对齐序列长度随变量增加而爆炸性增长。在此基础上，提出时间自适应图神经网络，以模拟基于一系列学习到的时间变化自适应图的动态时间序列间相关性。在IMTS预测基准上展示了T-PATCH GNN的显著优越性。