微软亚洲研究院｜ProbTS：时间序列预测的统一评测框架

GitHub链接：https://github.com/microsoft/ProbTS

论文链接：https://arxiv.org/abs/2310.07446v4

前言

在各个行业的时间序列预测应用中，跨越不同预测时长提供精确的点预测和分布预测是一项重要且持久的挑战。此前关于深度学习模型在时间序列预测中的研究往往集中在单一方面，如长期点预测或短期概率估计。这种狭隘的关注可能会导致方法选择的偏颇，并限制这些模型在未知情境中的适应性。尽管开发通用预测模型的趋势日益增长，但对于其优缺点的全面理解，特别是涉及到点预测和分布预测等基本预测需求时，依然不足。

本文提出了ProbTS，这是一种设计为统一平台的基准工具，用于评估这些基本预测需求，并对近年来的众多前沿研究进行严格的比较分析。作者剖析了不同预测需求所产生的独特数据特征，并阐明了这些特征如何在典型研究过程中偏向方法选择，进而未能完全满足基本预测需求。在此基础上，审视了最新的通用时间序列预测模型，发现本文对方法优势和劣势的分析也适用于这些通用模型。最后，本文概述了当前研究的局限性，并强调了未来探索的几条途径。

本文工作

ProbTS的核心模块和主要流程如图1所示。

数据：作者汇总了用于短期和长期预测的公开数据集。初步的数据可视化分析表明，在给定的预测时长内，数据领域和预测时长显著影响特定的数据特征。例如，许多长期预测场景在预测窗口内显示出明显的趋势和季节性模式，而许多短期预测案例在短滑动窗口内显示出不规则变化。因此，作者开发了量化指标，如趋势和季节性强度，以及非高斯性，以指示预测窗口内数据分布的复杂性。

指标：ProbTS结合了广泛的评估指标，以便对点预测和分布预测进行全面评估。本文主要使用归一化平均绝对误差（NMAE）进行点预测评估，并使用连续排序概率得分（CRPS）进行分布预测评估，以简洁地传达发现的重要见解。

模型：ProbTS的模型模块明确区分了关键的方法决策，特别是解码方案（AR vs NAR）和分布估计方法。自回归（Autoregressive，简称 AR）方法：这些方法逐步生成预测，使用先前的预测作为未来时间步的输入，适用于序列依赖性至关重要的场景。非自回归（Non-autoregressive，简称 NAR）方法：这些方法同时为所有时间步生成预测，提供更快的预测速度，并且可能在长程预测中表现更好。

结果分析

01-分析经典时间序列预测模型

作者研究了来自不同研究分支的传统非通用时间序列模型：一个分支侧重于开发定制的神经架构以适应长期点预测，另一个分支则专注于创建用于短期分布预测的先进概率方法。

• 长期点预测模型：如iTransformer、PatchTST、TimesNet、N-HiTS和LTSF-Linear，通常在有显著趋势和季节性模式的场景中表现优异。然而，在短期预测或无明显趋势和季节性的情境中，这些模型的表现可能不如其预期。
• 短期概率预测模型：如GRU NVP、GRU MAF、Trans MAF、TimeGrad和CSDI，在需要捕捉复杂数据分布的短期情境中表现出色。然而，在长期预测中，这些模型可能难以保持其点预测性能，并且它们在长时间跨度内的效果需要进一步验证。

作者还比较了自回归（AR）和非自回归（NAR）两种方法在不同预测长度、不同趋势性、周期性时序数据时的差异。结果显示：（1）随着预测长度的增加，自回归 AR 模型可能受到错误累积的影响。（2）强烈的趋势效应可能导致 NAR 和 AR 模型之间的显著性能差异。（3）基于 AR 的模型在具有强周期性模式的场景中表现更好，这很可能是由于它们在这种情况下具有更高的参数效率。（4）趋势性和周期性对性能差异具有综合影响。

02-分析经典时间序列预测模型

作者还探讨了最近基础模型在通用时间序列预测中的能力，重点关注在不同预测时长下的表现以及在估计分布方面的能力，特别是它们在未见数据集上的零样本转移能力。

应对延长预测时长中的AR解码挑战

图4a展示了各种时间序列基础模型在不同预测时程下表现的演变。在较短时程内，诸如TimesFM和Timer这类基于AR的基础模型表现出与MOIRAI等基于NAR模型相媲美的竞争力。然而，随着预测时程的延长，基于NAR解码的优势日益显现，如图中TimesFM与MOIRAI之间性能差距的扩大所示。这是由于基于AR方法在长期时间序列预测中可能存在显著的误差累积问题。鉴于AR解码的固有优势，如其在捕捉强季节性方面的优越性以及在某些短期预测场景中的稳健表现，显然有必要进一步研究如何克服其在长期预测环境中的局限性。这可能为增强AR基础时间序列模型在更广泛预测时程下的灵活性和效果开辟新途径。

解决复杂数据分布的关键作用

图4b描绘了在高非高斯性数据分布环境中，MOIRAI和Chronos等主要概率时间序列基础模型相对于最佳短期概率模型CSDI在CRPS指标上的增量变化。在高复杂数据分布的场景中，MOIRAI相对于CSDI的性能下降显著加剧。在特定情境下，基础模型可能无法完全取代专门针对特定领域精心设计和训练的传统模型。此外，将这些基础模型进行微调作为补救措施的前景较不经济可行，主要因为它们的尺寸显著较大。这突显了继续完善基础模型以增强其适应性和性能，并承认领域特定模型持续的相关性的重要性，特别是在处理复杂数据分布时可能需要更细腻的方法。

未来研究方向探索

• 解决AR和NAR解码方案的缺陷，特别是它们在不同预测时程中的应用，成为未来探索的关键领域。创新有效的架构设计，能够应对短期预测挑战的复杂性，并设计出高效的长期概率预测方法，显现出迫切需求。
• 对于那些时间序列基础模型，开发机制来应对基于AR方法的误差累积可能非常有帮助。同样重要的是提升模型对复杂数据分布的表征能力，这将极大地提升基础模型的适应性和有效性。
• 扩展用于评估的数据集范围，涵盖更广泛的真实场景，将对验证未来预测模型的稳健性和多功能性至关重要。最后，将理论洞见与实证发现相结合，能够提供对模型行为更全面的理解，有助于开发更复杂、更细致的预测解决方案。