ROSE：领域知识自适应迁移的时间序列预测基础模型

论文标题：ROSE: REGISTER-ASSISTED GENERAL TIME SERIES FORECASTING WITH DECOMPOSED FREQUENCY LEARNING

作者：Yihang Wang，Yuying Qiu，Peng Chen，Kai Zhao，Yang Shu，Zhongwen Rao，Lujia Pan，Bin Yang，Chenjuan Guo

机构：华东师范大学， 奥尔堡大学， 华为诺亚方舟实验室

论文链接：https://arxiv.org/abs/2405.17478

TL; DR：本文介绍了ROSE，一种轻量高效的通用时序预测模型。

关键词：时间序列预测，少样本，零样本

点击文末阅读原文跳转本文arXiv链接

论文概述

近年来，时间序列预测基础模型引起了高度关注。除了通过增加训练数据量和扩展模型参数来提升泛化能力之外，该文指出，通过优化模型设计，特别是预训练任务与下游任务的适应性，也能够在较小规模的模型中实现与大模型相当甚至更优的效果。

基于上述两点，作者提出了ROSE，一种基于频率分解学习与时间序列寄存器的通用时间序列预测模型。ROSE通过多重频域掩码和重构，分离时间序列中耦合的语义信息，进而提取跨领域的统一表征。时间序列寄存器则在预训练过程中捕捉领域特定的信息，并在下游任务中自适应选择相关领域的内容，从而实现高效迁移。与现有的时序预测基础模型相比，ROSE在使用更少参数和更短推理时间的情况下，依然展现出卓越的预测性能。

通用时间序列预测

模型设计

ROSE模型整体基于Encoder-Decoder架构。值得一提的是，重构解码器和预测解码器都采用了与Transformer Encoder相同的结构，分别用于执行重构任务和预测任务。该模型采用通道独立的方式，在多领域的大规模时间序列数据上进行预训练，从而提升其泛化能力和预测效果。

ROSE

时间序列寄存器：作者对多领域数据集中的领域特异信息进行聚类，并在预训练阶段将这些信息存储在时间序列寄存器中。在下游任务中，采用Top-K选择策略，自适应地从寄存器中提取与特定领域相关的信息，以提升在目标领域的预测性能。此外，作者引入了一种新颖的可学习低秩矩阵，在微调阶段补充下游数据集的特定信息，进一步增强模型的适应性。

频率分解学习：时间序列数据由多个频率分量叠加而成，这使得不同时间变化相互重叠。低频成分通常包含整体趋势和较长周期的变化信息，而高频成分则多反映短期波动和较短周期的变化。因此，分别从低频和高频视角理解时间序列，有助于提升其通用表示学习效果。基于此，作者提出了多重频域掩码方法，按照不同的采样阈值，在频域中随机对时间序列进行低频或高频掩码处理，然后再将其转换回时域进行重构。

频率分解学习

联合任务预训练：ROSE在0.8B个时间序列样本点上进行了预训练，作者通过将预测任务与重构任务相结合，对模型进行联合预训练。预测任务旨在增强模型在零样本和少样本条件下的预测性能，而重构任务则利用多重频域掩码，学习适用于下游预测任务的统一特征表征。

实验效果

文中对多个数据集进行了实验，比较了ROSE与当前SOTA模型在full-shot设置下的表现，结果表明ROSE展现出显著优势。值得注意的是，即便在仅使用10%数据的few-shot设置下，ROSE的表现仍然优于SOTA模型在full-shot设置下的效果。

全样本

进一步观察ROSE在不同fine-tune比例下的表现，可以发现多领域数据的预训练赋予了ROSE出色的泛化能力，且仅需少量fine-tune样本即可达到SOTA性能。

与其他时序预测基础模型在zero-shot设置下的对比中，ROSE也展现出了极具竞争力的表现。

零样本

通过可视化分析可以发现，同领域数据在时序寄存器中的相似度更高，这一现象在预训练数据和下游数据中都有所体现。

时序寄存器可视化

总结

这篇文章提出了一种轻量高效的通用时间序列预测模型，通过频率分解学习在大规模时间序列数据上进行预训练，以获取统一的时间序列表征。同时，该模型利用时间序列寄存器获取领域特定信息，并在下游任务中实现自适应迁移。ROSE在多个基准测试中达到了SOTA表现，并为未来的时间序列预测模型提供了新的思路。

参考文献

[1] ROSE: REGISTER-ASSISTED GENERAL TIME SERIES FORECASTING WITH DECOMPOSED FREQUENCY LEARNING https://arxiv.org/abs/2405.17478

如果觉得有帮助还请分享，在看，点赞