谷歌｜清华｜CMU近期值得关注的3个时序大模型研究

先前整理了4篇时间序列大模型的论文，ICML放榜之后，我重点关注了大模型相关的论文，再次梳理了谷歌、清华和CMU的3近期几篇时间序列大模型研究文章（后台回复：“论文合集”获取，共七篇），时间序列大模型的研究正在迅速发展，并且在多个领域和应用中展现出巨大的潜力，零样本和通用性是大家关注的重点。

1、TimesFM

论文标题：A DECODER - ONLY FOUNDATION MODEL FOR TIME - SERIES FORECASTING

受到自然语言处理（NLP）领域中大型语言模型最新进展的启发，Google研究人员设计了一个时间序列基础模型TimesFM，用于预测。该模型在多种公共数据集上的即开即用零样本性能，接近于每个单独数据集上最先进的监督预测模型的准确性。模型基于预训练一个带有输入patch的解码器风格注意力模型，使用一个包含真实世界和合成数据集的大型时间序列语料库。在一系列之前未见过的预测数据集上的实验表明，该模型能够在不同的领域、预测范围和时间粒度上产生准确的零样本预测。

2、Timer

论文标题：Timer: Generative Pre-trained Transformers Are Large Time Series Models (ICML24)

随着大型语言模型的出现，不断取得进展，展现出前所未有的能力，如少样本泛化、可扩展性和任务通用性，这些在小型深度模型中是缺失的。为了改变从零开始训练特定于场景的小型模型的现状，本文旨在早期开发大型时间序列模型（large time series models LTSM）。在预训练期间，作者策划了包含多达10亿时间点的大规模数据集，将异构时间序列统一为单序列序列（S3）格式，并发展了面向LTSM的GPT风格架构。为了满足多样化的应用需求，作者将时间序列的预测、插值和异常检测转化为统一的生成任务。本研究的成果是一种时间序列变换器（Timer），它通过下一个标记预测进行生成预训练，并适应于各种下游任务，展现出作为LTSM的有希望的能力。

3、MOMENT

论文标题：MOMENT: A Family of Open Time-series Foundation Models (ICML24)

本文推出了MOMENT，这是一系列用于通用时间序列分析的开源基础模型。在时间序列数据上预训练大型模型面临挑战，原因包括：(1) 缺乏一个庞大且统一的公共时间序列资料库；(2) 时间序列特性的多样性使得多数据集训练变得复杂；(3) 用于评估这些模型的实验基准，尤其是在资源、时间和监督有限的情况下，仍处于起步阶段。为了应对这些挑战，本文编纂了一个庞大且多样化的公共时间序列集合，称为“时间序列堆”，并系统地解决时间序列特有的挑战，以实现大规模多数据集预训练。最后，作者基于最近的工作设计了一个基准，用于在有限监督的设置中评估时间序列基础模型在多样化任务和数据集上的表现。在这个基准上的实验表明，本文的预训练模型在最少的数据和任务特定微调下的有效性。最后，作者提出了一些关于大型预训练时间序列模型的有趣实证观察。预训练模型（AutonLab/MOMENT-1-large）和时间序列堆（AutonLab/Timeseries-PILE）可在https://huggingface.co/AutonLab上获取。