通过学习训练数据中多个相关时间序列的关系，DeepAR 可以提供比现有算法更精确的预测。...预测多条时间序列时，论文中提到可以对每条时间序序列进行category的编码，训练时进行embedding的学习 可以提取每条时间序列的时间特征，作为feature输入到模型 缺点： 没有attention...2 DeepAR原理和实现过程 为了便于学习与时间相关的模式(如周末的峰值),DeepAR 会根据目标时间序列的频率自动创建特征时间序列。...通过从训练数据集中的每个时间序列中随机采样多个训练示例来训练模型。...由于 DeepAR 是在整个数据集上训练的,预测会考虑从类似时间序列中学习的模式。
DeepAR 是一种功能强大的算法，它在处理复杂的时间模式和生成准确预测方面备受关注。特别适用于需要同时预测多个相关时间序列的场景，使其成为金融、电子商务和供应链管理等各个领域的重要工具。...该机制可使模型关注时间序列的相关部分，并根据数据中存在的模式动态调整其关注度。 分位数损失训练：DeepAR 采用概率方法进行训练，以最小化分位数损失。...评估 DeepAR 本身提供多种性能指标，如量化损失、MAPE 等。...DeepAR 预测股票 DeepAR 建立了一个全局模型，适用于多步骤预测、多序列预测，并能提供具有不确定性的预测。我们用沃尔玛商店每周销售额的多个时间序列测试了 DeepAR 的预测能力。...DeepAR的一个关键优势是，它能够同时输出未来多个时间步长的概率预测区间，而不仅仅是点估计值。 这种概率预测能力对于金融风险管理至关重要。
由于时间序列本质上也是呈现出序列性，如果将预训练的转换器（transformers）模型应用在时间序列预测上，结果将会如何呢？...统计模型则以逐个时间序列的方式进行训练。相反，DL模型是全局模型（在数据集的所有时间序列上进行训练）。因此，它们能够利用交叉学习的优势。...自那时以来，时间序列上的元学习已经取得了进一步的进展。以M6竞赛为例，其目标是寻找是否可以利用数据科学预测和计量经济学打败市场，就像传奇投资者那样做（例如，沃伦·巴菲特）。...然而，训练这些模型可能需要耗费大量时间和成本。对于某些领域，如金融和零售，这种额外的准确度提升可能更有利，且可以证明使用深度学习模型的价值。...这些架构利用多个领域的知识来学习特定任务。例如，CLIP（被DALLE-2和Stable Diffusion使用）结合了自然语言处理和计算机视觉。
更高的精度（如加权表征、平滑标签等手段） 设计出一套可以集成多种 baseline 方法，针对模型选择任务提出一个自动可配置的模型训练系统，且在模型选择的任务中，采用平滑标签、加权表征学习等技术手段，有效提高...例如，假设有一组来自多个用户的电力消耗数据，实例级对比损失函数用于学习各个用户的特定特征，而时间对比损失函数旨在挖掘随时间变化的动态趋势。...02、平滑标签和聚类 随着针对时间序列数据的预测方法数量不断增加，许多方法在相同类型的时间序列上表现出相似性能，这会降低分类器的表现。...例如，在处理周期性时间序列数据时，Transformer 和 DeepAR 模型往往得出较差的结果，而 Prophet 和 Holt-Winters 模型则展现出更为优越的表现。...数据集选择：选择了阿里云数据库内部、外部公开数据集UCR等50多个综合时间序列数据集。
每个训练实例都是自己的时间序列，因此任务是一个多个时间序列的问题。获胜团队提交了多层深度架构，其中包括LSTM网络和Transformer 块。...在过去的几年中，许多著名的架构已经发布，如MQRNN和DSSM。所有这些模型都利用深度学习为时间序列预测领域贡献了许多新东西。...图2显示了DeepAR的顶层架构: 以下是该模型的主要优势: DeepAR在多个时间序列上工作得非常好:通过使用多个分布略有不同的时间序列来构建全局模型。也适用于许多现实场景。...以下是该模型的主要优势: 与前面提到的模型一样，TFT支持在多个异构时间序列上构建模型。...TSFormer 它是一种基于Transformer(TSFormer)的无监督的时间序列预训练模型，使用了MAE中的训练策略并且能够捕获数据中非常长的依赖关系。
统计模型则以逐个时间序列的方式进行训练。相反，DL模型是全局模型（在数据集的所有时间序列上进行训练）。因此，它们能够利用交叉学习的优势。...深度学习昂贵 深度学习模型需要大量的时间来训练（和金钱）。这是意料之中的事。...他们也没有提到是否使用了任何并行化或训练优化。 如果在集合中使用较少的模型，Ensemble-DL的计算时间可以大大减少。...统计模型则以逐个时间序列的方式进行训练。相反，DL模型是全局模型（在数据集的所有时间序列上进行训练）。因此，它们能够利用交叉学习的优势。...深度学习昂贵 深度学习模型需要大量的时间来训练（和金钱）。这是意料之中的事。
3、Lag-Llama的训练 作为一个基础模型，Lag-Llama显然是在大量的时间序列数据语料库上训练的，因此该模型可以很好地泛化未见过的时间序列并进行零样本预测。...论文中说：Lag-Llama在来自不同领域的27个时间序列数据集上进行了训练，如能源、交通、经济等。 数据包含7965个单变量时间序列，总计约3.52亿个令牌。...Lag-Llama实践及测试 因为代码已经开源，所以我们可以直接测试，我们首先使用Lag-Llama的零样本预测能力，并将其性能与特定数据模型(如TFT和DeepAR)进行比较。...5、与TFT和DeepAR相比 我们在数据集上训练TFT和DeepAR模型，看看它们是否能表现得更好。 为了节省时间，我们将训练设置为5个epoch。...可以看到只训练了5个epoch这两个模型都取得了比Lag-Llama更好的结果，TFT是目前表现最好的模型，DeepAR的表现也优于laglama。
4、Lag-Llama的训练 作为一个基础模型，Lag-Llama显然是在大量的时间序列数据语料库上训练的，因此该模型可以很好地泛化未见过的时间序列并进行零样本预测。...论文中说：Lag-Llama在来自不同领域的27个时间序列数据集上进行了训练，如能源、交通、经济等。 数据包含7965个单变量时间序列，总计约3.52亿个令牌。...Lag-Llama测试 因为代码已经开源，所以我们可以直接测试，我们首先使用Lag-Llama的零样本预测能力，并将其性能与特定数据模型(如TFT和DeepAR)进行比较。...5、与TFT和DeepAR相比 我们在数据集上训练TFT和DeepAR模型，看看它们是否能表现得更好。 为了节省时间，我们将训练设置为5个epoch。...有趣的是，只训练了5个epoch这两个模型都取得了比Lag-Llama更好的结果。虽然样本预测可以节省时间，但训练五个epoch在时间和计算能力方面的要求应该不是很苛刻。
如果你在时间序列上建立一个监督模型，你的缺点是你需要做一点特征工程，以某种方式将季节性提取到变量中。然而，一个优点是，添加外生变量变得更加容易。 现在让我们看看如何在CO2数据集上应用线性回归。...交叉验证是一种进行重复训练测试评估的方法。它不是做一个训练测试分割，而是做多个（具体数量是用户定义的参数）。例如，如果使用3倍交叉验证法，把数据集分成三个相等的部分。...可以在时间序列交叉验证中找到解决方案。它所做的是创建多个训练测试集，但每个测试集都是周期的结束。例如，第一个列车测试划分可以建立在前10年的数据上（5个训练，5个测试）。...例如，可以尝试更长或更短的训练时间，也可以尝试添加额外的数据，如季节性数据(每周的哪天、每月的哪天等)，或额外的预测变量，如市场情绪或其他，此时我们需要切换到SARIMAX模型。...本文中，云朵君和大家一起学习了如何在时间序列数据的情况下进行模型选择。现在已经基本了解了不同的模型和模型类别。我们还学习到了特定于时间序列模型评估的工具，如窗口和时间序列分割等。
但使用时间序列数据进行预测通常需要多个数据预处理的步骤，并且需要用到复杂的机器学习算法，对于非专业人士来说，了解这些算法的原理和使用场景是一件不容易的事。...但这种在数据库上的预测集成系统不仅需要提供一个直观的预测查询界面，防止重复数据工程；同时还需要确保准确率可以达到sota，支持增量的模型更新，比较短的训练时间和较低的预测延迟。...tspDB就是直接与PostgreSQL集成，内部原生支持多个机器学习算法，例如广义线性模型、随机森林、神经网络，在训练模型的时候也可以在数据库里调节超参数。...为了实现PREDICT查询，用户需要利用现有的多元时间序列数据先建立一个预测模型。CREATE的关键字可以用于在tspDB中建立预测模型，输入的特征也可以是多个数据列。...将tspDB的预测性能与学术界和工业界最流行的时间序列库如LSTM、DeepAR、TRMF和Prophet进行比较后可以发现，tspDB的表现与深度学习算法（DeepAR和LSTM）相比都相差不多，并且超过了
尽管基于DL的预测器在很大程度上优于传统方法，并且在降低训练和推理成本方面取得了进展，但仍然面临着诸多难题： 大多数深度学习模型需要长时间的训练和验证周期，之后才能在新的时间序列上测试模型；相比之下，时间序列预测的基础模型可以在不需要额外训练的情况下...假设，长度为512个时间点的时间序列被用于训练具有「输入patch长度32」和「输出patch长度128」的TimesFM模型时： 在训练期间，模型同时被训练为使用前32个时间点来预测接下来的128个时间点...零样本评估结果 研究人员使用常用的时间序列基准，针对训练期间未见过的数据对TimesFM进行零样本评估，可以观察到TimesFM的性能优于大多数统计方法，如ARIMA，ETS，并且可以匹配或优于强大的DL...模型，如DeepAR，PatchTST，这些模型已经在目标时间序列上进行了明确的训练。...研究人员使用Monash Forecasting Archive来评估TimesFM的开箱即用性能，该数据集包含来自各个领域的数万个时间序列，如交通、天气和需求预测，覆盖频率从几分钟到每年的数据。
深度学习模型在NLP、CV等领域取得了成功应用后，也被逐渐引入到解决时间序列预测问题中。通过不同序列共享一个深度学习模型，让模型能从多个序列中学到知识，并且提升了在大规模数据上的求解效率。...RNN时序预测模型 DeepAR: Probabilistic Forecasting with Autoregressive Recurrent Networks（2017）首先采用深度学习模型解决时间序列预测问题...该方法采用经典的RNN模型进行时间序列预测，在训练阶段，每个时刻传入上一时刻的真实值、外部特征，经过RNN单元后，预测下一个时刻的值。...在模型实现上，相比DeepAR，模型在训练或预测阶段，每个时刻都不需要输入上一个时刻的真实值或预测值了，完全由隐状态建立连续两个时刻的联系。这样解决了DeepAR中训练和预测不一致的问题。...Multi-Horizon Quantile Recurrent Forecaster（NIPS 2017）提出一种multi-horizon forecast model MQRNN，同时预测未来多个时间步的值
这才能够大大减少训练时间。...有关时间序列预测和深度学习的更全面分析： 图3：Temporal Fusion Transformer 图4：DeepAR 上面两张图显示了两个最先进的模型。...此外，这两种模型都更加通用，因为它们可以处理多个时间序列并接受更丰富的特征集（TFT 略胜一筹）。...这些就是时间卷积网络(TCN)。 TCN 使用扩张卷积，它在不同长度的输入序列上进行padding - 使它们能够检测不仅彼此接近而且在完全不同位置的数据之间的依赖关系。...每个训练实例都可以被视为它自己的时间序列，因此使任务成为一个多时间序列问题。 这场比赛具有挑战性，原因有 3 个： 竞争问题可以表述为回归和分类任务。 数据集可以进行创造性的特征工程。
这揭示了两类模型之间的主要区别：RNN 是序列模型，这意味着单词是按顺序处理的；但 Transformer 并行处理所有单词，这大大减少了训练时间。...TFT 是一种用于时间序列的多层纯深度学习模型，该模型具有LSTM 编码器-解码器以及提供有可解释预测的全新注意力机制。 DeepAR 是一个复杂的时间序列模型，它结合了自回归和深度学习的特征。...此外，这两种模型都更加通用，因为它们可以处理多个时间序列并接受更丰富的功能集，其中TFT 略胜一筹。...或者正如 TFT 所做的一样，在拟合期间使这些向量可训练。通过这种方式，LSTM 单元的输出可以适当地在外部变量上发挥作用，而不会影响其时间依赖性。...TCN使用扩张卷积，它们在不同长度的输入序列上使用填充（padding），从而能够检测彼此邻近但位置完全不同的item之间的依赖关系。
所以现代时间序列模型应该考虑到以下几点： 模型应该考虑多个时间序列，理想情况下应该考虑数千个时间序列。 模型中应该使用单维或多维序列。 除了时态数据之外，模型还应该能够使用过去数据。...这个限制影响了所有的自回归技术(ARIMA模型)，包括亚马逊的DeepAR。 非时间的外部静态因素也应加以考虑。 模型需要具有高度的适应性。...异构时间序列:允许训练具有不同分布的多个时间序列。TFT设计将处理分为两个部分:局部处理，集中于特定事件的特征和全局处理，记录所有时间序列的一般特征。...性能:在基准测试中，TFT 优于基于 DNN 的模型，如 DeepAR、MQRNN 和深度状态空间模型（Deep Space-State Models）以及传统统计模型 (ARIMA，DSSM等)。...我们分别对每个时间序列进行标准化，并确认其始终都是正值。 为了防止归一化带来的前瞻性偏差，通常会使用 EncoderNormalizer，它会在训练时在每个编码器序列上动态缩放。
之前我介绍过可以预测概率分布的DeepAR模型，其实这次介绍的SDE-Net与它的目标是一致的，都是令模型在预测的基础上还能够度量预测结果的不确定性，不过SDE-Net的实现这个目标的思路与DeepAR...段易通：概率自回归预测——DeepAR模型浅析 https://zhuanlan.zhihu.com/p/201030350 不确定性 上文中已经提到，我们的目的是要量化不确定性，那么我们当然要先知道是什么导致了模型的不确定性...下图是对两种不确定度对模型预测结果影响的示意图，我们这里用到的是概率模型（比如说DeepAR或者后面要说的SDE-Net，输出的是一个随机变量而不是一个定值，因此通过模型得到的其实是一个概率分布）。...训练好模型之后，我们可以通过多次采样的方法，来得到多个输出 ，这种采样计算的思路与传统的集成方法具有相似之处，但是传统方法需要训练多个模型，而SDE-Net只需训练一次即可通过布朗运动的随机性得到多个输出样本...模型训练 考虑到模型的层数是有限的，因此我们需要将SDE离散化，形式如下： 其中时间区间为 ，模型一共有N层，因此 。 总的来看，SDE-Net的训练算法如下： ?
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
云直播
