时间序列和时空数据扩散模型27页综述！

Datawhale干货 作者：杨毅远，牛津大学，Datawhale成员

题目： A survey on diffusion models for time series and spatio-temporal data

论文链接： https://arxiv.org/abs/2404.18886

项目地址： https://github.com/yyysjz1997/Awesome-TimeSeries-SpatioTemporal-Diffusion-Model

作者：Yiyuan Yang (杨毅远), Ming Jin (金明), Haomin Wen (温浩珉), Chaoli Zhang (张超利), Yuxuan Liang (梁宇轩), Lintao Ma (马琳涛), Yi Wang (王毅), Chenghao Liu (刘成昊), Bin Yang (杨彬), Zenglin Xu (徐增林), Jiang Bian (边江), Shirui Pan (潘世瑞), Qingsong Wen (文青松)

机构：牛津大学，莫纳什大学，北京交通大学，香港科技大学（广州），浙江师范大学，蚂蚁集团，香港大学，Salesforce，华东师范大学，复旦大学，微软亚洲研究院，格里菲斯大学，松鼠AI

时间序列数据的研究对于理解随时间变化的趋势和异常至关重要，使得在各个领域内能够实现预测性洞察。另一方面，时空数据对于分析空间和时间中的现象至关重要，为复杂系统交互提供动态视角。近期，扩散模型在时间序列和时空数据挖掘中得到了广泛应用。这些模型不仅增强了序列和时间数据的生成和推理能力，而且还扩展到其他下游任务。

在本综述中，我们全面而深入地回顾了扩散模型在时间序列和时空数据中的使用，按模型类别、任务类型、数据形态和实际应用领域进行分类。具体而言，我们将扩散模型分为无条件和有条件两种类型，并分别讨论时间序列数据和时空数据。无条件模型，即无监督运行的模型，被进一步细分为基于概率和基于分数的模型，服务于预测和生成任务，如预测、异常检测、分类和填补。有条件模型则利用额外信息以增强性能，同样也针对预测和生成任务进行划分。

我们的综述广泛涵盖了它们在包括医疗保健、推荐系统、气候、能源、音频和交通等多个领域的应用，为这些模型如何分析和生成数据提供了基础理解。通过这一结构化概览，我们旨在为研究人员和实践者提供关于时间序列和时空数据分析中扩散模型的全面理解，旨在通过解决传统挑战和探索扩散模型框架内的创新解决方案，引导未来的创新和应用。

扩散模型代表了一类概率生成模型，这些模型通过一个包括在一组训练样本中注入噪声及其后续移除的两步过程进行优化。这个过程包括一个前向阶段，称为扩散，以及一个反向阶段，称为去噪。通过训练模型去除在扩散过程中加入的噪声，模型在推断过程中学会生成与训练数据分布紧密对齐的有效数据样本。

近年来，扩散模型在各个领域中获得了显著的关注并产生了重大影响，包括计算机视觉（CV）、自然语言处理（NLP）和一般的多模态学习。这挑战了生成对抗网络（GANs）长期的主导地位。在这些领域中，扩散模型在如文本到图像转换、实例分割、3D形状生成、分子设计和音频生成等应用中展示了卓越的能力。值得注意的是，扩散模型也作为一种非自回归的替代方案，开始在传统由自回归方法主导的任务中获得人气。最近，OpenAI Sora的推出标志着扩散模型在模拟嵌入时空连续体的物理世界中的新进展，突显了它们的关键重要性。

时间数据主要包括时间序列和时空数据，封装了绝大多数现实世界系统的动态。这些时间数据形式已被广泛研究，并被认为对众多应用至关重要。然而，从各种数据形态中导出物理世界的普适动态法则仍然是该领域内的一个重大挑战。最近，时间序列和时空建模领域经历了从感知智能向通用智能的显著转变。这一转变由具有广泛时间数据分析能力的统一基础模型（FMs）的出现所特征化，挑战了特定领域模型的优势。扩散模型在许多模态上实现了最先进的成果，包括图像、语音和视频。由于这些领域中广泛且多样的可用数据，扩散模型常作为生成型基础模型与大型语言模型（LLMs）或其他基础模型一同促进了这些领域的快速发展。

近年来，也出现了越来越多专为模拟时间序列和时空数据而设计的扩散模型。同时，我们也注意到越来越多的尝试使用扩散模型进行时间建模。观察扩散模型的成功，引发了一个引人入胜的问题：时间序列/时空数据分析与扩散模型的交叉会擦出什么样的火花？

时间序列和时空数据分析基本上依赖于对它们固有的时间动态的深刻理解，其主要任务主要集中在骨干模型的生成能力上，例如预测、填补和生成。这些分析聚焦于为特定目的生成时间数据样本，无论是有条件的还是无条件的。目睹了时间序列和时空基础模型的最近发展，无论是基于LLMs构建还是从零开始训练，它们的成功可以归功于估计训练样本分布的能力，从中可以提取有效的数据表示。在这方面，扩散模型作为一个强大的生成框架出现，使得（1）模拟时间数据中的复杂模式成为可能，以及（2）支持广泛的下游任务。为特定任务生成有效的数据样本时，时间序列和时空扩散模型通常以无条件方式操作，无需监督信号。鉴于实际应用的部分观察性质，有条件的扩散模型已经出现。它们利用数据标签（例如指令、元数据或外来变量）来调控生成过程，从而使得有效的跨模态提示成为可能，导致更定制化和改进的结果。

我们在图3中提出了一个发展路线图。通过在大规模时间数据上训练，扩散模型有效地填补了时间序列/时空数据生成的空白，并展示了在解决下一代以LLM为中心的时间数据代理的难题中的重大潜力。

尽管扩散模型在处理时间序列和时空数据方面展示了充满希望的前景和迅速的进步，现有文献中对这一模型家族的系统分析却明显不足。本文旨在通过提供一份前瞻性的综述来弥补这一差距，阐明扩散模型适用于这些数据形态的原因（“为什么”）以及它们如何提供优势的机制（“如何”）。在这份综述中，我们提供了详细的分类，进行了彻底的评审，并识别了这一迅速发展领域内的新兴趋势。我们的主要贡献总结如下：

• 全面且最新的综述。我们呈现了一个全面、最新且前瞻性的扩散模型在时间序列和时空数据应用的综述。我们的调查强调了扩散模型适用于这些数据形态的适宜性，并讨论了它们提供的益处。通过覆盖领域的广泛谱系和各个方法的细节，我们为读者提供了对这一主题领域的深入洞见。
• 统一和结构化的分类。我们引入了一个清晰且有组织的框架，用于将现有文献分类为两种主要类型：无条件和有条件的扩散模型，重点关注时间序列和时空数据，这些数据涵盖了预测性和生成性任务。这种分类为读者提供了从多个角度对该主题的连贯路线图。
• 洞察新兴进展。我们讨论了无条件和有条件扩散模型中的前沿技术，关注时间序列和时空数据。我们的覆盖范围包括最新技术和新兴趋势，如多模态有条件生成。
• 挑战和未来方向的总结。我们确定了当前研究环境中面临的关键挑战，并突出了几个未来探索的有希望方向。

本文的其余部分结构如下：第2节提供了关于扩散模型的全面背景，详细介绍了它们的发展、理论基础和各种实现。第3节呈现了对时间序列和时空数据应用扩散模型的结构化概览和分类，为在第4节中更深入探讨模型视角奠定了基础，该节将讨论标准和先进的扩散模型。第5节关注于任务视角，检查扩散模型如何处理预测、生成、填补、异常检测等任务。第6节讨论数据视角，强调针对时间序列和时空数据的特定挑战和解决方案。第7节探索扩散模型在各种领域的应用，如医疗、交通和能源，展示了它们的广泛实用性。最后，第8节以对未来机会的展望和总结性评论结束本文。

本节提供了针对时间序列和时空数据分析挑战的扩散模型的概述和分类。我们的调查沿四个主要维度组织讨论：扩散模型的类别、任务类型、数据形态和实际应用。图7中展示了相关工作的全面总结。现有文献被分类为两个主要组别：无条件和有条件的扩散模型，重点关注时间序列和时空数据。

在无条件类别中，扩散模型以无监督方式操作，生成数据样本无需监督信号。这一设置代表了分析时间序列和时空数据的基础方法。在此类别中，文献可以进一步分为基于概率的和基于评分的扩散模型。例如，去噪扩散概率模型（DDPMs）[2]和基于评分的随机微分方程（Score SDEs）[4]，[6]，如第2节所介绍。这一类别的研究广泛地组织为两个任务组：预测任务和生成任务。预测任务通常涉及预测和异常检测，利用历史数据和模式来预测当前和/或未来事件。相反，生成任务则专注于识别大型数据集中的模式以生成新内容，如时间序列的插值和增强。这些方法被开发用于两种主要数据形态：时间序列和时空数据，以满足包括医疗保健、能源、气候、交通等多个领域的广泛应用。

在有条件类别中，扩散模型被定制用于时间序列和时空数据的条件分析。实证研究表明，使用数据标签的条件生成模型比它们的无条件对应物更易于训练且性能更优[75]。在这一上下文中，标签（也称为条件）通常来自各种来源，例如提取的短期趋势[34]和城市流量图[35]，以增强模型推断。这一类别采用基于概率和基于评分的扩散模型来应对预测和生成任务，提供了在特定约束下利用扩散模型应对时间序列和时空数据分析实际挑战的新视角。

在对模型类别、任务类型、数据形态和应用领域的基础理解的基础上，我们更深入地探索了时间序列和时空数据分析中的扩散模型。每个部分都旨在解开扩散模型应用中固有的复杂性和细微差别，从多个视角提供全面概述。在第4节中，我们探讨扩散模型的景观，突出无条件和有条件方法之间的区别及其含义。第5节从预测和生成的视角分析任务，详细说明了预测、生成、异常检测和数据插值等具体功能。第6节检查数据形态，区分时间序列和时空数据，概述模型挑战和适用性。最后，第7节将讨论扩展到应用领域，展示扩散模型在医疗、交通、序列推荐、气候、能源和音频等领域的广泛实用性。这种结构化的探索旨在装备读者深入理解扩散模型处理复杂时间序列和时空数据挑战的潜力和当前状态。

作者简介：

杨毅远，牛津大学计算机系博士生，牛津克拉伦登学者，师从Andrew Markham教授和Niki Trigoni院士，Datawhale成员，《Easy RL:强化学习教程》（蘑菇书）作者，研究方向数据挖掘、时间序列、生成模型、信号处理等。