AI入门 | 十分钟了解当前热门的扩散模型（Diffusion Model）

机器学习和人工智能算法不断发展，以解决复杂问题并加深我们对数据的理解。其中一个引人注目的模型类别是扩散模型，它们因能够捕捉和模拟像数据生成和图像合成这样的复杂过程而受到重视。

在这篇文章中，我们将探讨：

1. 什么是扩散？
2. 什么是扩散模型？
3. 扩散模型是如何工作的？
4. 扩散模型的应用（不做展示，未来几期推文专门介绍）

图1 DALL-E 3 生成的图像

引言：

扩散模型作为一种先进的生成模型，在过去几年里已经成为了机器学习领域的一个关键进展。自21世纪20年代以来，一系列具有里程碑意义的研究论文已经向世界证明了扩散模型的强大能力，尤其是在图像合成领域超越了传统的生成对抗网络（GANs）。其中最引人注目的例子是OpenAI发布的DALL-E 3，这是一个高级的图像生成模型，进一步展现了扩散模型在实际应用中的巨大潜力。

图2 扩散模型可用于从噪声中生成图像

什么是扩散？

扩散模型是一种数据生成技术,它模拟自然界中常见的扩散过程来合成新数据。就像一滴墨水落在水中会慢慢扩散开来一样,扩散模型也是从简单的噪声信号出发,逐步添加细节和模式,最终生成复杂的新数据。

研究人员发现,把这个过程倒过来运行,先由复杂数据开始,逐步移除细节,最后留下简单随机噪声,反过来再运行一次,就可以重新生成新的数据。这种技术应用于计算机视觉、自然语言处理等领域。

扩散模型重复反复地进行加入噪声和去噪处理,模拟多种随机过程,从而学会如何从随机性中提取复杂的模式。这是生成式模型的重要技术与研究方向之一。

什么是机器学习中的扩散模型？

在机器学习领域，扩散模型是一种独特的生成模型。它们的特点是能够根据训练数据创造出全新的数据样本。举个例子，如果你有一系列人脸的图片，并用这些图片来训练一个扩散模型，这个模型就能生成具有各种不同特征和表情的新的、看起来非常逼真的人脸——即便这些脸在原始的训练集中并不存在。

扩散模型的工作重点是模拟数据分布的逐渐演变，从一个简单的起点（比如标准的高斯分布）逐步发展到更加复杂的分布。这个过程通过一系列可逆的步骤来完成。简而言之，一旦这个模型学会了这个转换过程，它就可以从一个简单的分布出发，然后逐步将这个点“扩散”或转化为更复杂的数据分布，从而创造出新的数据样本。

1.去噪扩散概率模型 (DDPM)

DDPM是用于概率数据生成的一种扩散模型，专门用于生成高质量的数据。如前所述，扩散模型通过对随机噪声应用一系列转换来生成数据。特别是，DDPMs通过模拟将噪声数据转换为干净数据样本的扩散过程来操作。想象一下，有一张图片被噪声干扰了，看起来不太清晰。DDPM就像是一位艺术家，能够逐步将这张嘈杂的图片转化为清晰、干净的图像。

这个过程是怎样进行的呢？首先，DDPM从含有随机噪声的数据（比如模糊的图片）开始。然后，它逐步应用一系列复杂的变换，这些变换是DDPM在训练过程中学习到的。这个训练过程涉及理解不同阶段噪声和干净数据之间的关系。

图3 DDPM示意图 （Yang et al. 2023）

关键的一步是“去噪”。在这个步骤中，DDPM逐渐消除噪声，并逐步恢复数据的原始状态。可以将其想象为一个逐渐清晰的过程：开始时，你只能看到一团模糊的影像，但随着时间的推移，图像变得越来越清晰。

DDPM在图像去噪方面特别有效。它们不仅能清除损坏图像中的噪声，还能创造出看起来非常自然和清晰的图像。此外，DDPM还可以用于其他复杂的任务，如图像补全和提高图像分辨率等。

总的来说，DDPM 对于图像去噪任务尤为有效。它们能有效去除损坏图像中的噪声，并生成视觉效果极佳的去噪版本。此外，DDPM 还可用于图像内绘和超分辨率等应用。

2.基于分数的生成模型（SGMs）

基于评分的生成模型（简称SGMs）是机器学习中的一种创新工具，专门用来创造新的数据样本。想象一下，你有一堆数据，比如一系列图片或声音，你想基于这些来创造一些全新但又看起来很自然的样本。这就是SGMs擅长的事情！

SGMs的核心技术是一种叫做“评分函数”的智能计算方法。这个函数就像一个指南针，指导模型如何在数据的复杂世界中导航。它能告诉模型在任何一个点上数据出现的可能性有多大，帮助模型理解数据的深层结构。

使用SGMs的过程有点像雕塑家塑造雕像。模型从一个简单的形状开始，然后逐步按照评分函数的指引，把这个形状雕琢得更加复杂和逼真。这个过程是通过不断更新数据样本来完成的，使得生成的样本能越来越接近真实数据的分布。

与其他类型的生成模型相比，如生成对抗网络（GANs）或变分自编码器（VAEs），SGMs有它们独特的优点。它们提供了一种更直接的方式来理解和复制数据的分布，通常在生成复杂数据样本方面表现得更好。而且，SGMs在训练过程中通常更稳定，不太会出现像GANs那样的训练问题。

SGMs已经在诸如图像处理、语音合成和复杂模式识别等多个领域展示了它们的实用性。虽然它们在计算复杂度和训练稳定性方面面临一些挑战，但未来的研究可能会集中在提高SGMs的效率、改进训练过程以及拓宽它们的应用范围。

总而言之，基于评分的生成模型是机器学习领域的一大进展，它们在理解和模拟复杂数据分布方面展现出巨大的潜力。随着技术的持续发展，我们期待SGMs在未来能够在更多领域发挥重要作用。

图4 SGMs示意图 （Tim et al., 2022）

3.随机微分方程（Score SDEs）

随机微分方程（SDEs）是一种特殊的数学方程，用来描述在确定性和随机力量作用下，系统随时间如何变化。在生成模型的世界里，有一种基于评分的随机微分方程（简称Score SDEs），它是一种独特的方法，用于构建和调整基于评分的模型。

想象一下，Score SDEs就像是机器学习模型的“GPS系统”。它们通过一种评分函数来引导模型。这个评分函数是随机微分方程的解答，它帮助模型学习如何适应并理解数据的分布。这就像是告诉模型在数据的海洋中如何航行，以便找到正确的路径。

Score SDEs利用随机过程来模拟数据样本的变化过程，引导模型生成高质量的数据样本。这个过程有点像是在数据世界中进行一场探险旅行，模型在这个旅行中学习如何从一个简单的起点发展到复杂多样的终点。

当将Score SDEs和基于评分的建模技术结合起来时，就能创造出强大的生成模型。这些模型不仅能处理复杂的数据分布，还能生成既多样化又逼真的样本。这就像是给模型一个魔法棒，让它能够创造出既真实又多变的艺术作品，或是模拟真实世界中的复杂系统。

简而言之，基于评分的随机微分方程（Score SDEs）为生成模型提供了一种全新的视角，帮助它们更好地理解和模拟现实世界的复杂性。这项技术为生成高质量、多样化的数据样本开辟了新的可能性，展现了在创作艺术作品、模拟复杂系统等领域的巨大潜力。

图5 Score SDEs示意图（Yang et al., 2021）

总结来说，DDPM、SGMs和Score SDEs都是围绕着如何从嘈杂的数据中生成清晰数据的模型。DDPM关注于逐步添加噪声并从中恢复数据，而SGMs则专注于利用评分函数来引导这个过程。Score SDEs则提供了一个更广泛的数学框架，将这些概念和过程统一起来，展示了这些模型如何在更广泛的数学上相互关联和工作。

扩散模型如何工作？

扩散模型是一种用于生成数据的先进模型，它通过模拟逆向扩散过程来工作。这个过程包括以下几个步骤：

1. 数据预处理：数据首先被标准化，以确保具有统一的尺度和中心。这一步骤是为了使模型能够更好地处理数据，并为接下来的步骤做准备。
2. 前向扩散：模型从一个简单的分布（如高斯分布）开始，逐渐引入噪声，使数据复杂化。这个过程涉及一系列可逆的变换，逐步增加数据的复杂性。
3. 模型训练：在这个阶段，模型学习如何进行可逆转换。训练涉及优化一个损失函数，该函数衡量模型如何将简单的数据样本转换成复杂的数据分布。
4. 逆向扩散：在完成前向扩散后，模型通过逆向操作将复杂数据样本转换回简单的初始状态。这个过程允许模型从简单分布中的一个点出发，逐渐生成与原始数据分布相似的新样本。

通过这个逆向扩散过程，扩散模型能够通过从简单分布中的一个点开始，逐步将其扩散到期望的复杂数据分布，从而生成新的数据样本。生成的样本与原始数据分布有着惊人的相似性，使得扩散模型成为图像合成、数据补全和去噪等任务的有力工具。

参考来源：

https://encord.com/blog/diffusion-models/

https://arxiv.org/pdf/2209.00796.pdf

https://arxiv.org/abs/2112.07068

https://www.assemblyai.com/blog/diffusion-models-for-machine-learning-introduction/