03-stablediffusion模型原理-09-unet模型原创

各位小伙伴们大家好，接下来我们来看一下stableion架构当中ion扩散模型是如何来构成的，那diion扩散模型呢，在我们整个架构当中啊，有两部分来构成，一部分就是我们的unit网络unit网络，另一部分呢，就是我们来生成噪声的schedule，那下面我们就给大家来分析一下unit和我们的schedule是如何来构成的。首先我们来看一下我们的unit网络，Unit网络本来是用作图像分割的啊，它是用于在生物医学图像分割当中的神经网络，因为它的网络架构啊，像一个U型就是一个字母U，所以呢，我们把它叫做U型神经网络哈，那在扩散模型当中也说，在我们的diion扩散模型当中，Unit呢是用来辅助提取并且解构训练图像的特征，有了它，我们能够在较少训练样本的情况下获得更加准确、多样。

的数据信息，同时是模型在出图效果上啊，更加精确，那首先我们把unit的网络结构来给大家去分析一下，那unit网络结构刚才已经给大家去介绍了啊，它呢得名是因为它的网络结构像一个大写的U字，那我们把这里给大家画出来，大家看一下是不是一个大写的U字啊，那这是我们这个unit，它网络结构整体上来看就像一个U字，然后在这个U字当中，我们可以把它分成两部分，那这两部分我来进行划分的时候呢，我们这样子来进行划分，那我在这里给它一刀两断，然后左边这一部分呢，我们叫做匠材样，那在左边这一部分的时候，它的特征图啊，是随着网络结构的加深啊，它在不断的变小，是降材样的部分，那这一边呢，是我们生材样的部分。也就是说随着网络的。处理我们的特征图是不断的在变大的，那在我们的扩散模型当中哈，Unit网络来完成去噪的过程，我们都知道在DeFion当中，我进行去噪的时候是不是一个时间部一个时间部来完成的，那我们在实现的时候就使用这个unit网络，一个时间部一个时间步的来进行去噪，那在这里大家还要注意一下，大家看一下，在这里我输入的时候是128乘128的，对吧？然后呢，输出呢也是128乘128的，当我们把我们的图片转入到潜在空间去之后，然后你的特征图如果是128乘128的，那送进去的是128乘128的，输出也是128乘128的，所以unit网络不会改变输入特征图的大小，所以我们选择unit来进行去噪的时候，实际上就可以理解为我就从原始的数据特征当中来减除噪声就OK了。那如果我要完成多个时间部的去噪的话，大。

来想想我是不是就循环多个unit网络就OK了，所以在diion模型当中，你设置了要去多少个时间部的噪声的话，那这里面我们就要循环多少个unit结构，这是我们在stable架构当中unit网络它实现的功能，好，那这个unit这里我们就给大家说这些，现在我们的ion扩散模型当中，除了unit网络结构当中，我们还有一个schedule，那schedule是用来做什么的呢？大家来想一下啊，在我进行添加噪声和去除噪声的过程当中，我是不是得设计一下我添加噪声的方式，添加的噪声是什么样子的，怎么来获取这个添加的噪声，去除的噪声是什么样子的，怎么来获取这个去除的噪声？那我们的schedule就是来完成这样子的工作的，那在训练扩散模型过程当中也说训练我们的模。

模形的时候，我可以采用不同的算法来进行处理，采用什么样的算法呢？就由schedule来决定，那它可以用来定义你使用哪种算法，定义降噪的步骤，是否具备随机性，查找去噪后样本的算法等，我都可以通过schedule来完成。所以这个schedule我们又叫做什么？哎，又叫做采样方法，采样算法在我们的stable当中呢，这个采样算法是一个可调节的参数，我们可以根据图像的类型和使用的模型来选择不同的采样器啊，从而让我们达到一个更好的出图效果。那在这里我们给大家列出来了一些你可以选择的schedule，大家可以看到有什么LMSDPM，哎，这些都是我们常见的一些采样算法，那这个采样算法跟我们的unit结合在一起，就构成了diffion扩散模型。

的整个内容，好，礼服游神扩散模型，这我们就给大家说这些，我们先把视频暂停一下，稍后我们来看一下VAE当中的解码器是如何来进行处理的。