04-Stable Diffusion的训练与部署-12-stabledifusion的训练方式原创

各位小伙伴们大家好，接下来我们来看一下第三章节stableion的训练这一部分的内容，那在这一部分我们会给大家介绍三个内容，首先第一个我们会大家来介绍一下stableffion的训练方法，在这里我们会大家介绍四种训练方法，我们会分别说明一下这四种训练方法它的作用和特点。第二部分我们回答来介绍一下dream boss的训练，那dream boss呢，是训练stable diffusion的模型的一种方式，我们回答介绍一下这种方式如何来进行数据的准备，如何来进行模型训练，以及如何来进行模型的保存。最后我们会给大家介绍一下lower的训练方式，我们会给大家说明一下通过lower的方法我们如何来训练stableion模型，也会从数据的准备，模型的训练，模型保存这几方面来给大家去说一下LA训练方法，好，首先我们给大家来看一下，第一。

一部分的训练方法。在这里我们给大家介绍一下stable diffusion常见的四种训练方法，我们分别从训练方法的作用和特点来给大家去对比一下这四种方法。首先我们来看第一个方法text inversion，那texture inversion呢，它是一种使用文本提示来训练模型的方法，它能够根据模型的引用来给定图像，并且从中选择最匹配的图像。当我们在使用texture inversion的时候，我们的迭代次数越多，那生成的图像质量就会越好。当然在保证图像质量的时候，Texture inversion呢也能够快速的去生成这些图像。texture inversion这种训练方法它对计算资源的要求相对较低一些，比较适用于需要生成大量高质量图像的场景。test inversion它训练好的模型文件非常。

小，只有几十个GB，在使用时呢，我们也不需要去加载这个模型，只需要在提示词当中加入关键信息就可以了。这种训练方式它适合于转换图像风格，我们推荐大家如果要训练人物的话，可以选择texture inverion这种训练方式。除了texture inversion这种训练方式之外，第二种就是我们的hyper network hyper network呢，它是一种利用神经网络来进行模型训练的方法，这种训练方式它能够从模型内部找到很多相似的东西，使得我们生成的图像更为近似，也就是说这种训练方式它生成的是同一风格的图像，当你要生成同一风格的图像的时候，诶，你可以选择hyper network的方式来训练我们的stable，但是当你要生成不同。

同风格的图像的时候，那hyper network这种训练方式就不太合适了。hyper network在进行模型训练的时候啊，它需要的资源比我们的text inversion要多一些，而且生成的模型文件比前面的要大一些，大概是在几十个照臂这样的大小。对于这种训练方式，我们通常来进行训练艺术风格或者是训练画风的时候啊，就优先选择这种训练方式就OK了。除了这两种训练方法之外，现在比较常见的训练方法呢，就是我们的dream boss dream boss它是利用少量图像来训练模型的方法，那这就不需要我们去收集很多的训练及图像，它是一种基于深度学习的图像风格转换技术，它能够呢将一张图片的风格应用到另一张图片上来生成新的图像，它的一个优点是什么呢？诶，它。

可以自动的就去生成高质量的艺术作品，不需要我们用户具有专业的艺术技能。另外dream boss它的一个特点是生成的模型文件相对较大一些，能够达到四个GB，那在进行训练的时候呢，需要的资源也会相对高一些，那我们训练的时候显存最好在16GB以上，我们才能够去训练出来一个好的模型，在进行预测的时候，我们需要把我们训练好的模型加载进来。另外我们的dream boss训练出来的模型也可以跟其他模型进行融合，融合之后生成新的结果。dream boss这种训练方式，在进行训练的时候，我们需要设置它的学习率和训练步骤，那当我们的学习率比较高或者是训练步数比较多的时候，就很容易导致这个过拟合，但是如果你的学习率比较低，或者是学习步骤比较少的话，那我们就很容易产生嵌拟合。所以。

在进行dream boss的训练的时候，一定要把我们的学习率和迭代步骤设置好，你才能够去获取一个比较好的结果，那一般情况下，我们在进行模型训练的时候，你的迭代步骤就在3000步左右就OK了，而且我们的学习率呢，在十到负六次方或者是十的负五次方左右都是可以的，这是dream boss的训练方式，那除了dream boss之外哈，还有一种训练方式就是我们的Laura。那Laura呢，它也是能够去使用少量图像来训练模型的，但是这种方法与我们dream boss不太一样，Laa在进行训练的时候，他只需要去更改网络当中的部分参数，不需要对网络的全部参数进行修改，所以laa这种训练方式它的速度就相对会更快一些，而且生成的模型参数也比较小。刚才我们给大家说了，Dream boss的时候，你的PT文件能够达到几个GB，而Laura呢，只会产生几个照B的这样子的模型。另外在使用laa来进行训练的时候，因为它只修改部分参数，所以它的训练速度呢也是比较快的。使用laa训练好的模型，我们可以跟其他模型来进行融合，融合之后哎，再来进行图像生成，这是我们在这里这种lower的训练方式，好，Stableion的四种训练方法。我们就给大。

大家介绍这些前两种训练方法呢，是比较早期的时候，我们比较常使用的做法，那现在比较常用的是我们的dream boss和Laura，那在接下来的课程当中，我们就给大家来介绍一下dream boss和Laura是如何来完成模型训练的。好，那我们先把视频暂停一下，稍后我们来看一下dream boss的训练方式。