04-Stable Diffusion的训练与部署-25-lora训练的网络配置原创

小伙伴们大家好，在上一个视频当中呢，我们已经给大家去介绍了数据及准备的相关内容，那数据准备好我们就可以使用Laura的方式来训练我们的stableion模型了，那在训练模型的时候，我们是在这个顺点SH文件当中来实现的，那在这个文件当中我们需要去配置一系列的模型训练的参数，那下面我们就给大家来看一下有哪些参数是需要进行配置的。首先在laa进行训练的时候，我们要配置预训练模型的路径，也就是说我们的stableion的预训练模型，你把它放置在哪，我们需要给它配置好，配置好模型路径之后，需要配置一下模型类型，这个模型类型呢，指的是我们前面使用的这个预训练模型是stableion的哪一个版本，然后再接下来就是参数化，那参数化呢也是跟模型类型息息相关的，这个后面我们给大家详细说明一下，然后还要配置好训练及数据的路径就是。

是我们前面设置的训练集，你的路径在这里配置好就可以了，最后要指定一下网络结构和它相应的超参数，好，那下面我们就给大家来详细看一这几个参数它的一个配置结果，那在这里我们来看一下这些配置内容啊，首先我们给大家来看一下第一个参数是我们的pre train model，也就是我们预训练模型的参数，那预训练模型的参数大家看一下我要放在哪？我要放在SD go models这个文件夹当中，那在这里我们配置的是什么？大家看一下这个模型是什么？是不是我们前面使用dream boss训练出来的那个格子衫模型呀？那现在大家看一下我们的任务就是什么呀？就是在格子衫训练的基础上，通过lower的方式在训练，把这些格子衫产生的图片，然后呢给它戴上眼镜就可以了，所以在这里这个预训练模型，我们配置的是格子衫的预训练模型，这是我们的第一个参数，好，下面我们再看下面这俩参数啊，这俩参。

数呢是相辅相成的，第一个参数呢，是指我们在这里使用的这个预训练模型，你是stableion一点几的版本还是STABLEION2点几的版本，如果是一点几的版本，你就把它设置为零就OK了，如果是二点几的版本，你就把它设置为一啊，这是我们在这里这个模型类型，当你设置为一的时候，也就说我使用stable di2点几的版本的时候，那下面这个参数化它就有意义，也就是说我们的二点几的版本才能够去使用参数化，它是一个实验性的功能，如果你是一点几的版本，那下面这个参数化就没有意义了，这是我们在这里这两个参数，对于我们来讲，我们直接使用1.0的版本来进行训练，所以这里呢，我们就直接给它设置为零，下面的参数化呢，对我们当前这个训练过程也没有什么作用，然后下面再看这个参数，这个参数是我们的训练及路径，那这个训练及路径我们前面已经给。

大家设置好了，也说我们把我们的数据放在了文件下夹下面的lo glass当中，那在这里进行指定的时候，大家看一下我们是不是就直接指定到出文件夹下面lo glass就可以了，不需要指定到你的数字下划线，然后你的风格文本那一个文件目录哈，只需要指到它的上一层目录就OK了。指定好这个训练集之后，然后我们就可以利用这个训练集在预训练模型的基础上来进行模型训练。好，下面我们再看下面这个参数啊，这个参数呢，使的是我们的正则化图像。数据及路径，那对于我们来讲，我们是一般情况下啊，不会去使用这个正则画图像的，所以在这里这个就是空的，是在我们训练过程当中不使用这个正则化图像，这是训练及数据以及我们的预训练模型路径的一个设置，设置好这些之后，接下来我就可以去配置一下我的网络，那在这里配置网络时候，大家想想lo模型在进行训练的时候，我配置网络我配置的是哪一部分，是不是就是预训练模型旁边的那个支路呀，所以在这里我去配置网络的时候，就是去设置那个支路的相关信息。好首先我们来看一下，在这里面第一部分就是我们的network mole，那这个呢，就指的我的网络模块，就支路你怎么去设置，那在这里设置的时候，我们就直接设置成LA的形式啊，默认也是lo的形式，当然还有一些其他的形式可以进行设置，我们在这里就不给大家去介绍了，大家知道在这里就是为了去构建那个旁边的支路的。

那构建好这个旁边的支路之后，我就可以去训练这个模型，那在训练的过程当中，大家想一想这个网络结构，我在训练的时候，我的参数初始化时，A呢，初始化为高斯分布的，然后B呢，初始化为全零的，这是我刚一开始进行训练，从头进行训练的时候，那大家想想有没有可能我前面已经训练了一些迭代，那现在我要接着继续训练，那这时候大家想一下，我的参数可以从哪里来获取啊？是不是就从你之前训练好的lo之路的那个模型权重当中来获取就OK啦？那如果你想从那个模型权重当中获取的话，那你就需要在这里指定一下你那个模型权重的路径，也就是我们的network位就OK了，这是我们在这里这个参数它的作用，好，那下面再看在这里这个network Di是什么呢？大家想一下啊，我们的支路当中是不是A模块来进行降维，B模块来进行升维，那降维。

的时候，我要降到多少维呢？哎，那这里就是指的我的降低到维度，也是我们的R的值，那在这这个网络维度啊，通常情况下呢，你可以选择四到128之间的值，大家想一下，这个值是越大越好还是越小越好。诶，它不是越大越好的啊，你要根据你自己的一个实际情况来设置这个值就OK了，那下面还有一个值叫做network阿尔法，那这个network阿尔法它一般情况下我们就默认为一，你要设置的时候，你可以把它设置为跟我们前面设置的这个D是相同的就可以了，你也可以把它设置成什么呀，Network diam的一半都是可以的，这是我们在这里这个阿尔法它的值如何来进行设置，那这个阿尔法的值啊，它影响着我们的学习率，如果你在这里这个阿尔法设置的比较小的话，比如说你设置的一，那这时候你就需要把我们的学习率提升一下，也说把学习率放的大一点，这是我们在这里这个网络设置当中的相关参数，在这里我们就把训练及数据预训练模型的路径配置好，然后网络也设置好了，那在这里大家看一下我们的预训练模型是不是你得放置到这个文件夹当中去，然后训练级数据也需要放进去。所以在这。

这里面我们设置参数之后，需要把训练好的格子衫模型放入到指定文件夹，就放入到SD model当中就可以了，然后并且图片也要放到相应的位置当中来才可以。好，那下面我们就到lab当中来看一下这段代码的实现。

那大家来看一下这段代码就在哪呢？在我们这个顺点SSH文件当中，也是说我们去选中的这一部分代码，那在这里大家看一下我们是在SD model当中有这样的一个预训练权重，我们来看一下这边SD model当中是不是已经放置好了我们的预训练模型呀，那大家下去以后，如果要进行LA训练的时候，你的预训练模型也要放置在指定的文件夹下面，要把这里的配置和你实际放置的位置匹配起来，然后再接下来就是我们的训练集数据，大家看一下训练集数据是在冲文件夹下面LA glass当中，那大家看一下在这里我们就在串文件夹下面lower glass当中，大家看是不是就是我们的训练集数据啊，那在训练之前，你需要把这些参数配置好，配置好之后，然后把相应的数据集，相应的预训练模型放在指定目录就可以了。这是我们在这里这个训练集数据路径以及网络设置的相关内容。

我们就给大家介绍这些，我们先把视频暂停一下，下一个视频当中我们来给大家去配置一些训练相关的参数。