如何用AI生成可靠的图片

介绍

Stable Diffusion是2022年发布的深度学习文本到图像生成模型。

文本到图像生成模型是一种机器学习模型，一般以自然语言描述为输入，输出与该描述相匹配的图像。这种模型的开发始于2010年代中期，伴随深度神经网络技术的发展而进步。

在Github上由AUTOMATIC1111维护了一个完整的项目，正在由全世界的开发者共同维护。由于完整版对网络有一些众所周知的需求，国内有多位开发者维护着一些不同版本的封装包。开源社区为SD的普及做出了难以磨灭的贡献。

原理详解推荐文章：

• https://zhuanlan.zhihu.com/p/612854566/
• https://baijiahao.baidu.com/s?id=1755341849015979130&wfr=spider&for=pc

与Midjourny对比：

Stable diffusion是一种非常常见的图像平滑算法，可以使图像变得更加平滑，同时保持边缘和细节。它基于偏微分方程，通过计算图像的梯度来控制图像中的信息流，从而减少噪声并平滑图像。与其他平滑算法相比，stable diffusion具有更好的平滑效果，不会破坏边缘和细节。

Midjourney算法是一种基于双边滤波技术的去噪算法，它能够去除图像中的高频噪声并保留图像的细节和边缘，同时保持图像的平滑。这个算法通常会在图像处理的后期阶段应用，以进一步去除图像中的噪声并平滑图像。

系统配置

“

• 显卡：N卡 8GB+
• 内存：16GB
• 硬盘：40GB

”

Stable Diffusion界面

web-ui

Stable Diffusion Web-UI（SD-WEBUI）：开源大神AUTOMATIC1111基于Stability AI算法制作的开源软件，能够展开浏览器，用图形界面操控SD。

秋叶包：中国大神秋叶开发的整合包。由于WEBUI本身基于GitHub的特性，绝大多数时候的部署都需要极高的网络需求，以及Python环境的需求。使用秋叶整合包，内置了和电脑本身系统隔离的Python环境，以及内置了Git，不需要了解这两个软件就可以运行。可以几乎忽视这样的门槛，让更多人能够享受AI出图。

开源地址：https://github.com/Stability-AI/stablediffusion

安装教程

Mac下安装教程：

“https://zhuanlan.zhihu.com/p/620414079 ”

Windows推荐用秋叶大佬的整合包。

“安装教程：https://zhuanlan.zhihu.com/p/622330006 ”

学习教程

学习教程：

“基础：https://www.yuque.com/a-chao/sd/wpfsvcqkq0pgmmpg 进阶：https://vocus.cc/neversaysd/home 案例：https://www.yuque.com/longyuye/lmgcwy/goa36x ”

启动

浏览器访问：http://127.0.0.1:7860/

stable diffsusion界面如下，

模型安装

1.c站：https://civitai.com/

2.LibLibAI：https://www.liblibai.com/#/

3.XTIMESAI：https://www.xtimesai.com

模型类型

CheckPoint模型

为主模型，主模型比较大。一般为2GB-7GB左右

LoRa模型

微调模型：用来定制人物

ControlNet

让SD有了眼睛，能够基于现有图片得到诸如线条或景深的信息，再反推用于处理图片。

模型分类如下:

关于controlnet相关文档如下：

• https://zhuanlan.zhihu.com/p/616898673
• https://www.dongwm.com/post/stable-diffusion-controlnet/

模型推荐

以下属于文生图过程。

Comix

实操跑出的图如下：

AWPainting

实操跑图

IP DESIGN 3D化模型

实操跑图：

majicMix realistic

实操跑图

MoonFilm

实际跑图

LoRA模型

ControlNet模型

模型推荐：

Openpose：

跑图过程

Stable Diffusion简单使用

正向提示词与负向提示词

提示词内输入的东西就是你想要画的东西，反向提示词内输入的就是你不想要画的东西。

采样方法与迭代步数

采样方法

• Euler a 速度最快的采样方式，对采样步数要求很低，同时随着采样步数增加并不会增加细节，会在采样步数增加到一定步数时构图突变，所以不要在高步数情景下使用
• DPM++2S a Karras 和 DPM++ SDE Karras 这两个差不太多，似乎SDE的更好，总之主要特点是相对于Euler a来说，同等分辦率下细节会更多，比如可以在小图下塞进全身，代价是采样速度更慢
• DDIM 很少会用到，但是如果想尝试超高步数可以使用，随着步数增加可以叠加细节

采样步数

一般来说大部分时候采样部署只需要保持在20-30之间即可，更低的采样部署可能会导致图片没有计算完全，更高的采样步数的细节收益也并不高，只有非常微弱的证据表明高步数可以小概率修复肢体错误，所以只有想要出一张穷尽细节可能的图的时候才会使用更高的步数。

提示词相关性（CFG）

CFG很难去用语言去描述具体的作用，很笼统的来说，就是给你所有的正面和反面提示词都加上一个系数，所以一般CFG越低，画面越素，细节相对较少，CFG越高，画面越腻，细节相对较多。

• 二次元风格CFG可以调的高一些以获得更丰富的色彩和质感表达，一般在7~12，也可以尝试12~20
• 写实风格CFG大都很低，一般在4~7，写实模型对CFG很敏感，稍微调多一点可能就会古神降临，可以以0.5为步进来细微调节

一般来说大部分时候采样部署只需要保持在20~30之间即可，更低的采样步数可能会导致图片没有计算完全，更高的采样步数的细节收益也并不高，只有非常微弱的证据表明高步数可以小概率修复肢体错误，所以只有想要出一张穷尽细节可能的图的时候才会使用更高的步数。

随机种子

随机种子可以锁定这张图的初始潜在空间状态，意思就是如果其他参数不变，同一个随机种子生成的图应该是完全相同的，可以通过锁定随机种子来观察各种参数对画面的影响，也可以用来复现自己和他人的画面结果

• 点击筛子按钮可以将随机种子设为-1，也就是随机
• 点击回收按钮可以将随机种子设为右边图片栏里正在看的那张图片的随机种子

需要注意的是，即使包括随机种子在内的所有参数相同，也不能保证你生成的而图片和他人完全一致，随着显卡驱动，显卡型号，webui版本等其他因素的变动，同参数输出的图片结果都会可能会发生变动，这种变动可能是细微的细节区别，可能是彻底的构图变化

Draw Things简单使用

图生图

图生图可以通过图片生成近似图片：

这里通过控制重回幅度来控制两幅的近似度

提示词工程

“推荐文章：https://juejin.cn/post/7244466015999852599 https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Features https://shade-skipjack-5e6.notion.site/Stable-Diffusion-4120cb1c0406418998f6772294a0615e ”

在线网站

提示词网站：https://www.prompttool.com/NovelAI

基于chatgpt的提示词

使用chatgpt激发创造性

如果没有好的想法，可以让chatgpt帮我们想。

Stable Diffusion Web UI融合ChatGpt插件

poe

一般描述为：质量词，媒介词，主体，主体描述，背景，背景描述，艺术风格和作者

常用正向词与负向词起手式

正向词：

(masterpiece:1,2), best quality, masterpiece, highres, original, extremely detailed wallpaper, perfect lighting,(extremely detailed CG:1.2),

负向词：

bad face, bad anatomy, bad proportions, bad perspective, multiple views, concept art, reference sheet, mutated hands and fingers, interlocked fingers, twisted fingers, excessively bent fingers, more than five fingers, lowres, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, black and white

APP推荐

Greamer

Midjourny iOS版本

实际出图：

AI生图可以做什么

草稿渲染

黑白稿上色

真人转动漫

动漫转真人

Logo设计

小说插画

利用文生图，截取小说关键字段，生成插画图片。

AI 模特搭配服装

推荐文章：https://blog.csdn.net/awschina/article/details/130818404

画风模仿

画质提升

人脸替换

关于AIGC版权问题

“2023年1月23日，美国三名漫画艺术家针对包括Stability AI在内的三家AIGC商业应用公司，在加州北区法院发起集体诉讼，指控Stability AI研发的Stable Diffusion模型以及三名被告各自推出的、基于上述模型开发的付费AI图像生成工具构成版权侵权。 2月15日《华尔街日报》记者弗朗西斯科·马可尼（Francesco Marconi）也公开指责，Open AI公司未经授权大量使用路透社、纽约时报、卫报、BBC等国外主流媒体的文章训练Chat GPT模型，但从未支付任何费用。 ”

目前关于 AI 版权归属问题主要有2 种看法：持保守观点的认为 AIGC 只是从海量数据库中选择元素进行拼接，初始的创意和付出都源自原艺术家，因此版权应该属于数据库中的原作者和开发 AI 技术的平台。而另一种观点认为，在 AI 作品生成过程中创作者也经过调试编辑，通过多次迭代才生成最终图像，所以AI 创作者同样持有作品的版权。

著名的 AI绘图工具Stable Diffusion，它的模型训练数据源是包含了上亿图像的LAION-5B数据库，该数据库本身并不储存网络图像本体，而是作为各类版权作品的在线索引，在训练模型时需要先将作品下载到本地储存为副本，那这个下载过程本身就包含了对版权作品的使用。

考虑到前面对侵权行为的判定标准，未来我们在使用 AIGC 的过程中可以注意以下几点：

• 在工作中如果需要对 AI 作品商业化，需提前了解AI 工具平台方相关的使用手册或用户协议等文件，明确产出内容的所有权范围和用途，避免后期产生法律纠纷。
• 此外不要直接的将 AI作品 作为自己的最终成果，而是将 AIGC 技术作为实现目的工具，在其中尽可能增加自己的创作痕迹和想法，比如先用Midjourney 等 AI 工具生成众多风格的效果图，快速验证自己的灵感和产品方向，再以此为参考进行设计。这样既保证了作品的原创比例，同时也是体现设计师作为设计主体的核心价值。
• 此外，如果想彻底杜绝被原作者举证 AI 创作侵权的可能性，可以提前了解创作AI 模型的采集数据源，在使用参考图创作后标注原作来源或提前获得原作者的授权。

最后：知识大纲