ControlNet 让 Stable Diffusion 如虎添翼

Stable Diffusion 的痛点

Stable Diffusion 是一个AI绘画模型，可以生成各种深度图或姿势图，但使用起来比较麻烦，需要对参数进行大量的调整和修改，才能获得比较理想的效果。

原始的Stable Diffusion可能会难以处理姿势，这需要花费大量的时间去调整和避免使用冲突的提示词。另外，原始的Stable Diffusion在处理姿态上的能力有限，可能需要在查图网站上搜索范例图进行验证。此外，不同模型的素材图偏好不同，有些姿势在模型A上能用并不代表在模型B上也能用。

其次，由于缺乏ControlNet的精细控制，Stable Diffusion的生成过程可能会变得不稳定，甚至出现一些不可预测的结果。最后，由于无法调整模型参数，可能无法根据特定需求进行优化，比如人物的手指、手的摆放位置会不理想，生成的内容比较单调。这些问题都限制了Stable Diffusion的实际应用和发挥。

Stable Diffusion 绘制手部时表现非常不稳定，很多时候为了整体效果，不得不把人物的手放在口袋里。这就无形中有了很多限制，同时也让人物的形体特征显得特别的单调，很多整体非常好看的作品由于手部特征非常糟糕而不得不被丢弃。

ControlNet

但是，ControlNet的出现使得这个过程变得更加简单。

ControlNet可以根据不同的条件，如边缘检测、草图处理或人体姿势等来控制图像生成。使用ControlNet之后，用户可以通过调整大小模式、预处理器和模型来控制图像输出，让图像的生成过程更加精准，同时也使Stable Diffusion等AI绘画的可控程度大大提高，为AI绘画的工业化提供了明确的方向。

ControlNet包含了很多模型，如OpenPose、Canny、Depth、Hed、MLSD、Normal、Scribble和Seg。这些模型各自都有不同的功能和使用场景，能适应不同的实际需求。例如：

1. OpenPose能识别人体姿态，对于虚拟现实和增强现实等领域非常有用。

使用 ControlNet 让人物摆出特定的姿势，甚至可以基于人物的手型控制生成作品的手型，这样就无形中解决了手的问题。

2. Canny可以进行图像的边缘检测，可以通过提取边缘信息提高图像的清晰度和完整度。

通过边缘检测，生成轮廓和其他图片高度相似的内容

3. Depth可以生成深度图，对3D图像处理非常重要。

4. Hed能进行人脸检测，通过识别面部特征，能实现身份识别和验证等功能。

可以基于现实中真实的图片，基于其特征生成整体形态非常相似的图片。

5. MLSD可以绘制和提取建筑物，能生成精确的建筑线稿，为建筑设计提供了一种全新的解决方案。

6. Normal能生成法线贴图，用于光线跟踪等计算机图形学领域的计算。

7. Scribble能生成图像的草稿，对于复杂图像的绘制很有帮助。

8. Seg能进行图像分割，通过识别和分析图像，能实现图像分割和特征提取等功能。

总结

总的来说，ControlNet是一种利用人工智能AI绘画技术生成图片的工具，可以通过固定构图、定义知识、描绘轮廓等方法生成精致丰满的图片，而Stable Diffusion则是一个基于深度学习技术的AI绘画模型，两者的结合为用户提供了更加便捷、高效的图像生成方式。