【零绘画基础程序员必学】AI绘画入门笔记03—初识ComfyUI+FlUX

【零绘画基础程序员必学】AI绘画入门笔记03—初识ComfyUI+FlUX

前面介绍的SD的操作界面其实叫做 WebUI，这是SD的入门操作界面，它非常适合初学者快速上手。它的界面简洁，功能展示清晰，很适合用户理解SD的生图方式。

但在生产环境使用时总会感到捉襟见肘，难以获得细致的控制。而 ComfyUI 是SD的节点式操作界面，更适用于实际的生产环境。它的工作流效率极高，对电脑配置要求也更为友好。相较于WebUI，ComfyUI 是一种工作流模式，更为先进和自由。

ComfyUI 相比 WebUI 上手难一些，并且随着GPT 4o的生图能力进化，未来AIGC必然会向更简单易上手的方向发展，但目前学习使用 ComfyUI 还是必要的，它可以更精准、批量地实现一些效果。

1. ComfyUI安装

ComfyUI 的安装，推荐使用 windows + N卡，推荐使用一键整合包，地址如下：https://github.com/comfyanonymous/ComfyUI，下载后直接运行 run_nvidia_gpu.bat 文件即可自动安装。

浏览器启动 ComfyUI 后界面如下，可以看到，默认的工作流生图原理和 WebUI 是类似的，也包含了正负提示词、采样器、潜空间、VAE解码等，ComfyUI 将这套流程更直观地展现给了用户，用户可以根据需要自由调节节点操作。

2. WebUI模型互通

对于原先在 WebUI 下安装使用的模型，也可以直接链接到 ComfyUI 中使用，避免复制浪费大量磁盘空间。

首先需要将项目根目录下的 extra_model_paths.yaml.example 配置案例文件修改名为 extra_model_paths.yaml，接着将文件内的

base_path: path/to/stable-diffusion-webui/ 路径配置替换为 WebUI 的实际安装地址，形如 C:\Users\csxiaoyao\workspace\stable-diffusion-webui。

3. 通过工作流模板学习和使用ComfyUI

ComfyUI 学习的最佳方式是学习优秀的工作流模板，有了WebUI的基础，这些流程图大体能看明白，即使不明白也可以直接"拿来使用"，或是在前人的工作流基础上进行微调，事半功倍。

ComfyUI 种默认提供了一些模板就是很好的学习素材。

推荐两个工作流模板的下载地址：

https://github.com/comfyanonymous/ComfyUI_examples

https://openart.ai/workflows

直接下载下来的工作流如果不是json格式，而是一张图片，可以直接将图片拖入操作界面中，因为图片信息中包含了整张流程图信息

4. 安装自定义节点

在 ComfyUI 中，会有很多不同的节点类型，许多自定义节点需要安装后才能使用。直接使用下载的工作流，很多时候会看到很多节点显示为红框，表明本地未安装此类节点。

安装方式也很简单，直接将对应的节点git仓库 git clone 到 custom_nodes 目录下。

此处推荐一个更简单的一键安装缺失节点的方式，只需要安装一个 ComfyUI-Manager 节点到 custom_nodes 目录下：

$ git clone https://github.com/ltdrdata/ComfyUI-Manager.git

重启 ComfyUI，右上角出现 Manager 按钮，点击后打开的节点管理器面板如下：

点击 Install Missing Custom Nodes 即可自动安装缺失的节点。

5. 常用节点推荐

使用下面的3个节点，实现全自动化提示词运作，让提示词书写不再困难：

• 提示词推荐：ComfyUI-Custom-Scripts，使用后在输入正反向提示词时会出现提示信息；
• 提示词反推：ComfyUI-WD14-Tagger，使用时将此节点连在图片和正面提示词之间，即 图片节点=>此节点=>正面提示词节点，还需要在节点 "CLIP文本编码" 上右键 "将控件转换为输入"，即可实现提示词的自动反推；
• 自动负面提示词：OneButtonPrompt，使用时将此节点连在负面提示词前，即 此节点=>负面提示词节点，再将此节点的增强负面参数设置为1，即可自动设置通用的负面提示词；

提效节点 efficiency-nodes-comfyui，整合了多个节点功能，能够减少节点数量，如下：

6. PS + ComfyUI

和前面提到的 SD-WebUI 一样，ComfyUI也有同样好用的PS插件，需要安装对应的PS插件和ComfyUI工作流。github地址：https://github.com/NimaNzrii/comfyui-photoshop

7. 应用: 高清修复(Hi-ResFix)

前面 WebUI 中介绍了多种高清修复的方式，作为最常见的应用场景，ComfyUI 自然能够高效处理。推荐使用模板里的几种放大工作流，需要安装自定义节点 ComfyUI_UltimateSDUpscale 实现在低配设备上执行图放大(实现方式为裁切为512分块放大，减轻显存压力)。

8. 应用: 局部重绘(Inpainting)

局部重绘也是AIGC的常见应用场景，可以查看 inpaint 相关模板，默认工作流模板如下：

但实际使用过程中，总会感到重绘幅度太大，这是因为默认是在执行 空白潜空间文生图，可以通过以下编辑蒙版的方式，实现 抠图到潜空间图生图 (噪声蒙版)，增强与原图的关联性。

9. 应用: LoRA(低秩适应模型)的使用

Embeddings在ComfyUI的使用方式和WebUI一致，在提示词中使用 embedding:xxx 作为提示词即可，而 LoRa不行，因为 embedding 本质上是提示词向量的合集，而 LoRA 则是一组经过了再训练的、从大模型上提炼出来的附加权重。

LoRA 需要使用到 Load LoRA 节点，将其和 checkpoint 大模型节点连接在一起，也支持多个 LoRA 节点，分别通过 MODEL 和 CLIP 串联在一起，作为一个新的模型：

LoRA的权重通过 strength_model 和 strength_clip 两个参数(0~1)来调节(WebUI中只有一个权重参数)，分别对应了 LoRA 在训练时的噪声预测器(UNet)学习率和文本编码器(CLIP Text Encoder)学习率，strength_model 的强度决定了 LoRA 的风格是否能被植入到主模型中，而 strength_clip 能够控制模型对一些提示词的响应结果，一般可以设置为相同的数值。

10. 应用: ControlNet(控制网)的使用

在 ComfyUI 中也可以轻松使用 ControlNet，参考 ControlNet 相关模板，例如实现姿势动作的迁移：

需要注意的是，左下角 ControlNet 关联的图像(黑底)是经过预处理后的结果，因此需要借助预处理器，如 controlnet_aux：

11. 应用: 打造自动抠图+黏土风形象工作流

AIGC中抠图是必备技能，例如换背景、换人物都需要抠图制作蒙版。虽然可以在PS中处理蒙版再上传到工作流中，但过于繁琐，ComfyUI中可以通过节点实现自动抠图。

首先需要安装节点包 segment anything。基本使用形式如下图所示，使用 SAM + Grounding DINO 节点加载模型，Grounding DINO 可以根据描述检测图片生成大致区域范围，而 SAM(Segment Anything Model) 实现区域内更精细的分割，最终生成蒙版。阈值参数可以调节宽容度。

有了抠图能力后，就可以开发一套工作流批量地处理当下很火的黏土风形象制作了。

12. FLUX模型

FLUX 是什么？FLUX是由前 Stability AI 核心员工团队创立的黑森林实验室于2024年8月1日发布的一款开源图像生成模型，其效果可与 Midjourney V6 和 SD3 相媲美。

FLUX 是当下最好的开源图像生成基座模型，相比传统模型，Flux能一站式满足多种风格需求，节省了创作者的切换成本和时间，并且细节丰富，无需负面提示词，对复杂提示词的理解能力也更强。

目前 FLUX 有三个版本：

• Pro版：闭源模型，性能最强，仅支持API调用
• Dev版：开源模型，性能较强，显存占用偏大
• Schnell版：开源模型，画面细节处理略有降低，但生成速度提升

Flux模型可以在本地模板，结合 ComfyUI 来使用。在完整部署时需要三类专用模型：FLUX基础模型、CLIP文本编码器模型、VAE编解码器模型，可选ControlNet等模型。

在低配设备上也可以使用 Comfy Org 量化模型 fp16=>fp8 提升出图效率

# FLUX基础模型
flux1-dev-fp8.safetensors (17.2GB) https://huggingface.co/Comfy-Org/flux1-dev/tree/main
flux1-schnell-fp8.safetensors (17.2GB) https://huggingface.co/Comfy-Org/flux1-schnell/tree/main

# CLIP文本编码器模型
t5xxl_fp8_e4m3fn.safetensors (4.89GB) https://huggingface.co/comfyanonymous/flux_text_encoders/tree/main

在 ComfyUI 中同样提供了 Flux 相关模板，方便快速上手。