混元DIT环境指南

一. 环境说明

环境中已预装混元DIT 1.2。python环境采用conda安装，进入方式：conda activate comfyui

请仔细阅读HunyuanDiT.ipynb中的流程，其中代码和大部分权重文件都已经下载好，无需再次下载

二. 使用说明

1. jupyter-lab

启动命令：HF_ENDPOINT=https://hf-mirror.com jupyter lab --port 443 --allow-root

访问方式：http://ip:端口?token=hai_hunyuan

默认token & 密码为：hai_hunyuan

2. ComfyUI

ComfyUI文件夹是comfyui的程序文件夹，可以用于灵活的配置模型的推理（具体可以网上学习下ComfyUI怎么搭建模型工作流）

启动命令：cd ComfyUI && python main.py --port 6889 --listen 0.0.0.0

访问方式：http://ip:端口

如果你训练好了lora想在ComfyUI做测试，可以直接把文件移动到ComfyUI/models/lora文件夹里，刷新或者重启ComfyUI后即可选择加载模型

3. kohya训练UI

启动命令：

conda activate hydit-kohya

python kohya_gui.py --listen 0.0.0.0 --port xxx

访问方式：http://ip:7860

三. 训练指南

1. 数据集一键打标

运行以下代码，即可为每张图片得到一个同名的txt文件，里面存放着对应图片的描述 "/root/demo_images_wukong" 可以替换为你自己上传解压后的数据集路径 如何解压自己上传的压缩包？命令：! unzip xxx.zip -d ./xxx

# 演示用
! unzip /root/xxx.zip -d ./root/xxx

# 一键打标数据集
%cd HunyuanDiT
! python mllm/caption_imgs_with_txt.py \
    --model_path "./ckpts/captioner" \
    --mode "caption_zh" \
    --image_folder "/root/demo_images_wukong"
%cd /root

2. 使用kohya_ss gui训练

勾选下面的选项以节省显存，防止显存不够用。(位置：Parameters -> Advanced -> Gradient Checkpointing）

image.png

点击下面按钮，开始训练。

image.png

3. 到ComfyUI测试模型效果

训练好lora后，可以在模型输出路径里（这里图上填写的是/root/kohya_ss/outputs)找到对应的模型权重文件（.safetensors格式结尾看最近时间的文件），复制到ComfyUI/models/loras/目录下使用ComfyUI做lora测试

! cp /root/kohya_ss/outputs/last-step00001600.safetensors /root/ComfyUI/models/loras/ && echo "复制完成"