前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >AI绘画专栏之 终于来了!4步 webui使用Stableforge实现SVD文生视频

AI绘画专栏之 终于来了!4步 webui使用Stableforge实现SVD文生视频

原创
作者头像
疯狂的KK
发布2024-02-20 09:38:50
2.2K0
发布2024-02-20 09:38:50
举报
文章被收录于专栏:Java项目实战

以前我们分享的SVD不管是文生视频还是长视频还是图生视频,都是在Comfyui中实现的,但是大多数的用户还是在webui中使用的,那么forge它来了,A111点赞的实现SVD的整合方式。

与原始 WebUI(用于 1024px 的 SDXL 推理)相比,您可以期待以下加速:

  1. 如果您使用 8GB vram 等普通 GPU,您可以期望在推理速度 (it/s) 方面获得大约 30~45% 的速度,GPU 内存峰值(在任务管理器中)将下降约 700MB 至 1.3GB,最大扩散分辨率(不会 OOM)将增加约 2 倍到 3 倍,最大扩散批大小(不会 OOM)将增加约 4 倍到 6 倍。
  2. 如果您使用功能较弱的 GPU,例如 6GB vram,您可以期望在推理速度 (it/s) 方面获得大约 60~75% 的速度,GPU 内存峰值(在任务管理器中)将下降约 800MB 至 1.5GB,最大扩散分辨率(不会 OOM)将增加约 3 倍,最大扩散批大小(不会 OOM)将增加约 4 倍。
  3. 如果您使用具有 24GB vram 的 4090 等强大的 GPU,您可以期望推理速度(it/s)提高约 3~6%,GPU 内存峰值(在任务管理器中)将下降约 1GB 至 1.4GB,最大扩散分辨率(不会 OOM)将增加约 1.6 倍,最大扩散批大小(不会 OOM)将增加约 2 倍。
  4. 如果使用 ControlNet for SDXL,最大 ControlNet 计数(不会 OOM)将增加约 2 倍,使用 SDXL+ControlNet 的速度将加快约 30~45%。

Forge 带来的另一个非常重要的变化是 Unet Patcher。使用 Unet Patcher,Self-Attention Guidance、Kohya High Res Fix、FreeU、StyleAlign、Hypertile 等方法都可以在大约 100 行代码中实现。

多亏了 Unet Patcher,Forge 现在支持许多新事物,包括 SVD、Z123、屏蔽 IP 适配器、屏蔽控制网、photomaker 等。

无需再对 UNet 进行 monkeypatch 并与其他扩展发生冲突!

Forge 还增加了一些采样器,包括但不限于 DDPM、DDPM Karras、DPM++ 2M Turbo、DPM++ 2M SDE Turbo、LCM Karras、Euler A Turbo 等(LCM 从 1.7.0 开始就已经在原始 webui 中)。

最后,Forge 承诺我们只会做好我们的工作。Forge 绝不会在用户界面上添加不必要的自以为是的更改。您仍在使用 100% Automatic1111 WebUI。

更少的显存

更快的速度

更大的图像分辨率

支持SVD

提升40% 4步搞定StableCascadeComfyui工作流 不再报错

官方主页仓库

图片
图片
代码语言:javascript
复制
ForgeUI的github主页地址:https://github.com/lllyasviel/stable-diffusion-webui-forge

第一步下载安装包

代码语言:javascript
复制
链接:https://pan.quark.cn/s/596da496eb71

第二步更新

图片
图片

第三步共享文件夹

图片
图片

第四步运行webui  run.bat

图片
图片

与我们webui非常的一致

图片
图片
图片
图片
图片
图片

,时长00:03

图片
图片
图片
图片
图片
图片

,时长00:03

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
大模型图像创作引擎
大模型图像创作引擎是一款提供 AI 图像生成与处理能力的 API 技术服务,可以结合输入的文本或图像智能创作图像内容,具有更精美的绘图品质、更强大的中文理解能力、更多样的风格选择与更广泛的应用场景,为高质量的图像内容创作、内容运营提供技术支持。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档