前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >AI绘画专栏之 提升40% 4步搞定StableCascadeComfyui工作流 不再报错

AI绘画专栏之 提升40% 4步搞定StableCascadeComfyui工作流 不再报错

原创
作者头像
疯狂的KK
发布2024-02-19 17:03:15
4380
发布2024-02-19 17:03:15
举报
文章被收录于专栏:Java项目实战

上一期我们提到了Stability更新的Cascade模型,这个模型在图像质量上对比SDXL提升了40%的性能,现已官方版本支持了Comfyui的工作流,让我们4步搞定它吧

代码语言:actionscript
复制
StableCascade 链接:https://pan.quark.cn/s/445dafab6de9

模型概述

    稳定级联由三个模型组成:阶段 A、阶段 B 和阶段 C,代表生成图像的级联, 因此得名“Stable Cascade”。A级和B级用于压缩图像,类似于VAE在稳定扩散中的工作。但是,通过这种设置,可以实现更高的图像压缩。虽然 Stable Diffusion 模型使用 空间压缩因子为8,编码分辨率为1024 x 1024至128 x 128的图像,Stable Cascade 实现 压缩系数为 42。这将 1024 x 1024 图像编码为 24 x 24,同时能够准确地解码 图像。这带来了更便宜的训练和推理的巨大好处。此外,C 阶段负责 用于生成给定文本提示的小型 24 x 24 潜伏物。下图直观地显示了这一点

图片
图片
图片
图片

    对于此版本,我们为 C 阶段提供了两个检查点,为 B 阶段提供了两个检查点,为 A 阶段提供了一个检查点 一个 10 亿和 36 亿参数版本,但我们强烈建议使用 36 亿版本,因为大多数工作都是 投入到微调中。B阶段的两个版本分别为7亿个和15亿个参数。两者都实现了 然而,15亿人擅长重建小而精细的细节。因此,您将实现 如果使用每个变体的较大变体,则效果最佳。最后,阶段 A 包含 2000 万个参数,并且是固定的,因为 它的体积小。

图片
图片

这个在工作流中很好的体现了这一点C -B -A的级联方式

视频教学

,时长03:21

第一步更新Comfyui到最新版本

秋叶版本操作如下

图片
图片

本地版本点击本地的update

图片
图片

第二步,下载对应的模型

图片
图片

存放位置如下

代码语言:javascript
复制
模型存放地址ComfyUI\models\unetCLIP存放地址ComfyUI\models\clipstage_a放在ComfyUI\models\vae

第三步下载工作流

图片
图片

第四步填入提示词就可以啦~

代码语言:javascript
复制
transparent cube suspended, volcanic landscape within, molten lava rivers flowing, night sky canvas, twinkling stars speckled above, moon's glow soft, juxtaposition of icy chill against fiery eruptions, glacial formations bordering the inferno, slow dance of ash and vapor,  lunar reflection on icy surfaces,  cube edges catching the celestial light,  dynamic contrast of elements,  primeval earth forces encased,  (best quality, 4k, 8k, highres, masterpiece:1.2), ultra-detailed,   (photorealistic:1.37), frozen and fiery, harmonious duality, (nature photography), volcanic activity vibrant, (environmental art),   (digital painting), atmospheric effects, mystical emanation, elemental balance, serene, sublime geology,

显存占用情况

图片
图片
图片
图片

Sora论文以及官方视频集锦

代码语言:txt
复制
https://yv4kfv1n3j.feishu.cn/docx/KOXHdpf6CoyYmaxwr4DcOVnMnze

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 模型概述
相关产品与服务
大模型图像创作引擎
大模型图像创作引擎是一款提供 AI 图像生成与处理能力的 API 技术服务,可以结合输入的文本或图像智能创作图像内容,具有更精美的绘图品质、更强大的中文理解能力、更多样的风格选择与更广泛的应用场景,为高质量的图像内容创作、内容运营提供技术支持。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档