目录
Stable Cascade 是 Stability AI 于 2024 年 2 月发布的文本生成图像(txt2img)模型。该模型采用创新的三阶段方法,在质量、灵活性、微调和效率方面设立了新标准,同时降低了对硬件的要求。Stability AI 还在其官方 GitHub 上发布了训练和推理代码,方便用户自定义模型及其输出。Stable Cascade 兼容 diffusers 库,可用于推理任务。
本文将介绍如何在 ComfyUI 中使用 Stable Cascade,涵盖 文本生成图像(txt2img)、图像生成图像(img2img)、图像变体(image variants)、控制网络(ControlNet)以及内部绘制(Inpainting) 工作流程。
在 ComfyUI 中使用 Stable Cascade 需要下载以下模型文件:
Stable Cascade 检查点(存放于 ComfyUI/models/checkpoints)
ControlNet 和 Inpainting 模型(存放于 ComfyUI/models/controlnet)
stable_cascade_canny.safetensors(ControlNet 线稿模型)
stable_cascade_inpainting.safetensors(Inpainting 内部绘制模型)
Stable Cascade 采用 三阶段流程:
阶段 C:扩散模型生成低分辨率潜在图像。
阶段 B:扩散模型对潜在图像进行放大。
阶段 A:VAE 将放大的潜在图像转换为可见像素空间。
该流程可用于从文本提示词生成全新图像。
工作流程
下载并加载 HY_stable_cascade__text_to_image.json 工作流。
示例 Prompt
evening sunset scenery blue sky nature, glass bottle with a fizzy ice cold freezing rainbow liquid in it
生成效果:
该流程基于输入图像生成新的变体,同时参考文本提示词。
工作流程
下载 HY_stable_cascade__image_to_image.json 并加载到 ComfyUI。
示例 Prompt
evening sunset scenery blue sky nature, glass bottle with a fizzy ice cold freezing rainbow liquid in it
生成效果:
Stable Cascade 支持使用 CLIP 视觉模型生成输入图像的变体。
工作流程
下载 HY_stable_cascade__image_remixing.json 并加载到 ComfyUI。
示例 Prompt
evening sunset scenery blue sky nature, glass bottle with a fizzy ice cold freezing liquid in it
生成效果:
可同时输入多个图片,并融合生成新的图像。
工作流程
下载 HY_stable_cascade__image_remixing_multiple.json。
示例 Prompt
evening sunset scenery blue sky nature, glass bottle with a fizzy ice cold freezing liquid in it
生成效果:
利用 ControlNet 控制图像生成的构图,如线稿填色、深度图控制等。
工作流程
下载 HY_stable_cascade__canny_controlnet.json,并确保 stable_cascade_canny.safetensors 文件已存放在 ComfyUI/models/controlnet 文件夹中。
示例 Prompt
evening sunset scenery blue sky nature, glass bottle with a fizzy ice cold freezing rainbow liquid in it
生成效果:
用于修复或修改图像中的特定区域。
工作流程
下载 HY_stable_cascade__inpaint_controlnet.json,并确保 stable_cascade_inpainting.safetensors 已存放在 ComfyUI/models/controlnet。
输入的示例图片可以从这里下载:yosemite_inpaint_example.png 。
右键单击 LoadImage 节点的图像
使用遮罩工具选择要修改的区域
输入新的 Prompt 进行填充
示例 Prompt
evening sunset scenery blue sky nature, glass bottle with a fizzy ice cold freezing rainbow liquid in it
生成效果:
Stable Cascade 作为 Stability AI 推出的新一代文本生成图像模型,具有高效、灵活、可微调的特点。通过 ComfyUI,用户可以实现 文生图、图生图、图像变体、ControlNet 约束生成以及 Inpainting 细节修复,大幅提升 AI 绘画的创作自由度。
如果你想体验更强大的图像生成功能,建议下载 ComfyUI 并尝试 Stable Cascade 工作流!