Stable Diffusion 3 Medium 开源模型的特点及用法

2024-07-0609:44:19设计达人Comments5,257 views字数 2151阅读模式

备受期待的 Stable Diffusion 3(以下简称 “SD3”)终于向公众开放了,作为 Stability AI 迄今为止最先进的文本到图像开源模型,SD3 在图像质量、文本内容生成、复杂提示理解和资源效率方面有了显著提升,今天就为大家详细介绍一下 SD3 的特点以及如何在 ComfyUI 中使用它。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/64504.html

一、SD3 简介

此次开放的模型准确来说是 Stable Diffusion 3 Medium,包含 20 亿参数,具有体积小、适合在消费级 PC 和笔记本电脑上运行的优点,所以普通人也可以将其部署到自己的电脑上使用。SD3 Medium 的优点包括:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/64504.html

① 图像质量整体提升,能生成照片般细节逼真、色彩鲜艳、光照自然的图像;能灵活适应多种风格,无需微调,仅通过提示词就能生成动漫、厚涂等风格化图像;具有 16 通道的 VAE,可以更好地表现手部以及面部细节。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/64504.html

Stable Diffusion 3 Medium 开源模型的特点及用法文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/64504.html

② 能够理解复杂的自然语言提示,如空间推理、构图元素、姿势动作、风格描述等。对于「第一瓶是蓝色的,标签是“1.5”,第二瓶是红色的,标签是“SDXL”,第三瓶是绿色的,标签是“SD3”」这样复杂的内容,SD3 依旧能准确生成,而且文本效果比 Midjourney 还要准确。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/64504.html

Stable Diffusion 3 Medium 开源模型的特点及用法文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/64504.html

③ 通过 Diffusion Transformer 架构,SD3 Medium 在英文文本拼写、字距等方面更加正确合理。Stability AI 在发布 SD3 官方公告时,头图就是直接用 SD3 生成的,效果非常惊艳。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/64504.html

Stable Diffusion 3 Medium 开源模型的特点及用法文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/64504.html

另外此次 SD3 Medium 模型的授权范围是开放的非商业许可证,也就是说没有官方许可的情况下,模型不得用于商业用途,这点是需要大家注意的。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/64504.html

二、在 ComfyUI 中使用

SD 3 Medium 模权重已经在 huggingface 上放出了, 我们可以在 ComfyUI 部署工作流来使用它,具体操作如下:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/64504.html

① 将 ComfyUI 更新到最新版本,以支持 SD3 的顺利运作。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/64504.html

② 下载模型权重: https://huggingface.co/stabilityai/stable-diffusion-3-medium (下载时需要先填写一份表格,保证自己不会将模型用于商用用途;可以直接在文末的百度云盘内下载)。官方提供了 4 种大模型文件:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/64504.html

  1. sd3_medium:4.3G,独立主模型,不包含文本编码器(clip 模型);
  2. sd3_medium_incl_clips.safetensors:5.97G,包含 clip_g 和 clip_l 编码器;
  3. sd3_medium_incl_clips_t5xxlfp8.safetensors:10.9G,包含 clip_g、clip_l 和 t5xxl_fp8 编码器;
  4. sd3_medium_incl_clips_t5xxlfp16.safetensors:15.8G,包含 clip_g、clip_l 和 t5xxl_fp16 编码器。

Stable Diffusion 3 Medium 开源模型的特点及用法文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/64504.html

③ 另外还有 4 个 Clip 文件和 3 种工作流。大模型的安装位置为根目录的 comfyui/models/checkpoints 文件夹,Clip 模型的安装位置为 comfyui/models/clip 文件夹。实际应用中不需要每一个模型都下载,后面会为大家介绍目前使用较多的 2 种工作流,可以看完之后再确定下载哪些文件。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/64504.html

Stable Diffusion 3 Medium 开源模型的特点及用法文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/64504.html

SD3 工作流 ①文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/64504.html

这个使用的是官方提供的 basic 基础 工作流,可以在 comfyui_example_workflow 文件加中下载使用 。这个工作流需要用的模型文件有 4 种:sd3_medium、clip_g、clip_l 和 t5xxl_fp8。这是最完整稳健的一种工作流。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/64504.html

Stable Diffusion 3 Medium 开源模型的特点及用法文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/64504.html

SD3 工作流 ②文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/64504.html

这个工作流可以在云盘内下载,它只使用了一个模型文件 sd3_medium_incl_clips_t5xxlfp8.safetensors。这个模型已经融合了 3 种 clip 模型,所以不再需要 clip loader 这个节点,用起来更简单。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/64504.html

Stable Diffusion 3 Medium 开源模型的特点及用法文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/64504.html

使用 SD3 时,还有 2 个小技巧可以帮我们提升出图质量:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/64504.html

① 是在生成写实照片以及人物面部的,可以将 cfg 参数参数调低至 2-3 之间,细节和质量会更好;包含文本时,还是使用 cfg 4.5 或者 5 时效果会更好。大家也可以多探索一些其他 cfg 参数能产生的效果。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/64504.html

② SD3 模型更适合自然语言提示词,而不是标签式的提示词,你可以详细描述你需要的画面内容、构图、色彩、氛围,即使提示词很长,SD3模型也能处理的很好。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/64504.html

Stable Diffusion 3 Medium 开源模型的特点及用法文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/64504.html

三、SD3 存在的不足

虽然 SD3 在图像质量、细节、对提示词的理解、文本内容生成能力上有了明显提升,但是也存在一些不足,比如在生成手部的时候依旧会出现错误,以及在生成 “lying(躺)” 这个姿势时,人物会出现严重的崩坏。有人推测是因为 SD3 对内容安全有严格审查,导致相关内容受到影响。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/64504.html

Stable Diffusion 3 Medium 开源模型的特点及用法文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/64504.html

不过总体上来说 SD3 在图像生成质量以及整体性能上都比之前的 SD1.5、SDXL 提升很多。虽然有 Midjourney V6 以及 sdxl 微调模型珠玉在前,让 SD3 显得没有那么惊艳,但是作为一个免费的模型能达到这样的效果已经非常惊人了。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/64504.html

之前 SD1.5、SDXL 模型的直出图像质量一直也不太行,但是在开源社区的努力下,各种衍生模型的质量一直都非常不错,甚至超过了一些闭源模型。所以我们可以期待一下 SD3 未来的生态发展,等各种微调模型以及 Controlnet、IP-Adapter 这些的配套模型都跟上之后,SD3 肯定还能给我们带来新的惊喜。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/64504.html

Stable Diffusion 3 Medium 开源模型的特点及用法文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/64504.html

  • 本站内容整理自互联网,仅提供信息存储空间服务,以方便学习之用。如对文章、图片、字体等版权有疑问,请在下方留言,管理员看到后,将第一时间进行处理。
  • 转载请务必保留本文链接:https://www.cainiaoxueyuan.com/design/64504.html

Comment

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

确定