Stable Diffusion 上手路径与常用操作

2023-06-2608:02:00办公软件与工具应用Comments848 views字数 1470阅读模式

从零快速入手Stable Diffusion webui,通常有以下几个环节:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/48285.html

  • 安装
    见 Stable Diffusion webui 本地安装教程
  • 选择模型
  • 关键词
  • 扩展/插件安装
  • ControlNet
  • 模型训练

选择模型文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/48285.html

1. 基础模型/大模型:SD 1.5 通用模型

下载地址:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/48285.html

推荐SD 1.5版本,由Runway发布:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/48285.html

老版本:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/48285.html

另有版本,以及各版本的区别,详见本课视频。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/48285.html

用通用模型已经可以上手开始生成图像了,如果对某些特定风格有进一步要求,则可以进一步选择经过定制训练后的模型。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/48285.html

2. 经过定制训练的模型

这类模型训练属于Fine Tune训练。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/48285.html

SD模型训练方式最常见三种,Textual Inversion、Dreambooth、LoRA。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/48285.html

初上手直接在C站上挑选训练好的模型即可。类型标在C站模型预览图的左上角,见下图:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/48285.html

Stable Diffusion 上手路径与常用操作文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/48285.html

a. Textural Inversion

  • 训练后的文件小,几K至几十K。
  • 实际上训练后得到的是一个精炼的关键词组合,embeddings文件。
  • 可以多个TI组合使用。
  • TI训练,webui 内置,文档:
    • https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Textual-Inversion

b. Dreambooth

  • 训练后文件大,几G。
  • 训练后得到的是一个大模型。
  • 只能单个使用。
  • Dreambooth训练1,webui 扩展:
  • 训练选择2,推荐
  • 训练选择3,colab脚本
    • https://github.com/TheLastBen/fast-stable-diffusion

c. LoRA

  • 是一种性能优化的Dreambooth训练方法。
  • 训练后文件大小适中,几M至几百M。
  • 训练后得到的是lora模型文件,可以搭配大模型文件一同使用。
  • 可以多个LoRA组合使用。
  • LoRA训练,同Dreambooth,webui 扩展:
  • 训练选择2

三种模型在SD webui里存放的位置、使用方法,详见本课视频。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/48285.html

关键词文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/48285.html

关键词资源全网很多,课堂预购了以下几套,在情报中心圈子里获取。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/48285.html

  • 20000+AI绘画关键词
  • 建筑类 Architecture Midjourney Prompts
  • 关键词生成器 Prompt Generator - SD Art  Excel版
  • https://promptomania.com/stable-diffusion-prompt-builder/
  • https://promptomania.com/midjourney-prompt-builder/
  • https://stable-diffusion-art.com/prompt-guide/

C站模型样例图关键词及参数一键拷贝方法:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/48285.html

Stable Diffusion 上手路径与常用操作文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/48285.html

Stable Diffusion 上手路径与常用操作文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/48285.html

扩展/插件安装文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/48285.html

一些常见功能,如ControlNet,需要通过插件的方式来安装。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/48285.html

可以直接在webui的Extensions里进行操作。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/48285.html

Stable Diffusion 上手路径与常用操作文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/48285.html

也可以手动安装,通过git clone或直接下载插件包的方式,详见:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/48285.html

插件安装、使用的教程全网资源也很多。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/48285.html

有疑问可在圈子、群内答疑。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/48285.html

No.4文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/48285.html

ControlNet文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/48285.html

掌握了基本图像生成后,可通过ControlNet进行更精确的控制,解决构图、精修等细节问题。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/48285.html

将在后续课程详细讲解。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/48285.html

ControlNet介绍及文档:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/48285.html

  • https://github.com/lllyasviel/ControlNet
  • https://github.com/Mikubill/sd-webui-controlnet

No.5文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/48285.html

模型训练文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/48285.html

模型训练用来解决进一步风格定制、内容细节生成、品牌形象植入等问题,也可以改善AI视频中如角色面部控制、造型定制等问题。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/48285.html

  • 本站内容整理自互联网,仅提供信息存储空间服务,以方便学习之用。如对文章、图片、字体等版权有疑问,请在下方留言,管理员看到后,将第一时间进行处理。
  • 转载请务必保留本文链接:https://www.cainiaoxueyuan.com/office/48285.html

Comment

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

确定