Stable Diffusion学习教程：ControlNet插件之入门篇

2023-06-2612:36:02办公软件与工具应用Comments1,763 views字数 4132阅读模式

ControlNet介绍文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/48375.html

ControlNet 直译就是控制网，是一个神经网络结构。它通过添加额外的条件来控制扩散模型，为 Stable Diffusion 带来了前所未有的控制水平，它很好的解决了文生图大模型的关键问题：单纯的关键词的控制方式无法满足对细节控制的需要。
ControlNet 的主要优势在于其简单易用的特性，能够有效地帮助人们完成复杂的图像处理任务。它把每一种不同类别的输入分别训练了模型，目前公开的有下面14种控制方式，分别是1.0版本时就有的：Canny、Depth、MLSD、Normal、OpenPose、Scribble，SoftEdge、Seg。和1.1版本新增的：Lineart、Shuffle、Tile、inpaint、iP2P、Reference。目前，ControlNet 能够做到骨骼绑定、精准控线、语义分割、依据 3D 视图的法线进行绘图、线稿上色、依据深度图结构透视精准重绘等。

Stable Diffusion学习教程：ControlNet插件之入门篇文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/48375.html

===========================文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/48375.html

ControlNet1.1插件的安装要点
ControlNet的安装，同其他插件的安装方法一样，不同的是，他还需要下载不少量的模型文件到该插件目录下的“models”目录中。目前一共需要下载14个模型（.pth后缀名）和每个模型对应的配置文件（.yaml后缀名），共计28个文件。
安装文件地址和模型文件地址都在篇末提供了。

Stable Diffusion学习教程：ControlNet插件之入门篇文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/48375.html

===========================文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/48375.html

ControlNet的使用界面文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/48375.html

Stable Diffusion学习教程：ControlNet插件之入门篇文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/48375.html

PS：ControlNet控制器数量设置步骤

Stable Diffusion学习教程：ControlNet插件之入门篇文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/48375.html

===========================文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/48375.html

ControlNet的预处理器和模型的关系文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/48375.html

1.1版本的模型进行了更多训练和调整后的新模型，出来的效果会比1.0版本的更好更稳定许多，同时还细分了一些模型出来分别应用，因此控制类别和模型都会比1.0版本多。
1.1版的预处理器有很多，使用上，一般情况是调用一种预处理器，对应地也需要搭配一种模型来使用，除了Reference这类预处理器没有对应的模型外。

Stable Diffusion学习教程：ControlNet插件之入门篇文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/48375.html

还有一种情况是不需要预处理器，直接调用模型来执行，这种情况在使用OpenPoss的控制方式时候可能会遇到，就是你直接将处理好的人偶姿势的图像置入图像框时，这时候是只需要调用OpenPoss的模型即可。

Stable Diffusion学习教程：ControlNet插件之入门篇文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/48375.html

===========================文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/48375.html

ControlNet1.1版中原有模型简介文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/48375.html

msld：
更适合找一些带直角的建筑类的线条。在原先的基础上做了些改进，识别更准确细致。

Stable Diffusion学习教程：ControlNet插件之入门篇文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/48375.html

normal_bae：法线贴图提取文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/48375.html

新版的法线贴图提取，效果比旧版的好许多。一般推荐用这个normal_bae。

Stable Diffusion学习教程：ControlNet插件之入门篇文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/48375.html

depth_zoe：景深提取
一般推荐用depth_zoe。用到手动景深depth_leres++时，会多出两个手动取景深的调节栏，用于排除不同程度景深的画面元素。

Stable Diffusion学习教程：ControlNet插件之入门篇文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/48375.html

Stable Diffusion学习教程：ControlNet插件之入门篇文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/48375.html

seg_ofcoco：语义分割
用了coco这个更专业的协议的语义分割，能标注出的色块间线条以及识别率更准确。色块控制画面呈现，使得我们对画面的掌控感瞬间提升。
Segment Anything技术，他的强大不仅作为Stable Diffusion的一款插件辅助绘画，更有其更广阔的运用场景。

Stable Diffusion学习教程：ControlNet插件之入门篇文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/48375.html

openposs_full：姿势
1.1版本，细分了很多种姿势部位的组合。目前的脸部和手部的预处理器组合还是有些问题，但细分后的预处理器，已经比之前1.0版本单一的处理器优化许多。

Stable Diffusion学习教程：ControlNet插件之入门篇文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/48375.html

Canny：样条检测
边缘检测，新版本还是有做了许多付出和改进。

Stable Diffusion学习教程：ControlNet插件之入门篇文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/48375.html

softdeg_pidinet：软描边检测
软描边检测，新版本推出了4种预处理器，大致效果差不多，官方推荐的是softdeg_pidinet，对图片的细节和边缘把握得更强，另一个角度理解就是出图时可发挥的空间就小了。
带safe结尾的2种预处理器则处理出的线条更明亮也更明确，那结果就是更稳定，具体的区别可以自己尝试和体会试试。

Stable Diffusion学习教程：ControlNet插件之入门篇文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/48375.html

scribble：涂鸦

Stable Diffusion学习教程：ControlNet插件之入门篇文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/48375.html

 文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/48375.html

===========================文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/48375.html

 文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/48375.html

ControlNet1.1版中新开发模型简介
lineart：线稿检测
置入ControlNet图像框中作为参考图的，可以是一张图像或线稿图，提取出线稿后，再根据提示词和基础模型生成以提取出的线稿为框架的新的图像。

Stable Diffusion学习教程：ControlNet插件之入门篇文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/48375.html

不同类型的参考图，采用不同的线稿提取方式的采样器。
动漫线稿提取-去噪，则是用来处理动漫线稿有些糙的（偏素描类）图像；
粗略线稿提取，则是用来处理素描类的图像线稿提取；
纯动漫图像（因为生成图时clip是设定为2）的线稿提取，与写实图像（生成图时clip是设定为1）线稿的提取，在线稿提取时是需要区别开的。
标准线稿提取，则可以在提取场景的图像时试试；对于场景的线稿提取，也可以试试粗略线稿提取，会有不同的效果。

Stable Diffusion学习教程：ControlNet插件之入门篇文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/48375.html

shuffle:重组/打乱的处理方式
这个模型，目前只有一种处理器，就是shuffle预处理器。
工作原理是，将预处理的图像的配色都打散了后，生成的预处理图像则可以理解为是原图配色的一个调色盘，再将此配色盘的颜色作用到新生成的图像上。
可以用来对构图类似，但风格不同的图像的作风格迁移的尝试。

Stable Diffusion学习教程：ControlNet插件之入门篇文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/48375.html

Pix to Pix:
这是一个没有预处理器的模型，使用时预处理器选none，直接在控制类型栏选IP2P。
帮我们将先有的画面，改成我们想要其呈现出新画面的方向，通过提示词中给到画面变化的描述，最后生成的画面达成这个描述效果。
注意这个提示词的写法，再正向提示词中，需要带make（就是想让生成的画面变成怎样的描述）。

Stable Diffusion学习教程：ControlNet插件之入门篇文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/48375.html

目前这个模型还处于可控性不够强的程度，文件名中“control_v11e_sd15_ip2p”，也可以看出，还是属于e版本非p类版本。
inpaint_global_harmonious
inpaint模型和tile模型是1.1版本，我个人感觉最常用的模型。inpaint模型的使用，需要搭配相应的带inpaint功能的基础模型，这类模型的拼接，在我们之前的“界面标签页的介绍（Stable Diffusion研习系列04）”中有讲到过，模型的合并就可以自己做自己常用模型的inpaint模型。
有了inpaint模型后，再通过Controlnet的这个inpaint模型，可以很好地用图生图功能对画面进行更精准地重绘和控制。

Stable Diffusion学习教程：ControlNet插件之入门篇文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/48375.html

具体如何用inpaint和tile来完成一个比较完美的工作流，我们将专门起一期来讲解。
tile_resample
tile模型是重绘方式的升级版，跟inpaint区别的是他会在保持原有构图线条不被太大改变的情况下进行的重绘，并增加生成图像的细节；而inpaint则是会改变原有构图线条的情况下做重绘。
而且tile还强大在，可以对分辨率很低的图像，进行增加细节的重绘，配合放大功能后，可以将图像做最大还原度的高清放大处理。
放大处理时，就需要讲到一个参数“Down Sampling Rate”，
降噪采样值越大，预处理后的图像分辨率越低，则代表了重绘生成的图像有更多的变化空间。

Stable Diffusion学习教程：ControlNet插件之入门篇文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/48375.html

Stable Diffusion学习教程：ControlNet插件之入门篇文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/48375.html

reference_only：文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/48375.html

Stable Diffusion学习教程：ControlNet插件之入门篇文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/48375.html

这个预处理器功能，可以让我们生成的图会更接近于我们提交的参考图。包括人物的样貌和姿势。
之后又出了2个reference_adain和reference_adain+attn，
在Reference_only不理想的情况下可以尝试，是一种新的融合方式，特别是reference_adain+attn，个人感觉效果会比没有attn的更好些。
想更多了解，可以看看我们之前发过的一条内容：
【ReferenceOnly的用法简介（翻译版）】
https://www.bilibili.com/video/BV1ga4y1u7ig/?share_source=copy_web&vd_source=96188266665c90578cc52f2450fb0552
虽然Reference_only不能替代lora的效果，但可以作为不错的一种相似度很高的出图方法，但从基本工作原理来说，达不到使用lora输出的那么稳定。

Stable Diffusion学习教程：ControlNet插件之入门篇文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/48375.html

 文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/48375.html

===========================文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/48375.html

参考学习视频资源：
【ControlNet1.1之后大幅升级，性能提升惊人，改善优化全解析，让AI绘画更上一层楼！】
https://www.bilibili.com/video/BV1Ya4y1u7MB/?share_source=copy_web&vd_source=96188266665c90578cc52f2450fb0552
【Ai新时代ControlNet，6大全新功能震撼上线|全面解析一网打尽，助你突破瓶颈，轻松地创作！】
https://www.bilibili.com/video/BV1Ws4y1z76v/?share_source=copy_web&vd_source=96188266665c90578cc52f2450fb0552
【AI绘画】 ControlNet1.1版本新功能 超高质量重采样 像素完美模式 解决分辨率适配问题 改善出图质量 你一定要学会！Stablediffusion】
https://www.bilibili.com/video/BV16h4y1n7Mt/?share_source=copy_web&vd_source=96188266665c90578cc52f2450fb0552
相关学习资源：
ControlNet1.1插件下载：
https://github.com/Mikubill/sd-webui-controlnet
ControlNet1.1官方介绍文档：
https://github.com/lllyasviel/ControlNet-v1-1-nightly/blob/main/README.md
ControlNet1.1模型下载：
https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main
常用到的基础模型和插件（持续更新中）以及本期的插图文件也做了一份在云盘
链接：
https://pan.baidu.com/s/1c9utQmWlGcRqLTr_kftTyA?pwd=1111 
文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/48375.html
  • 本站内容整理自互联网，仅提供信息存储空间服务，以方便学习之用。如对文章、图片、字体等版权有疑问，请在下方留言，管理员看到后，将第一时间进行处理。
  • 转载请务必保留本文链接：https://www.cainiaoxueyuan.com/office/48375.html

Comment

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

确定