Stable Diffusion高级教程:ControlNet基础知识(预处理器——风格特征提取)

2023-04-2914:47:24设计达人Comments5,126 views字数 1382阅读模式

预处理器——风格特征提取(clip_version)

在预处理器中有一种点击不会生成预处理画面的预处理器,更新后名称为t2ia_style_clipvision,直译为风格剪辑。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/37842.html

就是提取图画风格,来重新生成图片,咱们来试试效果:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/37842.html

Stable Diffusion高级教程:ControlNet基础知识(预处理器——风格特征提取)文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/37842.html

原图用昨天灯光效果酷炫的这张,看看能不能生成同类风格的图片,这次把提示词换成city……文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/37842.html

Stable Diffusion高级教程:ControlNet基础知识(预处理器——风格特征提取)文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/37842.html

大型翻车现场……文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/37842.html

这个风格提取大概就是这个意思哈,我这里没搞成功,有玩的6的可以私信我,交流交流。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/37842.html

Stable Diffusion高级教程:ControlNet基础知识(预处理器——风格特征提取)文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/37842.html

预处理器就讲这些哈,其实用的多的主要是canny、MLSD、openpose、语义分割这四种,其他的预处理器就用的少了。个别有需要的可以在小破站搜搜哈。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/37842.html

接下来介绍下其他参数:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/37842.html

其他参数

1、权重

在多大程度上影响生成图片的结果文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/37842.html

Stable Diffusion高级教程:ControlNet基础知识(预处理器——风格特征提取)文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/37842.html

这是在不同权重下的图片效果,从上图就能看出权重在0.6~1.2之间可以很好的还原人物细节,低于0.6会丢失部分细节。高于1.2就开始胡搞了。一般就设置到0.6~1之间。特殊情况特殊处理哈。不要较真。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/37842.html

2、引导介入时机和引导退出时机

引导介入时机相当于在SD绘图过程中,Controlnet从start时机开始介入画面,end时机退出介入。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/37842.html

这里可以用这两个时机来操控绘图时,因为人物特征在最开始就已经生成了,所以当介入时机延后时,人物胳膊已经确定方向,这是Controlnet再来操控,也无济于事。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/37842.html

Stable Diffusion高级教程:ControlNet基础知识(预处理器——风格特征提取)文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/37842.html

所以想让手抬起来,介入时机必须从0开始,退出时机可以适当降低,因为前20%步数是确定人物动作的。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/37842.html

3、Annotator Resolution

这个参数是分辨率的意思,主要是控制预处理器处理原图的精细程度。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/37842.html

这里用canny预处理器看着明显,假如拉低的话,特征图会很模糊,最后生成的图片也不会很好:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/37842.html

Stable Diffusion高级教程:ControlNet基础知识(预处理器——风格特征提取)文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/37842.html

Stable Diffusion高级教程:ControlNet基础知识(预处理器——风格特征提取)文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/37842.html

从这两张图就能看出来区别,分辨率调高时,人物的头发细节都提取的很精细。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/37842.html

Stable Diffusion高级教程:ControlNet基础知识(预处理器——风格特征提取)文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/37842.html

这个张图比较明显,SD根据超细的发丝重新设计了一款头饰。哈哈。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/37842.html

很多预处理都带这个分辨率参数,一般设置在512~1024之间是足够用的,太高太低都不太好。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/37842.html

4、阈值 (Hough value threshold (MLSD))

提取图片线条敏感度的一个参数,如果想细节更多,就把阈值拉低,越低越仔细。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/37842.html

有时候需要线条稀疏一些,有时候需要线条致密一些,也都可以用这个参数调整:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/37842.html

Stable Diffusion高级教程:ControlNet基础知识(预处理器——风格特征提取)文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/37842.html

具体调多少和你的需求有关。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/37842.html

5、画面缩放

参考图和需求图尺寸不同时,就可以使用这几个缩放模式:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/37842.html

Stable Diffusion高级教程:ControlNet基础知识(预处理器——风格特征提取)文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/37842.html

①直接调整大小,拉伸图像文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/37842.html

Stable Diffusion高级教程:ControlNet基础知识(预处理器——风格特征提取)文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/37842.html

本来提取的姿势是这样的,结果新图片尺寸是512*512,SD就只能压缩人物,拓展空间,来互相弥补,最后的图片就失去了原有的兴趣。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/37842.html

②Inner Fit (Scale to Fit)对图片进行裁剪。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/37842.html

这个就是会按目标尺寸进行图片裁剪。从中心点向外扩散。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/37842.html

③Outer Fit (Shrink to Fit)(扩展模式)。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/37842.html

这个是在原图基础上对新增画面进行扩展重绘,达到你所需要的效果。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/37842.html

6、画布宽度、画布高度

这个在上传图片时是没用用处的。只有在空白画布上手绘图案才启用。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/37842.html

7、反色模式

在你上传黑白色手绘图片而不进行预处理时使用,避免SD会将手绘黑线作为素材生成图案。结局太惊悚,我就不放图了。使用白色背景图片时需启用“反色模式”文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/37842.html

8、低显存优化

如果你的显卡是4G或6G显存,你可能会发现一用Controlnet就爆显存,不出图,那就需要勾选这个按钮,它可以帮助你更慢的生成图片,但起码能用。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/37842.html

9、无提示词模式

暂时没有太大作用。后期摸索着再用吧。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/37842.html

  • 本站内容整理自互联网,仅提供信息存储空间服务,以方便学习之用。如对文章、图片、字体等版权有疑问,请在下方留言,管理员看到后,将第一时间进行处理。
  • 转载请务必保留本文链接:https://www.cainiaoxueyuan.com/design/37842.html

Comment

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

确定