Stable Diffusion AI绘画控制人物脸部和手的方法

2023-07-1510:43:55办公软件与工具应用Comments2,764 views字数 872阅读模式
 目前Stable Diffusion在人体姿态控制方面已经取得了比较稳定的效果,但是在人脸和手部姿势的控制上还没有很好的解决,经常会出现崩手和崩脸的情况。
01—文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/51584.html

After Detailer解决崩脸的问题文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/51584.html

After Detailer是sd的一个扩展,类似于Detection  Detailer,不同的是它用ultralytics代替了mmdet。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/51584.html

首先我们启动SD,然后再扩展界面,选择从网址https://github.com/Bing-su/adetailer.git安装此扩展,然后重启UI文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/51584.html

然后我们用国风3生成图片如图文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/51584.html

Stable Diffusion AI绘画控制人物脸部和手的方法文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/51584.html

面部图像不是很完美,有一点崩脸的情况,然后我们再开启ADetailer,文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/51584.html

Stable Diffusion AI绘画控制人物脸部和手的方法文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/51584.html

选择模型face_yolov8n.pt,然后提示词用detailed face,生成图像如下,脸部有了明显的改善,但是崩手的问题依然没有解决,没关系,接着往下看,我们尝试不同的方法来解决这个问题文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/51584.html

Stable Diffusion AI绘画控制人物脸部和手的方法 文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/51584.html
02—文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/51584.html

崩手问题解决文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/51584.html

第一种方法我们用embedding模型,在C站上有很多模型,比如文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/51584.html

Stable Diffusion AI绘画控制人物脸部和手的方法文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/51584.html

我们下载模型然后将模型放在embedding目录下,然后在负面提示中加入negative_hand-neg,然后生成图像,对比上面崩手的问题有了明显的改善文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/51584.html

Stable Diffusion AI绘画控制人物脸部和手的方法文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/51584.html

第二种方法我们用LyCORIS模型来解决,LyCORIS和LORA差不多,都是微调模型,C站上同样也有,我们下载如图这个模型,然后放到LyCORIS文件夹文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/51584.html

Stable Diffusion AI绘画控制人物脸部和手的方法文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/51584.html

然后在提示词中加入 <lyco:GoodHands-beta2:1.0> ,生成如下图片,崩手问题也得到了很好的解决文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/51584.html

Stable Diffusion AI绘画控制人物脸部和手的方法文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/51584.html

第三种方法,我们用controlnet来进行手势控制文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/51584.html

Stable Diffusion AI绘画控制人物脸部和手的方法文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/51584.html

将崩手的图片拖到controlNET unit0,然后点击Stable Diffusion AI绘画控制人物脸部和手的方法进行预览,预览图如下图所示文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/51584.html

Stable Diffusion AI绘画控制人物脸部和手的方法文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/51584.html

然后点击编辑预览图文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/51584.html

Stable Diffusion AI绘画控制人物脸部和手的方法文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/51584.html

这里需要注意的是,如果点编辑报错,需要安装openpose editor,点击不同的部位,比如左手,右手进行编辑,编辑完成后发送到ControlNet文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/51584.html

Stable Diffusion AI绘画控制人物脸部和手的方法文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/51584.html

再次文生图,得到如下效果文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/51584.html

Stable Diffusion AI绘画控制人物脸部和手的方法文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/51584.html

看上去效果有改善,但还需要进一步微调文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/51584.html

上面介绍的三种解决崩手的方法,可以用一种,也可以多种方法同时启用,只要能够效率的解决问题即可。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/51584.html

  • 本站内容整理自互联网,仅提供信息存储空间服务,以方便学习之用。如对文章、图片、字体等版权有疑问,请在下方留言,管理员看到后,将第一时间进行处理。
  • 转载请务必保留本文链接:https://www.cainiaoxueyuan.com/office/51584.html

Comment

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

确定