Stable Diffusion AI绘画:修复畸形的手掌

图片

图片

今天有个小伙伴说让我帮忙处理下上面第一张图片的手部,可以看出图片很唯美,就是手部细节不行。第二张图是为了方便重绘缩放了尺寸。

 

这种情况下该如何处理呢?

有人说用图生图——局部重绘功能,想法没错,但手部细节是AI绘画一直难以解决的问题,单纯的依靠局部重绘效果并不会很好,尤其是他的原图是1920*1280的图片,靠开盲盒来找出一张比较完美的图片,有点费时间。我跑了一会,勉强能有两张手型看起来还可以的,但也经不住细看。

图片

图片

所以就得另想办法,找了一圈,大家比较主流的办法是:

步骤1:利用openpose编辑器先提取人物骨架模型,目的是告诉SD这里是手啊,别生成别的东西;

步骤2:利用深度图编辑器,生成手部深度图;

下载网址https://github.com/jexom/sd-webui-depth-lib

步骤3:利用Controlnet两个模型进行组合重绘达到目的。

图片

想法很美好,现实很骨感。由于图中人物是右手,而深度图编辑器中附带的手掌模型左手居多,没办法找了个软件对手势进行了镜像。

经过尝试发现就算利用深度图精确描绘了手指,但生成时还会变形,所以最后找了个简单的手势,方便SD识别。

深度图编辑器的操作步骤如下:

图片

1、进入深度图编辑器页面;

2、调整尺寸(与原图尺寸相同);

3、添加背景图片(原图);

4、添加手部图片;

5、点击添加;

6、按住黄色框的蓝点可以旋转,拖动手部其他几个蓝点可以调整大小;

调整到合适的角度和大小后,点击保存为PNG格式,将保存好的图片放入Controlnet-1中,预处理器为空,模型选**depth;

图片

其他参数如下:

图片

经过多次套娃后,最后生成的效果图↓ 就好多了。

图片

图片

需要注意的点:

1、如果原图尺寸太大,记得先缩放为小图,不然过程中很痛苦;

2、利用openpose生成骨架图时,如果是半身照就把腿部的骨架拉出图外;

3、深度图里面的手型还是有些生硬,有技术的小伙伴可以用3D重新做个手型图;

4、注意调整迭代步数和重绘幅度,因为只生成手,所以迭代步数可以适当调低一些,但重绘幅度得调高,毕竟要重新生成手部。

5、大模型这里选择的是chilloutmix。国风3大模型试了下效果也不错。

图片

最后用附加功能将图片放大到1920*1280即可。

图片

不要选错放大算法。

THE END