Stable Diffusion AI绘画:修复畸形的手掌
今天有个小伙伴说让我帮忙处理下上面第一张图片的手部,可以看出图片很唯美,就是手部细节不行。第二张图是为了方便重绘缩放了尺寸。
这种情况下该如何处理呢?
有人说用图生图——局部重绘功能,想法没错,但手部细节是AI绘画一直难以解决的问题,单纯的依靠局部重绘效果并不会很好,尤其是他的原图是1920*1280的图片,靠开盲盒来找出一张比较完美的图片,有点费时间。我跑了一会,勉强能有两张手型看起来还可以的,但也经不住细看。
所以就得另想办法,找了一圈,大家比较主流的办法是:
步骤1:利用openpose编辑器先提取人物骨架模型,目的是告诉SD这里是手啊,别生成别的东西;
步骤2:利用深度图编辑器,生成手部深度图;
下载网址https://github.com/jexom/sd-webui-depth-lib
步骤3:利用Controlnet两个模型进行组合重绘达到目的。
想法很美好,现实很骨感。由于图中人物是右手,而深度图编辑器中附带的手掌模型左手居多,没办法找了个软件对手势进行了镜像。
经过尝试发现就算利用深度图精确描绘了手指,但生成时还会变形,所以最后找了个简单的手势,方便SD识别。
深度图编辑器的操作步骤如下:
1、进入深度图编辑器页面;
2、调整尺寸(与原图尺寸相同);
3、添加背景图片(原图);
4、添加手部图片;
5、点击添加;
6、按住黄色框的蓝点可以旋转,拖动手部其他几个蓝点可以调整大小;
调整到合适的角度和大小后,点击保存为PNG格式,将保存好的图片放入Controlnet-1中,预处理器为空,模型选**depth;
其他参数如下:
经过多次套娃后,最后生成的效果图↓ 就好多了。
需要注意的点:
1、如果原图尺寸太大,记得先缩放为小图,不然过程中很痛苦;
2、利用openpose生成骨架图时,如果是半身照就把腿部的骨架拉出图外;
3、深度图里面的手型还是有些生硬,有技术的小伙伴可以用3D重新做个手型图;
4、注意调整迭代步数和重绘幅度,因为只生成手,所以迭代步数可以适当调低一些,但重绘幅度得调高,毕竟要重新生成手部。
5、大模型这里选择的是chilloutmix。国风3大模型试了下效果也不错。
最后用附加功能将图片放大到1920*1280即可。
不要选错放大算法。