小红书InstantID一张面部图像生成多样风格:WebUI与ComfyUI使用指南

InstantID,网上很多介绍和教程把我看笑了。根本就不可能正常安装使用,全是蹭热点没半点儿干货。于是自己梳理总结,写一下个人使用WebUI与ComfyUI的步骤留着备份。

InstantID由小红书(Xiaohongshu)的InstantX团队开发,是一项创新的图像生成技术,它在数字艺术创作领域掀起了一场革命。这项技术以其独特的零次个性化图像合成能力,允许用户仅通过一张面部图像,就能创造出风格多样、高度个性化的图像。

图片

InstantID不仅在技术上取得了突破,更在用户体验上提供了极大的便利。本文将详细介绍如何在WebUI和ComfyUI中利用InstantID,以及这一技术背后的开发力量。

项目地址:

https://github.com/InstantID/InstantID?tab=readme-ov-file

Demo体验地址:

https://huggingface.co/spaces/InstantX/InstantID

https://openxlab.org.cn/apps/detail/InstantX/InstantID

接下来让我们看看如何在WebUI和ComfyUI中使用InstantID。


一.WebUI中使用InstantID的方式:

1.安装并配置WebUI,我们启动秋叶大佬的“绘世WebUI启动器”升级一下内核

图片

打开代理,一会儿下载用地上。

图片

高级选项中设置环境

图片

2.安装需要的插件环境框架

我们需要安装一下“ReActor”,它是一个人脸交换的稳定扩散。

直接在“sd-webui-aki-v4.6\extensions”目录下执行

“git clone https://github.com/Gourieff/sd-webui-reactor.git”

图片

或者启动器里面搜索“reactor” 安装

又或者,用我压缩包里的也行。

图片

然后把我为大家准备的insightface模型文件放到

“StableDiffusion\sd-webui-aki-v4.6\models\insightface”目录下

图片

再然后把我为大家准备的另一份文件

“insightface-0.7.3-cp310-cp310-win_amd64.whl”

复制到StableDiffusion\sd-webui-aki-v4.6\python路径下。

图片

地址栏输入“cmd” 调出命令行控制台,

输入“\python.exe -m pip install insightface-0.7.3-cp310-cp310-win_amd64.whl”

图片

随后我们将“sd-webui-aki-v4.6\python\Scripts”完整路径添加到环境变量。

图片

再在python路径下“cmd”输入

“python.exe -m pip install onnxruntime --upgrade”

再继续输入

“python.exe -s -m pip install segment_anything omegaconf”

安装深度学习框架,

图片

到此以上需要的环境框架都安装完了。

3.将controlnet模型文件拷贝到

"\extensions\sd-webui-controlnet\models"目录下

图片

我已经将模型的名字修改成可以识别的标准了,放心使用。

4.升级扩展中的Controlnet到最新版本

图片
图片

点击“一键启动”

5.如果更新成功,我们就可以看见ControlNet v1.1.440的版本了

图片

下面也会多了个“InstantID” 选项按钮,接下来看看如何使用。

6.使用InstantID,因为InstantID暂时还没有支持1.5版本的模型版本,所以需要选择SDXL大模型。然后使用2个ControlNet单元配合使用。

在第一个ControlNet单元0中选择上传一张面部图片,设置如下。

图片

预处理器选择“instant id face embedding”

模型选择“ip-adapter instant id sdxl [eb2d3ec0l”

点击红圈中的“爆炸”按钮,会自动下载预处理文件。

再在第二个ControlNet单元1中选择上传一张面部图片,它会确定面部的位置,设置如下。

图片

预处理器选择“instant id face keypoints”

模型选择“control instant id sdxl [c5c25a50]”

点击红圈中的 “爆炸” 按钮,会自动下载预处理文件。

图片

等待预处理文件下载完成,如果不幸下载失败,可以把我压缩包内的文件拷贝到下面路径里。

“StableDiffusion\sd-webui-aki-v4.6\extensions\sd-webui-controlnet\annotator\downloads\insightface\models\antelopev2”

图片

当然你也可以自己从huggingface上下载,拷贝到上面目录。

7.选择SDXL模型,输入提示词,选择起手式。

图片
图片

这里建议将 CFG 设置为 4~5 获得最效果,等待生成。

图片

二笔青年快乐多

图片

当然要控制姿势,我们可以加入DWpose等控制。大家自行发挥吧。

到此处,WebUI部分完。

资源自动获取,公众号回复:InstantIDWebUI


二.ComfyUI中使用InstantID的方式:

1.把文件

“insightface-0.7.3-cp311-cp311-win_amd64.whl”

复制到ComfyUI_windows_portable路径下。

图片

地址栏输入“cmd”

调出命令行控制台,输入

“python_embeded\python.exe -m pip install insightface-0.7.3-cp311-cp311-win_amd64.whl”

图片

这个库是用于人脸识别和分析的。insightface提供了一系列的工具和模型,可以帮助开发者在他们的应用程序中实现人脸检测、关键点定位、人脸识别等功能。

将“python_embeded\Scripts”完整路径添加到环境变量

图片
图片

提示有更新可以使用,于是我输入了我自己的路径加上 “python.exe -m pip install --upgrade pip”

再输入“python_embeded\python.exe -m pip install onnxruntime --upgrade”

图片

上面提示我,忘记添加到环境变量。

2.进入ComfyUI_windows_portable\python_embeded文件路径下

图片

窗口路径“cmd” 输入

“python.exe -s -m pip install segment_anything omegaconf”

安装深度学习框架

图片

3.安装需要的插件,将需要的插件复制到

ComfyUI_windows_portable\ComfyUI\custom_nodes

图片

我这个是为了记录单独copy出来的工程,所以非常的干净。

4.启动“run_nvidia_gpu.bat”,

图片

导入工作流

“V2.0_InstantID_pose_ref_+_ArtGallery_【Zho】.json”

图片

工作流在上面的插件目录里面,路径如下。

“omfyUI_windows_portable\ComfyUI\custom_nodes\ComfyUI-InstantID\INSTANTID WORKFLOWS”,

点击右边的“Manager”选择

“Install Missing Custom Nodes”

图片
图片
图片

关闭所有,重新启动。

5.运行“run_nvidia_gpu.bat”会更新自动下载

图片

下载完后,自动打开链接,显示我们上次的工作流。

图片

6.修改设置,将“ID ControlNet Loader”

下面的路径修改为本地插件配置路径

图片
图片

将“lpadapter instantid Loader”下面的路径修改为本地插件配置路径

图片
图片

第一次运行“ID Base Model Loader from hub”节点会自动下载模型。

图片

需要开代理,或者魔法,我是之前用“绘世启动器”代理下载了。

图片

最后效果如下图。

图片

按我上面的操作,大家都可以跑通整个流程了。

大家还可以试试插件下的其它工作流,都不复杂。

剩下的修改风格,和提示词,需要大家自己发挥了。

图片

到此处,ComfyUI部分完。


总结:

InstantID的开发团队,小红书的InstantX团队,通过其在人工智能领域的深厚技术积累,成功地将创新的图像生成技术带给了公众。这项技术不仅在技术上实现了零次个性化图像合成的突破,而且在用户体验上也做到了极致的简洁和直观。与市场上其他图像生成工具相比,InstantID在保持高度个性化的同时,大大简化了用户的操作流程,使得即使是没有深厚技术背景的艺术家和设计师也能轻松上手。

在WebUI和ComfyUI这两个平台上,InstantID展现了其强大的功能和灵活性。WebUI提供了一个直观的用户界面,用户可以通过简单的步骤实现面部图像的上传和风格化处理,而ComfyUI则以其便携性和易用性,为用户提供了一个更加个性化的创作环境。两者在功能上各有千秋,WebUI更适合快速尝试和体验,而ComfyUI则提供了更多的定制化选项,适合那些希望深入探索和创作独特艺术作品的用户。

来源: 66秒未来科技

THE END