小红书InstantID一张面部图像生成多样风格:WebUI与ComfyUI使用指南

2024-02-1608:59:57人工智能与大数据Comments512 views字数 3702阅读模式

InstantID,网上很多介绍和教程把我看笑了。根本就不可能正常安装使用,全是蹭热点没半点儿干货。于是自己梳理总结,写一下个人使用WebUI与ComfyUI的步骤留着备份。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

InstantID由小红书(Xiaohongshu)的InstantX团队开发,是一项创新的图像生成技术,它在数字艺术创作领域掀起了一场革命。这项技术以其独特的零次个性化图像合成能力,允许用户仅通过一张面部图像,就能创造出风格多样、高度个性化的图像。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

小红书InstantID一张面部图像生成多样风格:WebUI与ComfyUI使用指南

InstantID不仅在技术上取得了突破,更在用户体验上提供了极大的便利。本文将详细介绍如何在WebUI和ComfyUI中利用InstantID,以及这一技术背后的开发力量。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

项目地址:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

https://github.com/InstantID/InstantID?tab=readme-ov-file文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

Demo体验地址:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

https://huggingface.co/spaces/InstantX/InstantID文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

https://openxlab.org.cn/apps/detail/InstantX/InstantID文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

接下来让我们看看如何在WebUI和ComfyUI中使用InstantID。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html


一.WebUI中使用InstantID的方式:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

1.安装并配置WebUI,我们启动秋叶大佬的“绘世WebUI启动器”升级一下内核文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

小红书InstantID一张面部图像生成多样风格:WebUI与ComfyUI使用指南

打开代理,一会儿下载用地上。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

小红书InstantID一张面部图像生成多样风格:WebUI与ComfyUI使用指南

高级选项中设置环境文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

小红书InstantID一张面部图像生成多样风格:WebUI与ComfyUI使用指南

2.安装需要的插件环境框架文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

我们需要安装一下“ReActor”,它是一个人脸交换的稳定扩散。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

直接在“sd-webui-aki-v4.6\extensions”目录下执行文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

“git clone https://github.com/Gourieff/sd-webui-reactor.git”文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

小红书InstantID一张面部图像生成多样风格:WebUI与ComfyUI使用指南

或者启动器里面搜索“reactor” 安装文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

又或者,用我压缩包里的也行。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

小红书InstantID一张面部图像生成多样风格:WebUI与ComfyUI使用指南

然后把我为大家准备的insightface模型文件放到文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

“StableDiffusion\sd-webui-aki-v4.6\models\insightface”目录下文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

小红书InstantID一张面部图像生成多样风格:WebUI与ComfyUI使用指南

再然后把我为大家准备的另一份文件文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

“insightface-0.7.3-cp310-cp310-win_amd64.whl”文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

复制到StableDiffusion\sd-webui-aki-v4.6\python路径下。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

小红书InstantID一张面部图像生成多样风格:WebUI与ComfyUI使用指南

地址栏输入“cmd” 调出命令行控制台,文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

输入“\python.exe -m pip install insightface-0.7.3-cp310-cp310-win_amd64.whl”文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

小红书InstantID一张面部图像生成多样风格:WebUI与ComfyUI使用指南

随后我们将“sd-webui-aki-v4.6\python\Scripts”完整路径添加到环境变量。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

小红书InstantID一张面部图像生成多样风格:WebUI与ComfyUI使用指南

再在python路径下“cmd”输入文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

“python.exe -m pip install onnxruntime --upgrade”文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

再继续输入文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

“python.exe -s -m pip install segment_anything omegaconf”文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

安装深度学习框架,文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

小红书InstantID一张面部图像生成多样风格:WebUI与ComfyUI使用指南

到此以上需要的环境框架都安装完了。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

3.将controlnet模型文件拷贝到文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

"\extensions\sd-webui-controlnet\models"目录下文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

小红书InstantID一张面部图像生成多样风格:WebUI与ComfyUI使用指南文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

我已经将模型的名字修改成可以识别的标准了,放心使用。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

4.升级扩展中的Controlnet到最新版本文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

小红书InstantID一张面部图像生成多样风格:WebUI与ComfyUI使用指南
小红书InstantID一张面部图像生成多样风格:WebUI与ComfyUI使用指南

点击“一键启动”文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

5.如果更新成功,我们就可以看见ControlNet v1.1.440的版本了文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

小红书InstantID一张面部图像生成多样风格:WebUI与ComfyUI使用指南

下面也会多了个“InstantID” 选项按钮,接下来看看如何使用。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

6.使用InstantID,因为InstantID暂时还没有支持1.5版本的模型版本,所以需要选择SDXL大模型。然后使用2个ControlNet单元配合使用。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

在第一个ControlNet单元0中选择上传一张面部图片,设置如下。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

小红书InstantID一张面部图像生成多样风格:WebUI与ComfyUI使用指南

预处理器选择“instant id face embedding”文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

模型选择“ip-adapter instant id sdxl [eb2d3ec0l”文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

点击红圈中的“爆炸”按钮,会自动下载预处理文件。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

再在第二个ControlNet单元1中选择上传一张面部图片,它会确定面部的位置,设置如下。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

小红书InstantID一张面部图像生成多样风格:WebUI与ComfyUI使用指南

预处理器选择“instant id face keypoints”文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

模型选择“control instant id sdxl [c5c25a50]”文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

点击红圈中的 “爆炸” 按钮,会自动下载预处理文件。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

小红书InstantID一张面部图像生成多样风格:WebUI与ComfyUI使用指南

等待预处理文件下载完成,如果不幸下载失败,可以把我压缩包内的文件拷贝到下面路径里。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

“StableDiffusion\sd-webui-aki-v4.6\extensions\sd-webui-controlnet\annotator\downloads\insightface\models\antelopev2”文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

小红书InstantID一张面部图像生成多样风格:WebUI与ComfyUI使用指南

当然你也可以自己从huggingface上下载,拷贝到上面目录。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

7.选择SDXL模型,输入提示词,选择起手式。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

小红书InstantID一张面部图像生成多样风格:WebUI与ComfyUI使用指南
小红书InstantID一张面部图像生成多样风格:WebUI与ComfyUI使用指南

这里建议将 CFG 设置为 4~5 获得最效果,等待生成。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

小红书InstantID一张面部图像生成多样风格:WebUI与ComfyUI使用指南

二笔青年快乐多文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

小红书InstantID一张面部图像生成多样风格:WebUI与ComfyUI使用指南

当然要控制姿势,我们可以加入DWpose等控制。大家自行发挥吧。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

到此处,WebUI部分完。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

资源自动获取,公众号回复:InstantIDWebUI文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html


二.ComfyUI中使用InstantID的方式:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

1.把文件文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

“insightface-0.7.3-cp311-cp311-win_amd64.whl”文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

复制到ComfyUI_windows_portable路径下。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

小红书InstantID一张面部图像生成多样风格:WebUI与ComfyUI使用指南

地址栏输入“cmd”文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

调出命令行控制台,输入文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

“python_embeded\python.exe -m pip install insightface-0.7.3-cp311-cp311-win_amd64.whl”文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

小红书InstantID一张面部图像生成多样风格:WebUI与ComfyUI使用指南

这个库是用于人脸识别和分析的。insightface提供了一系列的工具和模型,可以帮助开发者在他们的应用程序中实现人脸检测、关键点定位、人脸识别等功能。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

将“python_embeded\Scripts”完整路径添加到环境变量文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

小红书InstantID一张面部图像生成多样风格:WebUI与ComfyUI使用指南
小红书InstantID一张面部图像生成多样风格:WebUI与ComfyUI使用指南

提示有更新可以使用,于是我输入了我自己的路径加上 “python.exe -m pip install --upgrade pip”文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

再输入“python_embeded\python.exe -m pip install onnxruntime --upgrade”文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

小红书InstantID一张面部图像生成多样风格:WebUI与ComfyUI使用指南

上面提示我,忘记添加到环境变量。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

2.进入ComfyUI_windows_portable\python_embeded文件路径下文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

小红书InstantID一张面部图像生成多样风格:WebUI与ComfyUI使用指南

窗口路径“cmd” 输入文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

“python.exe -s -m pip install segment_anything omegaconf”文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

安装深度学习框架文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

小红书InstantID一张面部图像生成多样风格:WebUI与ComfyUI使用指南

3.安装需要的插件,将需要的插件复制到文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

ComfyUI_windows_portable\ComfyUI\custom_nodes文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

小红书InstantID一张面部图像生成多样风格:WebUI与ComfyUI使用指南

我这个是为了记录单独copy出来的工程,所以非常的干净。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

4.启动“run_nvidia_gpu.bat”,文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

小红书InstantID一张面部图像生成多样风格:WebUI与ComfyUI使用指南

导入工作流文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

“V2.0_InstantID_pose_ref_+_ArtGallery_【Zho】.json”文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

小红书InstantID一张面部图像生成多样风格:WebUI与ComfyUI使用指南

工作流在上面的插件目录里面,路径如下。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

“omfyUI_windows_portable\ComfyUI\custom_nodes\ComfyUI-InstantID\INSTANTID WORKFLOWS”,文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

点击右边的“Manager”选择文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

“Install Missing Custom Nodes”文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

小红书InstantID一张面部图像生成多样风格:WebUI与ComfyUI使用指南
小红书InstantID一张面部图像生成多样风格:WebUI与ComfyUI使用指南
小红书InstantID一张面部图像生成多样风格:WebUI与ComfyUI使用指南

关闭所有,重新启动。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

5.运行“run_nvidia_gpu.bat”会更新自动下载文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

小红书InstantID一张面部图像生成多样风格:WebUI与ComfyUI使用指南

下载完后,自动打开链接,显示我们上次的工作流。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

小红书InstantID一张面部图像生成多样风格:WebUI与ComfyUI使用指南

6.修改设置,将“ID ControlNet Loader”文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

下面的路径修改为本地插件配置路径文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

小红书InstantID一张面部图像生成多样风格:WebUI与ComfyUI使用指南
小红书InstantID一张面部图像生成多样风格:WebUI与ComfyUI使用指南

将“lpadapter instantid Loader”下面的路径修改为本地插件配置路径文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

小红书InstantID一张面部图像生成多样风格:WebUI与ComfyUI使用指南
小红书InstantID一张面部图像生成多样风格:WebUI与ComfyUI使用指南

第一次运行“ID Base Model Loader from hub”节点会自动下载模型。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

小红书InstantID一张面部图像生成多样风格:WebUI与ComfyUI使用指南

需要开代理,或者魔法,我是之前用“绘世启动器”代理下载了。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

小红书InstantID一张面部图像生成多样风格:WebUI与ComfyUI使用指南

最后效果如下图。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

小红书InstantID一张面部图像生成多样风格:WebUI与ComfyUI使用指南

按我上面的操作,大家都可以跑通整个流程了。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

大家还可以试试插件下的其它工作流,都不复杂。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

剩下的修改风格,和提示词,需要大家自己发挥了。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

小红书InstantID一张面部图像生成多样风格:WebUI与ComfyUI使用指南

到此处,ComfyUI部分完。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html


总结:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

InstantID的开发团队,小红书的InstantX团队,通过其在人工智能领域的深厚技术积累,成功地将创新的图像生成技术带给了公众。这项技术不仅在技术上实现了零次个性化图像合成的突破,而且在用户体验上也做到了极致的简洁和直观。与市场上其他图像生成工具相比,InstantID在保持高度个性化的同时,大大简化了用户的操作流程,使得即使是没有深厚技术背景的艺术家和设计师也能轻松上手。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

在WebUI和ComfyUI这两个平台上,InstantID展现了其强大的功能和灵活性。WebUI提供了一个直观的用户界面,用户可以通过简单的步骤实现面部图像的上传和风格化处理,而ComfyUI则以其便携性和易用性,为用户提供了一个更加个性化的创作环境。两者在功能上各有千秋,WebUI更适合快速尝试和体验,而ComfyUI则提供了更多的定制化选项,适合那些希望深入探索和创作独特艺术作品的用户。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

来源: 66秒未来科技文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59844.html

  • 本站内容整理自互联网,仅提供信息存储空间服务,以方便学习之用。如对文章、图片、字体等版权有疑问,请在下方留言,管理员看到后,将第一时间进行处理。
  • 转载请务必保留本文链接:https://www.cainiaoxueyuan.com/ai/59844.html

Comment

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

确定