AI换脸又火起来了， 小红书 InstantX 团队发布了一款最新的换脸技术 InstantID文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/59636.html
和之前的主流的训练 lora 换脸不同，InstantID 只需要上传一张图就可以实现换脸以及姿势替换！文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/59636.html
文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/59636.html
一 InstantID 介绍
InstantID 主要分为了三部分文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/59636.html
ID Embedding：通过预训练的面部识别模型，将语义人脸特征提取为 Face Embedding。这种嵌入包含了丰富的语义信息，如面部特征、表情、年龄等，为后续的图像生成提供了坚实的基础。 Image Adapter：引入轻量级的适配模块，将提取的身份信息与文本提示结合。通过解耦的交叉注意力机制，图像和文本能够独立地影响生成过程，同时保持身份信息的同时允许用户对图像风格进行精细控制。 IdentityNet：小红书提出的 IdentityNet 是 InstantID 的核心部分。它利用强语义条件和弱空间条件编码参考面部图像的复杂特征。生成过程完全由 Face Embedding 引导，无需文本信息。只更新新添加的模块，而保持预先训练的文本到图像模型冻结，以确保灵活性
概括来说：文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/59636.html
InstantID 使用 ID Embedding 提取用户输入的提示词和面部图像的关键信息。 接着 Image Adapter 将这些信息进行融合 IdentityNet将这些融合后的信息生成新的图像
下面介绍的是使用 Stable Diffusion 如果集成使用 InstantID文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/59636.html
目前只支持 SDXL 模型，controlNet 需要升级到V1.1.440版本文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/59636.html
二 使用步骤
模型下载
Instant ID提供了两个 ControlNet 模型，考虑到大家的网络原因，我直接放在了网盘，直接后台回复 模型 获取下载链接文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/59636.html
ip-adapter_instant_id_sdxl.bin majicmixRealistic_v7.safetensors
下载完之后放在你的 {A1111_root}/models/ControlNet 目录下，重启 webui 后在 ControlNet 页面可以看到 InstantId 这个选项 （如果找不到这个选项，需要升级下自己 ControlNet 版本，然后重启即可）文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/59636.html
参数配置
模型：DreamShaperXL （需要使用一个 sdxl 模型）
提示词：a 20 yo woman,long hair,dark theme,soothing tones,muted colors,high contrast,(natural skin texture,hyperrealism,soft light,sharp),red background,simple background,
尺寸：1024x1526
步数：30
CFG提示词引导系数：5
ControlNet 配置
第一个ControlNet 上传包含全脸的图片，用于提取脸部信息其中：文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/59636.html
预处理器：instant_id_face_embedding 模型：ip-adapter_instant_id_sdxl 控制权重：（0.2-1）之间，越大，出图效果比较模糊，越小图片和原图的脸部就越不像
第二个ControlNet上传姿势图片，用于提取姿势信息注意：姿势图片可以和第一个ControlNet 不需要是同一个人其中：文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/59636.html
预处理器：instant_id_face_keypoints 模型：control_instant_id_sdxl 控制权重：（0.5-1）之间，越大，出图效果比较模糊，越小图片和原图的脸部就越不像
配置完后直接出图，看看效果，效果还是非常不错的文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/59636.html
在换一个提示词，其它不变文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/59636.html
提示词
1girl,sweater,white background
再换一个姿势背景，其它的不变文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/59636.html
出图效果文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/59636.html
由于我只使用了 DreamShaperXL 来出图，所以出图的风格比较单一，你可以可以使用任意类型的模型和姿势来出图，效果都杠杠的～文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/59636.html