Stable Diffusion 跑图神器：LCM-LoRA 4 步出图实战

2024-02-1420:18:51办公软件与工具应用Comments486 views字数 2192阅读模式

最近一直比较流行的 LCM-LoRA 模型，只需要四个迭代步数就可以生成质量不错的图片，可以大大的加快我们跑图的效率！文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/59648.html

一 LCM-LoRA

潜在一致性模型 Latent Consistency Model (LCM) 在潜在扩散模型中应用了一致性模型Consistency Model（CM）相同的原理(CM 是一类新型扩散模型，经过训练可一步生成图像)，从而实现极少的步数出图文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/59648.html

一般情况需要为每一个大模型训练一个新的 LCM，非常不方便文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/59648.html

而 LCM-LoRA 是使用一致性方法通过稳定扩散基础模型（v1.5 和 SDXL）训练的 LoRA 模型。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/59648.html

它可以与任何自定义检查点模型一起使用，将图像生成速度加快到仅需四个迭代步数。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/59648.html

也就是说 LCM-LoRA 和普通的 LoRA 使用方式一样，支持 v1.5 和 SDXL，且只需要4步即可出图文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/59648.html

二下载

想要支持 v1.5 和 SDXL，需要下载各自版本的 LoRA，考虑到大家的网络原因，大家可以直接回复 lora 获取网盘地址按需下载文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/59648.html

v1.5: lcm-lora-sdv1-5.safetensors
SDXL: latent-lcm-lora-sdxl.safetensors

下载完成后将 LoRA 放在 stable-diffusion-webui/models/Lora 中文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/59648.html

三上手体验

SD1.5 模型对比

不使用 LCM-LoRA文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/59648.html

模型：majicMIX realistic v6
提示词：Best quality,masterpiece,ultra high res,(photorealistic:1.4),raw photo,1girl,silver hair,shiny skin,dramatic lighting
采样方法：Euler
尺寸：512x512
步数：20
CFG：7

因为分辨率只有512，且没有高清修复，质量一般般。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/59648.html

使用 LCM-LoRA文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/59648.html

模型：majicMIX realistic v6
提示词：Best quality,masterpiece,ultra high res,(photorealistic:1.4),raw photo,1girl,silver hair,shiny skin,dramatic lighting,
<lora:LCM_LoRA_Weights_SD15_v1.0#2567_4104_4823@8f90d840e0:1>, // 替换成自己下载的 LoRA
采样方法：Euler
尺寸：512x512
步数：4
CFG：1.2

需要注意的是，步数我们需要控制在 2～8 之间，CFG 在 1～2 之间。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/59648.html

整体效果和不使用 LCM-LoRA 几乎没太大区别，但步数却只需要 4 步即可，但却只用了不到2s的时间文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/59648.html

SDXL 模型对比

不使用 LCM-LoRA文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/59648.html

模型：sd base sdxl
提示词：Best quality,masterpiece,ultra high res,(photorealistic:1.4),raw photo,1girl,silver hair,shiny skin,dramatic lighting,

采样方法：Euler
尺寸：1024x1024
步数：20
CFG：7

SDXL 整体效果要比 SD1.5 要好上一些，但磨皮效果太明显了，在来看看加上 LCM-LoRA 之后的效果文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/59648.html

使用 LCM-LoRA文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/59648.html

模型：sd base sdxl
提示词：Best quality,masterpiece,ultra high res,(photorealistic:1.4),raw photo,1girl,silver hair,shiny skin,dramatic lighting,
<lora: LCM-LoRA for 基础模型升级版S-D-X-L_v1.0#lcm_xl@c3dbf7eb26:1>, // 替换成自己下载的 SDXL LoRA
采样方法：Euler
尺寸：1024x1024
步数：4
CFG：1.2

emmm... 怎么说，有点难评，LCM-LoRA 的细节反而比没有 LoRA 的 SD base 的图效果好。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/59648.html

目前来看 SDXL 上应用 LCM-LoRA 的效果和场景相对于 SD1.5 来说还有一些提高。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/59648.html

四参数对比

迭代步数

前面参数的配置主要设计到 迭代步数 和 CFG，官方建议的参数文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/59648.html

迭代步数：2～8
CFG：1～2

我们通过 X/Y/Z 脚本来看看效果（使用 SD1.5 测试），在 CFG 在 1～2 之间使用 Euler 采样方法，步数在4～10 之间效果都还是挺给力！为了追求性价比，出图质量也不错的情况下应该选择更少的步数文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/59648.html

高清修复

再来跑一张高清修复的对比。其它参数都不变的情况下，使用 Latent 方法算法。最后耗费的时间相差一倍多。使用 LCM-LoRA 只需要 3s ，不使用的情况则需要 7.5s文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/59648.html

五应用场景

LCM-LoRA 的出现可以大大的降低我们跑图、试图的时间成本，同时能保证不错的质量，抽到我们想要的图之后，也可以拿到种子，再重新跑出高质量的图。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/59648.html

下面是一些常用的场景文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/59648.html

X/Y/Z 跑图：平时我们需要测试各种参数时，都会使用 X/Y/Z 来跑图，使用 LCM-LoRA 极大的降低了花费的时间。上面我们跑的例子，生成了60张图，只需要了1.30分的时间.
其它跑图：比如 AnimateDiff
实时 Prompt：当我们想要测试提示词的影响时，需要出图的高实时性，那么 LCM-LoRA 也是能派上大用场
实时绘画渲染：这个相信大家都知道，实时涂鸦，然后生成实时图片
实时投影渲染：在进阶一些就是投影视频/摄像头进行渲染

文章源自菜鸟学院-https://www.cainiaoxueyuan.com/office/59648.html