C站上线Stable Diffusion革命性微调模型LyCORIS,超越LoRa

图片

最近C站悄悄上线了几个LyCORIS模型,也叫LoHA。

从使用方式看,LyCORIS的模型扩展名和lora一样,大多数用法和lora完全一样,但标记出也可以通过LyCORIS插件使用。

什么是LyCORIS?

简单讲,LyCORIS就是一个类似lora的微调模型,这是一个实现不同算法的项目,以在stable diffusion进行或更多的参数有效微调。

可以理解为是算法更优化更简洁更节约训练资源的微调模型,对于使用者来说, LyCORIS最大的优势是:

普通的 LoRA 有 17 层,

图片

而LyCORIS有26层。

图片

层数越多,意味着越可以精准的微调某一项的效果。比如脸、手、光影、服装以及皮肤等等。

大家知道,调用lora的参数只有一个权重,而LyCORIS的参数非常丰富。

我个人认为,将来会有越来越多的基于LyCORIS的定向微调模型,比如面向脸、面向手、面向服装等,彻底解决以前lora模型的各种缺点,又不需要修改大模型。

本文我们先做一个预告,介绍一下LyCORIS的基本原理,后面会有专门的文章详细介绍LyCORIS的详细使用。

<lyco:LoRA的名称:arg1:arg2:arg3...:argn>
arg1:文本编码器
arg2:unet
arg3:dylora

变量名缩写:<lyco:LoRA名称:1:0.5:13>(如果只指定数字,则顺序固定为te / unet / dyn)
全部指定:<lyco:LoRA名称:dyn=13:te=1:unet=0.5>(如果所有变量都写入,则可以更改变量的顺序)

今天主要给大家介绍如何安装LyCORIS插件,和最受欢迎的LyCORIS模型。

一、如何安装LyCORIS插件

在扩展栏,点从网址安装,输入LyCORIS插件地址

https://github.com/KohakuBlueleaf/a1111-sd-webui-lycoris

图片

安装完毕后重启前端。

二、如何安装LyCORIS模型

LyCORIS模型可以放在lora的目录下,当做普通的lora使用,但无法使用丰富的细节参数。

安装过LyCORIS插件后,将LyCORIS模型下载后,拷贝至 models\LyCORIS

点击“扩展模型”按钮,可显示已经安装好的LyCORIS模型。

这说明安装成功了。

图片

三、FilmGirl 胶片风LoHA

安装完LyCORIS插件后,隆重推荐C站下载量最大的LyCORIS模型(LoHA):胶片风。

巧合的是,我本人是一个摄影爱好者,即便是数码时代,胶片风格依然是很多摄影师的追求。

作者称:

这是用于生成胶片风格AI写真照片的LoHA & LoRA模型。与majicMIX realistic、MoonMIX或Chilloumix搭配使用,可以生成逼真的胶片风格照片。同时推荐搭配TEXTUAL INVERSION模型:bad_pictures、negative_hand Negative Embedding。这两个Negative Embedding模型不会显著影响到胶片的质感。
Provia版本不同于之前0.1到4.0版本LoRA模型,Provia是全新的胶片模拟LoHA模型,使用100+张优选后的胶片照作为训练集,以及900+张胶片照作为正则化图像集训练而来。

首先,参考作者提供的样片,我们尝试生成一张。

模型:majicmixRealistic_v4

提示词:

 <lyco:FilmProvia2:0.6>, 1girl dressed in a cute, country-style black dress with braided hair, standing in a rustic farm setting. She has a soft, gentle smile and expressive eyes. The background features a charming barn, fields of golden wheat, and a clear blue sky. The composition should be bathed in the warm, golden hour light, with a gentle depth of field and soft bokeh to accentuate the pastoral serenity. Capture the image as if it were taken on an old-school 35mm film for added charm. film portrait photography

负面提示词

cartoon, anime, sketches, (worst quality, low quality:1.2), (deformed, distorted, disfigured, bad eyes), wrong nose, weird mouth, strange ears, bad anatomy, wrong anatomy, amputation, extra limb, missing limb, floating limbs, (bad teeth, mutated hands, wrong fingers:1.2), disconnected limbs, mutation, ugly, disgusting,  (negative_hand-neg, bad_pictures:1.2)

注意,如果只是当lora使用,可以拷贝到models\lora ,然后使用 <lora:FilmProvia2:0.6>调用

图片

基本上还原了作者的原图。

图片

让我们换一组提示词:

fashion photography of blue human avatar, 1girl, light smile,in blue lush jungle with flowers and birds, sci-fi, fantasy, 3d render, symetrical, octane render, hdr, (intricate details, hyperdetailed:1.2), (natural skin texture, hyperrealism, soft light, sharp:1.2),<lyco:FilmProvia2:0.6>
图片
THE END