C站上线Stable Diffusion革命性微调模型LyCORIS,超越LoRa

2023-06-0908:39:35设计达人Comments3,324 views字数 2461阅读模式

C站上线Stable Diffusion革命性微调模型LyCORIS,超越LoRa文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/46201.html

最近C站悄悄上线了几个LyCORIS模型,也叫LoHA。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/46201.html

从使用方式看,LyCORIS的模型扩展名和lora一样,大多数用法和lora完全一样,但标记出也可以通过LyCORIS插件使用。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/46201.html

什么是LyCORIS?文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/46201.html

简单讲,LyCORIS就是一个类似lora的微调模型,这是一个实现不同算法的项目,以在stable diffusion进行或更多的参数有效微调。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/46201.html

可以理解为是算法更优化更简洁更节约训练资源的微调模型,对于使用者来说, LyCORIS最大的优势是:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/46201.html

普通的 LoRA 有 17 层,文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/46201.html

C站上线Stable Diffusion革命性微调模型LyCORIS,超越LoRa

而LyCORIS有26层。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/46201.html

C站上线Stable Diffusion革命性微调模型LyCORIS,超越LoRa

层数越多,意味着越可以精准的微调某一项的效果。比如脸、手、光影、服装以及皮肤等等。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/46201.html

大家知道,调用lora的参数只有一个权重,而LyCORIS的参数非常丰富。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/46201.html

我个人认为,将来会有越来越多的基于LyCORIS的定向微调模型,比如面向脸、面向手、面向服装等,彻底解决以前lora模型的各种缺点,又不需要修改大模型。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/46201.html

本文我们先做一个预告,介绍一下LyCORIS的基本原理,后面会有专门的文章详细介绍LyCORIS的详细使用。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/46201.html

<lyco:LoRA的名称:arg1:arg2:arg3...:argn>
arg1:文本编码器
arg2:unet
arg3:dylora

变量名缩写:<lyco:LoRA名称:1:0.5:13>(如果只指定数字,则顺序固定为te / unet / dyn)
全部指定:<lyco:LoRA名称:dyn=13:te=1:unet=0.5>(如果所有变量都写入,则可以更改变量的顺序)文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/46201.html

今天主要给大家介绍如何安装LyCORIS插件,和最受欢迎的LyCORIS模型。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/46201.html

一、如何安装LyCORIS插件文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/46201.html

在扩展栏,点从网址安装,输入LyCORIS插件地址文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/46201.html

https://github.com/KohakuBlueleaf/a1111-sd-webui-lycoris文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/46201.html

C站上线Stable Diffusion革命性微调模型LyCORIS,超越LoRa

安装完毕后重启前端。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/46201.html

二、如何安装LyCORIS模型文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/46201.html

LyCORIS模型可以放在lora的目录下,当做普通的lora使用,但无法使用丰富的细节参数。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/46201.html

安装过LyCORIS插件后,将LyCORIS模型下载后,拷贝至 models\LyCORIS文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/46201.html

点击“扩展模型”按钮,可显示已经安装好的LyCORIS模型。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/46201.html

这说明安装成功了。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/46201.html

C站上线Stable Diffusion革命性微调模型LyCORIS,超越LoRa

三、FilmGirl 胶片风LoHA文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/46201.html

安装完LyCORIS插件后,隆重推荐C站下载量最大的LyCORIS模型(LoHA):胶片风。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/46201.html

巧合的是,我本人是一个摄影爱好者,即便是数码时代,胶片风格依然是很多摄影师的追求。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/46201.html

作者称:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/46201.html

这是用于生成胶片风格AI写真照片的LoHA & LoRA模型。与majicMIX realistic、MoonMIX或Chilloumix搭配使用,可以生成逼真的胶片风格照片。同时推荐搭配TEXTUAL INVERSION模型:bad_pictures、negative_hand Negative Embedding。这两个Negative Embedding模型不会显著影响到胶片的质感。
Provia版本不同于之前0.1到4.0版本LoRA模型,Provia是全新的胶片模拟LoHA模型,使用100+张优选后的胶片照作为训练集,以及900+张胶片照作为正则化图像集训练而来。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/46201.html

首先,参考作者提供的样片,我们尝试生成一张。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/46201.html

模型:majicmixRealistic_v4文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/46201.html

提示词:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/46201.html

 <lyco:FilmProvia2:0.6>, 1girl dressed in a cute, country-style black dress with braided hair, standing in a rustic farm setting. She has a soft, gentle smile and expressive eyes. The background features a charming barn, fields of golden wheat, and a clear blue sky. The composition should be bathed in the warm, golden hour light, with a gentle depth of field and soft bokeh to accentuate the pastoral serenity. Capture the image as if it were taken on an old-school 35mm film for added charm. film portrait photography

负面提示词文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/46201.html

cartoon, anime, sketches, (worst quality, low quality:1.2), (deformed, distorted, disfigured, bad eyes), wrong nose, weird mouth, strange ears, bad anatomy, wrong anatomy, amputation, extra limb, missing limb, floating limbs, (bad teeth, mutated hands, wrong fingers:1.2), disconnected limbs, mutation, ugly, disgusting,  (negative_hand-neg, bad_pictures:1.2)

注意,如果只是当lora使用,可以拷贝到models\lora ,然后使用 <lora:FilmProvia2:0.6>调用文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/46201.html

C站上线Stable Diffusion革命性微调模型LyCORIS,超越LoRa

基本上还原了作者的原图。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/46201.html

C站上线Stable Diffusion革命性微调模型LyCORIS,超越LoRa

让我们换一组提示词:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/46201.html

fashion photography of blue human avatar, 1girl, light smile,in blue lush jungle with flowers and birds, sci-fi, fantasy, 3d render, symetrical, octane render, hdr, (intricate details, hyperdetailed:1.2), (natural skin texture, hyperrealism, soft light, sharp:1.2),<lyco:FilmProvia2:0.6>
C站上线Stable Diffusion革命性微调模型LyCORIS,超越LoRa
文章源自菜鸟学院-https://www.cainiaoxueyuan.com/design/46201.html
  • 本站内容整理自互联网,仅提供信息存储空间服务,以方便学习之用。如对文章、图片、字体等版权有疑问,请在下方留言,管理员看到后,将第一时间进行处理。
  • 转载请务必保留本文链接:https://www.cainiaoxueyuan.com/design/46201.html

Comment

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

确定