AI_furry_encyclopedia / Models模型类型与推荐.md
JasonWen's picture
Update Models模型类型与推荐.md
d122d4b
|
raw
history blame
4.11 kB

一、stable diffusion大模型

SD大模型也就是checkpoint(检查点),是stable diffusion运行的必要模型。

markdown

Section title

Section content1111 1 1 1 1 1

1 1

1 1 1

1

大小:在2G到8G之间,一般大致有2G、4G、8G三个档位。一般fp32精度的原始模型大概7~8G,pruned剪枝(一种模型压缩技术,在尽可能不影响模型性能的情况下,通过删除模型中不重要的连接和节点来减小模型大小)后大小大概能减半,从fp32换成fp16模型大小也减半(从32位浮点换到16位浮点)。另外,有些模型会内置(烘焙)VAE文件,大小大概会增加300M到700M左右。对于图片生成来说,使用fp16和剪枝后的模型和原始模型的体验可能几乎没有差别,但是如果你要融合模型请一定要下载原始8G左右的模型。

格式:.ckpt或者.safetensors,二者几乎等价,safetensors格式没有pickle的风险更安全(其实也从来没有听说谁用ckpt文件被恶意代码攻击了)

路径:\models\Stable-diffusion

1.现阶段推荐的大模型

因为模型在不断迭代,所以仅推荐当下最合适的大模型

1.1本月福瑞模型的版本答案

IndigoMix 现在你要问我最推荐的福瑞模型,那我首推的是indigo模型。才用了先进的分层融合技术,在FluffyRock模型上融合进了很多LoRA进去,做到了稳定生成优质图片,相比其他模型更适合中国福瑞体质。

推荐指数:★★★★★☆

链接:

版本:

indigo门🙏!

CrossKemono

BB95

2.模型的下载

3.模型的炼制与融合

二、LoRA

可以风格、角色、动作任何画面特征都可以学习,100MB左右,

常见格式: .safetensors.ckpt.pt

LoRA的调用直接在prompt最后写<lora:LoRA名字:权重>,也可以直接在UI界面点选LoRA加入到prompt里。

存放路径:对于年初用插件实现LoRA功能的版本的存放路径:\extensions\sd-webui-additional-networks\models\lora2,之后的新版本内置LoRA的存放路径: \models\lora

三、Embedding/Textual Inversion

嵌入式Embedding (简称emb)文件是通过textual inversion(简称T.I.)对提示词打包,把很多prompt提炼成一个词汇快速调用,最主要的格式是.pt(也有少量.safetensors等格式),大小一般都是几kb,路径是,常见的有角色、动作、风格、负面的embedding。现在最常用的嵌入式文件还是负面文件,比如boring_e621、deformityv6、EasyNegative等,动作的比如 charturnerv2角色三视图、。嵌入式文件可以在c站右上角选项卡中选择开启Textual Inversion。

四、Hypernetwork

大小: 几十KB

常见格式:pt

存放路径: \models\bypernetworks通过画风训练产出,能指定特定的画风,新版本可在页面上直接加载

五、DreamBooth(简称DB)

大小: 2G-7G

常见格式: .ckpt.safetensors

可以训练角色,画风,物件等,使用方法和主模型相同

六、VAE

VAE(Variational AutoEncoder变分自动编码器)文件在绝大多数的情况下可以理解为滤镜,如果你生成的图片发灰,那大概率是没有加载vae文件。

大小:fp32的大小约为780MB,fp16的大小为300MB~400MB(有待求证)

存放路径: \models\VAE

常见格式: .vae.pt(也有部分是ckptsafetensors

注意:1.有些sd大模型是内置(烘焙)了vae文件的,所以不加载vae也能正常使用,请参考这个模型的介绍

2.绝大多数模型(尤其是融合模型)都没有单独炼一个vea,大部分模型在炼制和融合的时候都是使用的NovelAI原版fp32的VAE

3.VAE的加载可以在WebUI的settings设置-stable diffusion-sd_vae模型的vae中切换(如果你在快捷显示中把vae切换)

常见的VAE:如图是秋叶启动器预设提供的VAE,我们可以看到any3、any4、counterfeit、橘子这些大模型的VAE都是用的NovelAI原版VAE ![[Pasted image 20230524205111.png]]