AI_furry_encyclopedia / Models模型类型与推荐.md
JasonWen's picture
Update Models模型类型与推荐.md
d122d4b
|
raw
history blame
4.11 kB
## 一、stable diffusion大模型
SD大模型也就是checkpoint(检查点),是stable diffusion运行的必要模型。
markdown
<details>
<summary>Section title</summary>
Section content1111
1
1
1
1
1
1
1
1
1
1
1
</details>
大小:在2G到8G之间,一般大致有2G、4G、8G三个档位。一般fp32精度的原始模型大概7~8G,pruned剪枝(一种模型压缩技术,在尽可能不影响模型性能的情况下,通过删除模型中不重要的连接和节点来减小模型大小)后大小大概能减半,从fp32换成fp16模型大小也减半(从32位浮点换到16位浮点)。另外,有些模型会内置(烘焙)VAE文件,大小大概会增加300M到700M左右。对于图片生成来说,使用fp16和剪枝后的模型和原始模型的体验可能几乎没有差别,但是如果你要融合模型请一定要下载原始8G左右的模型。
格式:`.ckpt`或者`.safetensors`,二者几乎等价,safetensors格式没有pickle的风险更安全(其实也从来没有听说谁用ckpt文件被恶意代码攻击了)
路径:`\models\Stable-diffusion`
### 1.现阶段推荐的大模型
因为模型在不断迭代,所以仅推荐当下最合适的大模型
#### 1.1本月福瑞模型的版本答案
**IndigoMix**
现在你要问我最推荐的福瑞模型,那我首推的是indigo模型。才用了先进的分层融合技术,在FluffyRock模型上融合进了很多LoRA进去,做到了稳定生成优质图片,相比其他模型更适合中国福瑞体质。
推荐指数:★★★★★☆
链接:
版本:
indigo门🙏!
**CrossKemono**
**BB95**
### 2.模型的下载
### 3.模型的炼制与融合
## 二、LoRA
可以风格、角色、动作任何画面特征都可以学习,100MB左右,
常见格式: `.safetensors``.ckpt``.pt`
LoRA的调用直接在prompt最后写`<lora:LoRA名字:权重>`,也可以直接在UI界面点选LoRA加入到prompt里。
存放路径:对于年初用插件实现LoRA功能的版本的存放路径:`\extensions\sd-webui-additional-networks\models\lora2`,之后的新版本内置LoRA的存放路径: `\models\lora`
## 三、Embedding/Textual Inversion
嵌入式Embedding (简称emb)文件是通过textual inversion(简称T.I.)对提示词打包,把很多prompt提炼成一个词汇快速调用,最主要的格式是.pt(也有少量.safetensors等格式),大小一般都是几kb,路径是,常见的有角色、动作、风格、负面的embedding。现在最常用的嵌入式文件还是负面文件,比如boring_e621、deformityv6、EasyNegative等,动作的比如 charturnerv2角色三视图、。嵌入式文件可以在c站右上角选项卡中选择开启Textual Inversion。
## 四、Hypernetwork
大小: 几十KB
常见格式:pt
存放路径: `\models\bypernetworks`通过画风训练产出,能指定特定的画风,新版本可在页面上直接加载
## 五、DreamBooth(简称DB)
大小: 2G-7G
常见格式: `.ckpt`,`.safetensors`
可以训练角色,画风,物件等,使用方法和主模型相同
## 六、VAE
**VAE**(Variational AutoEncoder变分自动编码器)文件在绝大多数的情况下可以理解为滤镜,如果你生成的图片发灰,那大概率是没有加载vae文件。
大小:~~fp32的大小约为780MB,fp16的大小为300MB~400MB~~(有待求证)
存放路径: `\models\VAE`
常见格式: `.vae.pt`(也有部分是`ckpt`,`safetensors`)
注意:1.有些sd大模型是内置(烘焙)了vae文件的,所以不加载vae也能正常使用,请参考这个模型的介绍
2.绝大多数模型(尤其是融合模型)都没有单独炼一个vea,大部分模型在炼制和融合的时候都是使用的NovelAI原版fp32的VAE
3.VAE的加载可以在WebUI的settings设置-stable diffusion-sd_vae模型的vae中切换(如果你在快捷显示中把vae切换)
常见的VAE:如图是秋叶启动器预设提供的VAE,我们可以看到any3、any4、counterfeit、橘子这些大模型的VAE都是用的NovelAI原版VAE
![[Pasted image 20230524205111.png]]