AI绘图|Stable diffusion模型如何区分？通俗易懂，入门必看！

在使用Stable diffusion进行AI绘图时，经常遇到大模型、VAE、LORA，看到这些概念，头就有点懵懵的，不知道怎样进行选择，下面我给大家简单讲下：

1、简单说说模型后缀

.ckpt 的全称是 checkpoint，中文翻译就是检查点，这是 TensorFlow中用于保存模型参数的格式，通常与 .meta 文件一起使用，以便恢复训练过程。

简单理解的话，.ckpt模型就好比我们打游戏时，每通过一关时对这一关的一个“存档”，因为你在训练模型时也是如此，没办法保证能一次就训练成功，中途是有可能因为各种因素失败的，所以可能在训练到20%时就存一次档，训练到40%时又存一次档，这也是为什么它叫 checkpoint 的一个原因。

讲完了 .ckpt 模型，那么就该说说 .safetensors 模型了。

之所以有 .safetensors 模型，是因为 .ckpt 为了让我们能够从之前训练的状态恢复训练，好比从50%这个点位重新开始训练，从而保存了比较多的训练信息，比如模型的权重、优化器的状态还有一些Python代码。

这种做法有两个问题，一是可能包含恶意代码，因此不建议从未知或不信任的来源下载并加载.ckpt 模型文件；二是模型的体积较大，一般真人版的单个模型的大小在7GB左右，动漫版的在2-5GB之间。

而 .safetensors 模型则是 huggingface 推出的新的模型存储格式，专门为Stable Diffusion模型设计。这种格式的文件只保存模型的权重，而不包含优化器状态或其他信息，这也就意味着它通常用于模型的最终版本，当我们只关心模型的性能，而不需要了解训练过程中的详细信息时，这种格式便是一个很好的选择。

由于 .safetensors 只保存模型的权重，没有代码，所以会更安全；另外由于保存的信息更少，所以它的体积也比 .ckpt 小，加载也更快，所以目前是比较推荐使用 .safetensors 的模型文件。

2、再说说模型的分类

在Stable diffusion中，模型主要分为五大类，分别是Stable diffusion模型、VAE模型、Lora模型。

2.1 Stable diffusion大模型

这类模型俗称“底模”，对应下面这个位置。

这类模型代表了Stable diffusion的一个知识库，比如说我们训练大模型用的全是二次元的图片，那么它最终生成的图片效果也会趋于二次元；而如果训练的时候用的是真人图片，则最终出图效果则趋于真人。

由于这类模型包含的素材非常多，训练的时间也非常长，所以体积也比较大，一般在2GB以上，后缀的话就是上面提到的 .ckpt 和 .safetensors

2.2 VAE模型

VAE全称Variational autoenconder，中文叫变分自编码器，这种模型可以简单理解为起到一个滤镜的效果。在生成图片的过程中，主要影响的是图片的颜色效果。

一般来讲，在生成图片时，如果没有外挂VAE模型，生成的图片整体颜色会比较暗淡；而外挂了VAE模型的图片整体颜色会比较明亮。

注：左边是没有使用VAE生成的图片，右边是使用VAE生成的图片

不过需要注意的是，有一些大模型在训练的时候就已经嵌入了VAE的效果，所以即使没有使用VAE效果，出图的效果也不会那么暗淡。

另外，有时候使用VAE反倒会出现一个不好的效果，比如在最后一刻变成一张蓝色废图，这时候就需要把外挂VAE改成自动（Automatic）即可

注：像这种即为蓝色废图

2.3 Lora模型

Lora模型想必大家都经常看到了，LoRA的英文全称为Low-Rank Adaptation of Large Language Models，直译为“大语言模型的低阶适应”。这是一项由微软研究人员提出的大语言模型微调技术，简单来说，它的作用是让这些庞大的模型变得更加灵活和高效，能够在特定任务上进行优化（比如对样式进行一些修改），而不需要从头开始训练整个模型。

比如像下面这个Lora模型，就是在大模型的基础上增加一些森林水母发光的效果（就是我们不必为了增加这个效果，重新训练我们的大模型，因为训练大模型花费时间很长，通过Lora就可以提高效率）

需要注意的是，Lora模型并不能单独使用，它必须与前面的大模型一起使用！

另外，由于Lora训练的图片较少，比如上面的Lora就是用100+图片训练的，所以它的体积一般不会很大，一般在几十到几百MB之间，这样大大节省了磁盘的占用量。

最后，有些Lora模型启用是需要触发词的（也就是在提示词那里加上这个触发词），比如上面的Lora触发词就是 jellyfishforest

2.4 Embedding模型

Embedding模型也称为textual inversion，即文本反转。在Stable Diffusion中，Embedding模型使用了嵌入技术以将一系列输入提示词打包成一个向量，从而提高图片生成的稳定性和准确性。

简单来说，如果我们要通过SD生成火影里面的鸣人形象，我们需要好几个提示词来进行描述，比如什么外形，穿什么颜色的衣服，而Embedding就是将这一系列提示词打包成为一个新的提示词，假设叫鸣人。

这样后续我们只要引入这个 Embedding模型，然后输入鸣人提示词，就会生成我们想要的鸣人形象，提高了写提示词的效率！

由于Embedding模型只是将提示词整合了，所以它的体积非常小，一般在几十到几百KB之间。

举个例子，比如像这个 Embedding 模型，它描绘了一位叫Caroline Dare的美女

当我们输入触发词时，就会生成类似的美女

虽然生成的图片不是一模一样，因为这跟你使用的底模有关，但是比较明显的特征是一致的，比如白头发

3、模型的下载：

哩布哩布：https://www.liblib.ai

4、常用模型介绍：

写实类模型：

二次元模型：

2.5D模型：

上面这些是模型的介绍，你还有疑问吗？

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错，但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料，给那些想学习 AI绘画 的小伙伴们一点帮助！

对于0基础小白入门：

如果你是零基础小白，想快速入门AI绘画是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以找到适合自己的学习方案

包括：stable diffusion安装包、stable diffusion0基础入门全套PDF，视频学习教程。带你从零基础系统性的学好AI绘画！

需要的可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

1.stable diffusion安装包 （全套教程文末领取哈）

随着技术的迭代，目前 Stable Diffusion 已经能够生成非常艺术化的图片了，完全有赶超人类的架势，已经有不少工作被这类服务替代，比如制作一个 logo 图片，画一张虚拟老婆照片，画质堪比相机。

最新 Stable Diffusion 除了有win多个版本，就算说底端的显卡也能玩了哦！此外还带来了Mac版本，仅支持macOS 12.3或更高版本。

2.stable diffusion视频合集

我们在学习的时候，往往书籍代码难以理解，阅读困难，这时候视频教程教程是就很适合了，生动形象加上案例实战，一步步带你入门stable diffusion，科学有趣才能更方便的学习下去。

3.stable diffusion模型下载

stable diffusion往往一开始使用时图片等无法达到理想的生成效果，这时则需要通过使用大量训练数据，调整模型的超参数（如学习率、训练轮数、模型大小等），可以使得模型更好地适应数据集，并生成更加真实、准确、高质量的图像。

4.stable diffusion提示词

提示词是构建由文本到图像模型解释和理解的单词的过程。可以把它理解为你告诉 AI 模型要画什么而需要说的语言，整个SD学习过程中都离不开这本提示词手册。

5.AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

这份完整版的学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】