Stable Diffusion 简单介绍

stable diffusion 稳定扩散,通常被缩写成 SD。

它的一个主要功能是根据文字生成图片,sd 首先要根据人输入的文本提示词理解人的意图,然后根据 ai 理解的这个意图来随机生成图片。

sd 的安装可以参考这里(需要电脑满足一些硬件配置),链接里指导安装的是一个整合包,整合包可以理解为在安装了 sd 之外,还同时安装了一些常用的插件。
这份完整版的SD整合包已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

在这里插入图片描述

img

安装后运行软件,会在本地打开一个网页,界面长这个样子。

页面上有两个输入提示词的地方(提示词和反向提示词),提示词就是你希望 ai 绘制什么,反向词就是你希望 ai 避免绘制什么。

(下文用 sdwebui 来指代这个页面)

img

现在来做一个实验,提示词输入 Basketball,ai 会绘制出什么图形呢?会是一张篮球的照片吗?来看结果

img

结果是这样的,有没有一点离谱。

练习书写提示词 prompt

所以第一个问题就来了,怎么让 ai 理解自己的意思,也就是要怎么获取合适的提示词。

(你可以把提示词理解为 ai 自己的方言,而你需要使用这种方言才能和 ai 正常沟通)(sdxl 模型对自然语言的支持更好一些,后面会提到)

所以开始使用 sd 的时候,需要想办法写出准确的提示词 prompts,获取提示词有这样几个方法
1)最基本的是使用翻译工具,直接翻译词汇,作者习惯使用有道翻译
1)sd 的图生图页面有一个提示词插件,上面有很多提示词可以参考
1)让 sd 根据图片反推提示词。

在 sdwebui(上面的网页)中切换到图生图界面,点击上传图片,页面上有两个反推按钮,点击后 sd 会根据图片生成一些提示词,可以用来参考。

img

**
1)参考其他人的提示词**
另外,ai 生成的图片中是包含提示词信息的,在 sdwebui 中切换到 png 图片信息,点击上传图片后就会在右边显示出绘图时候使用的提示词信息。

例如作者们刚才的图片,提示词是 basketball

img

sdwebui 的功能很多,有文生图,图生图,多点点,熟悉它的使用。

总之,AI 绘画真正用起来还是需要掌握一些知识和技巧的,离人躺着啥都不干 AI 自动能把工作全部做好的时代还很遥远。

sd 是目前非常好用并且前景光明的一个工具了。

下载使用 lora

之后第二个问题就来了,怎么画出风格比较好看的图片。

可以下载一些 lora,lora 是一种小模型,你可以理解为在 sd 中使用的一个插件,这个插件会影响最终生成出来的图片。

作者习惯从 bulibuli 上下载 lora,地址是:LiblibAI·哩布哩布 AI – 中国领先的 AI 创作平台

img

在 sd 中添加和使用 lora 的方法如图(运行中添加新的模型或者 lora,需要在 sdwebui 页面上点对应的刷新按钮即可,不需要重启软件)。

(这时候本地 lora 是没有封面的,后面会提到,lora 需要配合对应的 sd 模型版本)

img

img

Stable Diffusion 软件目录介绍

  • models/ControlNet 控制器模型存放路径
  • modelsStable-diffusion sd 大模型存放路径(常用的 sd 大模型分两个版本,sd1.5 和 sdxl,其中 sdxl 对自然语言的理解更好一些)
  • modelsLora lora 模型存放路径(你在上面给 sd 添加的 lora 会自动放在这个路径里,你可以下载 lora 蜂封面保存成和 lora 模型名字相同的 png 文件,就能在 sdwebui 中显示 lora 封面了)

控制器,一致性扩散

sd 生成图片有很大的随机性,怎么让 sd 生成的图片满足特定条件呢?你可以使用控制器 controlnet。

使用 controlnet 通常涉及两个部分,预处理器和模型(controlnet 模型),还有一些其他参数,每个控制器的参数不尽相同。

控制器分类型和版本。

版本和 lora 一样,1.5 的控制器只能在 sd1.5 的模型上使用,xl 的控制器只能在 sdxl 上使用。

控制器分类型。

比如 openpose 控制器是控制图片中人物的姿态,canny、lineart 可以控制轮廓,segmentation 可以控制图案在图片中的位置分布等等。

img
这里直接将该软件分享出来给大家吧~

1.stable diffusion安装包

随着技术的迭代,目前 Stable Diffusion 已经能够生成非常艺术化的图片了,完全有赶超人类的架势,已经有不少工作被这类服务替代,比如制作一个 logo 图片,画一张虚拟老婆照片,画质堪比相机。

最新 Stable Diffusion 除了有win多个版本,就算说底端的显卡也能玩了哦!此外还带来了Mac版本,仅支持macOS 12.3或更高版本

在这里插入图片描述

2.stable diffusion视频合集

我们在学习的时候,往往书籍源码难以理解,阅读困难,这时候视频教程教程是就很适合了,生动形象加上案例实战,一步步带你入坑stable diffusion,科学有趣才能更方便的学习下去。

在这里插入图片描述

3.stable diffusion模型下载

stable diffusion往往一开始使用时图片等无法达到理想的生成效果,这时则需要通过使用大量训练数据,调整模型的超参数(如学习率、训练轮数、模型大小等),可以使得模型更好地适应数据集,并生成更加真实、准确、高质量的图像。

在这里插入图片描述

4.stable diffusion提示词

提示词是构建由文本到图像模型解释和理解的单词的过程。可以把它理解为你告诉 AI 模型要画什么而需要说的语言,整个SD学习过程中都离不开这本提示词手册。

在这里插入图片描述

5.SD从0到落地实战演练

在这里插入图片描述

如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名SD大神的正确特征了。
这份完整版的SD整合包已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

在这里插入图片描述

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。