我们很幸运生活在AI时代。人工智能迅速发展，现在变得更加易于获取。大多数开源模型都经过了充分的训练，拥有来自广泛类别的合理数量的数据，因此我们可以生成许多不同类别的图像。如果模型从未学习过我们想要生成的特定主题怎么办？例如，我想要生成我今天早上刚做的蛋糕的图像。尽管模型可以生成无数种蛋糕图像，但模型不知道如何生成我刚刚制作的蛋糕的图像。
尽管从头开始训练对个人来说几乎是不可能的，但由于不断发展的模型微调技术，将新主题纳入模型可以轻松实现。自2022年以来，Stable Diffusion作为最新趋势的一代模型，为图像生成开启了一个全新的时代。在本文中，我想分享如何使用现代技术LoRA逐步微调Stable Diffusion模型的指南。整个练习在Kaggle笔记本上进行，这样每个人都可以在没有适当设备的情况下完成这个练习。
在我们开始实现之前，让我们快速了解一下Stable Diffusion的概念和微调技术LoRA。如果你已经熟悉背后的知识，请随时跳到实施部分。
Stable Diffusion
图1. Stable Diffusion中的反向扩散
Stable Diffusion是一种可以从文本和图像生成逼真照片的生成性AI模型。扩散模型在潜在空间而不是图像空间中施展魔法，这使得图像生成对公众来说更加可行，因为所需的计算能力更低。人们甚至可以在CPU机器上的小憩期间生成一个不存在的图像。
有许多在线的稳定扩散平台供公众和开发者使用，如HuggingFace¹和Stable Diffusion Online²。我们可以在没有机器学习知识的情况下生成图像。
LoRA（低秩适应）
图2. Stable Diffusion网络
LoRA是一种微调方法，它在稳定扩散网络的交叉注意力层中添加了额外的权重。交叉注意力层在图2中由黄色块表示。交叉注意力层融合了图像ZT和文本τθ的中间信息。向交叉注意力层添加权重扩展了文本提示和图像之间的相关性。这就是LoRA如何向稳定扩散模型引入新知识。
修改后的权重被分解为更小的（低秩）矩阵。这些较小的矩阵携带的参数更少，并单独存储。这就是为什么LoRA权重文件的尺寸可控，但必须与底层的Stable Diffusion模型一起使用。
LoRA的权重大小通常在2到200 MB之间。这是共享和管理模型的优势之一。与其以几GB的整个模型共享，更有效的方法是以更小的尺寸共享LoRA权重。
环境
这个练习是在Kaggle笔记本中进行的，环境设置如下：
Kaggle笔记本已经安装了Python和PyTorch。我们需要安装的唯一库是来自HuggingFace的Diffusers。我们可以使用以下命令从源安装Diffusers。从源安装确保了库的最新版本。路径/kaggle/working是Kaggle运行时的默认工作空间。人们可以调整路径以适应自己的开发环境。
%cd /kaggle/working/``!pip install accelerate``!git clone https://github.com/huggingface/diffusers%cd /kaggle/working/diffusers``!pip install /kaggle/
评论(0)