AnimateDiff简介
该插件主要用来制作动图，并不能用来生成比较长的视频，我体验着和pika差不多，效果上照着商用还有不小的距离。在githup的网址中有论文地址和许多示例。
githup：GitHub – guoyww/AnimateDiff: Official implementation of AnimateDiff.
作者还提出了MotionLoRA，以前的lora大都是画风方面的，MotionLoRA是动作类型的，作者发布了几个镜头方向变化的模型，比如内容左移。
论文中介绍的主要包含3部分，其中motion module是针对动作的，从效果上看动作确实能控制，但是前后帧的内容上总不太对应，作者的demo中，人物的衣服和饰品都发生变化。归根结底，一帧一帧的做视频还是不行，期待sora的开放。
安装
AnimateDiff有sd的插件版本：GitHub – continue-revolution/sd-webui-animatediff: AnimateDiff for AUTOMATIC1111 Stable Diffusion WebUI
使用秋叶大神的整合包的话，从这里搜索安装即可：
安装后是这样的：
安装后，还需要下载模型文件，模型放在stable-diffusion-webui/extensions/sd-webui-animatediff/model/下。模型从huggingface下载：https://huggingface.co/guoyww/animatediff/tree/main
我这里使用的是mm_sd_v15_v2.ckpt，sdxl也有对应的版本。
lora下载后放在stable-diffusion-webui/models/Lora，就想普通lora一样使用就行了。
使用
animatediff设置界面有许多参数，在githup上都做了详细的解释，我们一般只需要设置总帧数和帧率就行。闭环指的是第一帧和最后一帧是否相同和近似，应为gif是循环播放的话，第一帧和最后一帧差距大太会导致明显的卡顿。其余的还有视频控制等参数设置，我们后续再探索。
toonyou模型，animatediff的demo使用了这个模型，我们首选也是这个模型。该模型是动漫风格的，demo中可以看到动漫风格的效果更好些。
我们使用toonyou的样图来制作gif，
我解锁了随机种子，生产的gif效果如下，可以看到人物基本是没动的，仅仅只是头发有些飘动，后面加上lora在看有动作的。由于同时开了高分辨修复，耗时非常长，我3060的卡用了20多分钟：
添加了PanLeft的lora，效果如下。可以看到人物确实有了动作（方向不清楚是不是反的）。可以明显的看到衣服上的图案是不对应的，项链款式也在变化，身材和脸型变化都不大。关闭了高分辨率修复，10分钟内就可以搞定。
AnimateDiff可以配合controlNet，上传视频源后，直接启动ControlNet，ControlNet这边儿是不需要再输入数据的。我们以姿态控制为例生成一段科目三的视频，我这里只生成了16帧，帧率设置为8，太多的数据我这显卡处理不了，显存会溢出。
输入的视频转为gif如下：
生成的gif如下，没有开高分辨率修复，尺寸设置的也比较小，效果看起来并不好，如果使用大点的显卡效果应该会好点：
ControlNet有许多种控制方式，AnimateDiff和ControlNet的结合还有许多探索的空间，后续再实验。
关于AI绘画技术储备
学好 AI绘画 不论是就业还是做副业赚钱都不错，但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料，给那些想学习 AI绘画 的小伙伴们一点帮助！
对于0基础小白入门：
如果你是零基础小白，想快速入门AI绘画是可以考虑的。
一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以找到适合自己的学习方案
包括：stable diffusion安装包、stable diffusion0基础入门全套PDF，视频学习教程。带你从零基础系统性的学好AI绘画！
需要的可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
1.stable diffusion安装包 （全套教程文末领取哈）
随着技术的迭代，目前 Stable Diffusion 已经能够生成非常艺术化的图片了，完全有赶超人类的架势，已经有不少工作被这类服务替代，比如制作一个 logo 图片，画一张虚拟老婆照片，画质堪比相机。
最新 Stable Diffusion 除了有win多个版本，就算说底端的显卡也能玩了哦！此外还带来了Mac版本，仅支持macOS 12.3或更高版本。
2.stable diffusion视频合集
我们在学习的时候，往往书籍代码难以理解，阅读困难，这时候视频教程教程是就很适合了，生动形象加上案例实战，一步步带你入门stable diffusion，科学有趣才能更方便的学习下去。
3.stable diffusion模型下载
stable diffusion往往一开始使用时图片等无法达到理想的生成效果，这时则需要通过使用大量训练数据，调整模型的超参数（如学习率、训练轮数、模型大小等），可以使得模型更好地适应数据集，并生成更加真实、准确、高质量的图像。
4.stable diffusion提示词
提示词是构建由文本到图像模型解释和理解的单词的过程。可以把它理解为你告诉 AI 模型要画什么而需要说的语言，整个SD学习过程中都离不开这本提示词手册。
5.AIGC视频教程合集
观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。
实战案例
纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。
这份完整版的学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
评论(0)