今天我们来分享一个 ComfyUI 中的局部重绘神器:BrushNet,可以对模特实现一键换衣,一键替换场景中的元素,一键替换背景等等。
简单点说就是想换哪里换哪里!
而且 BrushNet 现在也已经支持 SDXL 的模型了!
好了,话不多说,我们直接开整。
先来看下效果:
换发色:
换衣服:
替换背景:
这份完整版的comfyui工作流整合包已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】
首先我们需要安装 BrushNet 插件,直接在 ComfyUI 管理器中搜索「ComfyUI-BrushNet」,会出来两个,听雨这里用的是第二个。
安装完成,重启 ComfyUI 以后,还没完事,还需要下载对应的模型!
模型文件,听雨放在文末的网盘里了,小伙伴们自取!
把网盘中的文件解压到「modelsinpaint」目录下即可,如果没有「inpaint」文件夹可以自己建一个。
接下来我们就可以好好的玩耍了。
初始工作流呢也很简单,主要是 BrushNet 的两个节点,一个是「BrushNet加载器」节点,一个是「BrushNet」节点。
比如我们这里要把图片中的汽车替换成一个汉堡。
嗯,这是一个保持了汽车形状的汉堡包。
BrushNet加载器节点主要就是加载我们的模型 BrushNet 模型, random 和 segmentation 的功能都差不多,主要是训练集和处理掩码的方式不同。
segmentation 主要针对特定形状的图像分割,而 random 则更通用一些,可以针对各种形状的图像分割。
不带 sdxl 的模型只能针对 SD1.5 的模型,带 sdxl 的模型自然就是针对 SDXL 的模型啦!
这里要是小伙伴们看的不爽,可以把 SD1.5 的模型和 SDXL 的模型分别放到不同的文件夹里。
继续看第二个节点,连线就不说了,小伙伴们直接把网盘里的工作流拖进来就好了。
scale:BrushNet 的”强度”,默认是 1,越大,BrushNet 对最终出图的影响也就越大;越小就影响越小。
start_at:就是从哪一步开始影响图片的生成。
end_at:就是从哪一步结束影响图片的生成。
我们主要来看下 scale,可以看到 scale 设置为 0 的时候,和原图已经没有太多关系了。
再来看下 scale 设置为 2 的时候,和原图则更相似。所以这个大家出图的时候可以自由调整。
这里再提一下,我们可以直接上传带遮罩的图片,也可以直接上传图片,然后鼠标右击图片,选择在SAM检测中打开,或者在遮罩编辑器中打开,区别是一个选中物体会自动分割,一个需要我们自己手动涂抹区域。
在 SAM 检测中打开:
蓝色的点就是选中的区域,哪里漏了,你多点几个点就好了。
如果不想选中,那就鼠标右键点击区域,会有个红色的小点。
然后点击 Detect 就会自动生成遮罩。
最后记得点击右下角的 Save to node。
在遮罩编辑器中打开就是需要自己涂抹想要遮罩的区域了,但是胜在灵活,涂完以后记得点击 Save to node 哦!
当然除了以上两种方法,我们也可以使用 segment anyting 插件来得到遮罩,感兴趣的小伙伴可以自己了解一下,这里就不细讲了。
工作流听雨也会放在文末的网盘里,这个需要大家下载 segment anyting 插件,报红的小伙伴可以点击管理器中的安装缺失节点进行安装。
以上讲了怎么替换选中的物体,那如果我们要替换背景怎么办呢?
也很简单,只需要把遮罩反转一下就可以了!
只需要在 1 和 2 两个链接点之间加一个遮罩反转节点就可以了,segment anyting 也同样的操作。
比如我们要把背景替换到公园。毫无违和感有么有!
同时还可以搭配 Lora 来使用,比如我们这里搭配一个中国甲胄的 Lora,想要替换什么风格的衣服就使用什么风格的 Lora 就可以了。
好了,今天就先分享一下 BrushNet 的基础功能吧,不过 BrushNet 的功能并不止这些哦,感兴趣的小伙伴也可以去深入了解一下哦!
一、AIGC所有方向的学习路线
AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。
二、AIGC必备工具
工具都帮大家整理好了,安装就可直接上手!
三、最新AIGC学习笔记
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
这份完整版的comfyui工作流整合包已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】
评论(0)