Stable Diffusion教程!局部重绘|手涂蒙版|上传蒙版|批量处理

时间:2023-07-05
B站视频:av272446001
类别:AIGC
水平:入门
观众:2.1w
设计师入站必刷的宝藏频道,掌握设计真本领与AI并肩 👉 立即点击

当视频无法加载时请刷新页面,
或前往PC获得最佳体验。

Stable Diffusion教程!局部重绘|手涂蒙版|上传蒙版|批量处理

教程作者: 野鹿志(授权转载)

交作业:微博搜索话题 #优设每日作业# 进入话题页即可发布作业

一、关于教程

今天我们将进入图生图局部重绘部分的学习,写完之后Stable Diffusion新手教程基本就介绍完了,后面可能会对部分遗漏的功能以小知识的方式进行补充。

开始学习局部重绘的时候,我们需要有一个概念,局部重绘也是一种图生图。它同样是让你喂入一张图片,并且输入提示词来对画面进行控制,只不过它控制的是局部

因此我们学习了图生图以后,只需要再单独了解局部重绘的相关参数就行了。

二、教程内容

01 蒙版模糊及蒙版模式

局部重绘的第一个参数是蒙版模糊,这个相当于PS的羽化功能,控制着蒙版边缘的模糊程度。

例如我这里载入图片,先将蒙版模糊数值改为0进行生成,可以明显看到蒙版的边缘:

Stable Diffusion教程!局部重绘|手涂蒙版|上传蒙版|批量处理

而当我适当提高蒙版模糊的数值,蒙版的边缘就被羽化掉了,所以如果你想让它融入周围的环境,你可以适当增加这个数值:

Stable Diffusion教程!局部重绘|手涂蒙版|上传蒙版|批量处理

蒙版模式很容易理解,用于控制你重绘的是蒙版以内的内容还是蒙版以外的内容:

Stable Diffusion教程!局部重绘|手涂蒙版|上传蒙版|批量处理

02 蒙版蒙住的内容

这个参数我觉得需要着重理解一下,以便于我们学习后面的内容,外网对这个参数的介绍也不是特别清楚。

我这里就分享一下自己通过测试后的理解吧,先说结论,蒙版蒙住的内容其实就是局部重绘的四种不同的算法。

为了演示效果,我先把重绘幅度改为0:

Stable Diffusion教程!局部重绘|手涂蒙版|上传蒙版|批量处理

我将一张图片的背景颜色换了一下,和原图拼接在一起,然后在SD中使用同一随机种子进行测试:

Stable Diffusion教程!局部重绘|手涂蒙版|上传蒙版|批量处理

使用填充模式,可以明显看到黑色背景的图蒙版部分颜色会比白色的颜色深。

由此可以推断出,填充是根据“周围颜色”填充蒙版范围的算法:

Stable Diffusion教程!局部重绘|手涂蒙版|上传蒙版|批量处理

而原图模式,当我们重绘幅度为0的时候基本和原图没有区别。

因此我们可以看出它基于的是“原始图像”填充蒙版范围的算法:

Stable Diffusion教程!局部重绘|手涂蒙版|上传蒙版|批量处理

潜变量噪声,可以很容易看出它是根据噪声图来生成图像:

Stable Diffusion教程!局部重绘|手涂蒙版|上传蒙版|批量处理

而潜变量数值零,可以看出不管是白底还是黑底,蒙版的颜色都很接近。

因此我们可以理解为它和填充模式相反,是根据“蒙版范围内的颜色”来填充蒙版范围的算法。

但和填充模式不同的是,它也是一种潜变量,因此生成的效果同样会出乎意料:

Stable Diffusion教程!局部重绘|手涂蒙版|上传蒙版|批量处理

通过以上的对比观察我们可以得出以下不太成熟的小结论。

由于填充模式是根据周围颜色来填充蒙版内容,换一句话说约等于蒙版的内容更容易擦除,因此这种算法适合擦除不需要的部分:

Stable Diffusion教程!局部重绘|手涂蒙版|上传蒙版|批量处理

而原图模式适用于在原图基础上进行微调,绝大多数时候我们也是使用这种模式:

Stable Diffusion教程!局部重绘|手涂蒙版|上传蒙版|批量处理

潜变量噪声会让AI放飞自我,生成一些不可预测的图像:

Stable Diffusion教程!局部重绘|手涂蒙版|上传蒙版|批量处理

第四种我们前面提到了,它是根据蒙版内的颜色来填充的一种潜变量,因此如果你希望AI放飞自我的同时保留原图色调的痕迹,可以选择这种算法:

Stable Diffusion教程!局部重绘|手涂蒙版|上传蒙版|批量处理

另外再次提醒大家一点,如果你希望重绘更可控一些是需要配合提示词使用的,我这里只是简单演示所以没有书写提示词:

Stable Diffusion教程!局部重绘|手涂蒙版|上传蒙版|批量处理

03 重绘区域及边缘预留像素

这个选项大家不要和上面蒙版模式里的重绘蒙版或非蒙版内容搞混淆,重绘区域其实是选择指定生成图分辨率的模式。

例如在全图模式下,我设置的分辨率与原图不同,和图生图一样,生成的图片会根据你选择的缩放模式进行变化:

Stable Diffusion教程!局部重绘|手涂蒙版|上传蒙版|批量处理

而当我选择为仅蒙版的时候,分辨率就仅针对于蒙版区域,不会影响整体出图的尺寸:

Stable Diffusion教程!局部重绘|手涂蒙版|上传蒙版|批量处理

那这个到底有什么用处呢,我们以面部修复举例吧。

首先我们要知道生成图,脸部崩坏的主要原因是图片分辨率小,脸部所占图比例更小,AI无法发挥导致的。

例如我们现在要修复这样一张人脸,首先在提示词中输入A man:

Stable Diffusion教程!局部重绘|手涂蒙版|上传蒙版|批量处理

这张原图的尺寸是512*768,脸部所占的像素密度就更小了,使用全图模式,我们只能提高整体成图的尺寸才能提高脸部的分辨率:

Stable Diffusion教程!局部重绘|手涂蒙版|上传蒙版|批量处理

可以看到现在脸部没有崩坏的情况了,但是这样必然会给显卡增加负担,如果你原图的尺寸更大,那用全图模式修复脸部基本不太现实:

Stable Diffusion教程!局部重绘|手涂蒙版|上传蒙版|批量处理

这个时候我们就可以用到仅蒙版模式了,首先仅蒙版模式它只会计算蒙版区域,并且会根据你设置的分辨率来进行绘制。

因此我们可以设置以512*512的像素密度来重绘脸部,这样不仅耗时更少,而且修复的效果也挺好:

Stable Diffusion教程!局部重绘|手涂蒙版|上传蒙版|批量处理

在仅蒙版模式下,分辨率也不是设置得越高越好,我们拿另外一个换脸的案例举例吧。

这是我用文生图生成的一张图片,然后我要用局部重绘换成Jensen Ackles的脸,提示词中我载入了Jensen Ackles的Lora模型:

Stable Diffusion教程!局部重绘|手涂蒙版|上传蒙版|批量处理

分辨率里我故意设置得比较高,重绘区域为仅蒙版:

Stable Diffusion教程!局部重绘|手涂蒙版|上传蒙版|批量处理

可以看到换脸的效果并不好,这是由于本来面部的画面占比就不小,高分辨率设置使得像素密度过高,AI就会过度发挥:

Stable Diffusion教程!局部重绘|手涂蒙版|上传蒙版|批量处理

要解决这个问题当然是让像素密度不要这么高,第一种方法就是降低分辨率,比如我这里在使用同一随机种子的情况下,降低了分辨率,效果反而好了:

Stable Diffusion教程!局部重绘|手涂蒙版|上传蒙版|批量处理

第二种方法就是提高边缘预留像素,这个参数如它的名字所示,只在仅蒙版模式下生效:

Stable Diffusion教程!局部重绘|手涂蒙版|上传蒙版|批量处理

提高了边缘预留像素其实也就是变相的降低了像素密度,因此我在保持高分辨率的情况下,提高这个参数,效果也会得到改善:

Stable Diffusion教程!局部重绘|手涂蒙版|上传蒙版|批量处理

当然就这张图要换脸而言,你直接使用全图模式,把分辨率调整为和原图一样,效果也是不错的:

Stable Diffusion教程!局部重绘|手涂蒙版|上传蒙版|批量处理

04 局部重绘之手涂蒙版

我们再来看一个案例,现在我要把画中的女孩衣服换成红色,在提示词中输入红色的衣服:

Stable Diffusion教程!局部重绘|手涂蒙版|上传蒙版|批量处理

你会发现即使我们把提示词顺序放在最前面,也加了权重,还是很难实现,最多会出现一些红色的元素而已。

这是因为我们想要得到的图片颜色与原图差别太大了,当我们学完了局部重绘的四种算法,这点就可以理解了:

Stable Diffusion教程!局部重绘|手涂蒙版|上传蒙版|批量处理

于是局部重绘之手涂蒙版孕育而生,和图生图的绘图功能一样,手涂蒙版就是为了让你能在原图上进行编辑。

例如我现在把蒙版颜色改为红色,同样把衣服涂满,就能很轻松的把衣服颜色换成红色了:

Stable Diffusion教程!局部重绘|手涂蒙版|上传蒙版|批量处理

你还可以在红色的衣服上加上黄色的扣子,它也能在一定程度上识别出来:

Stable Diffusion教程!局部重绘|手涂蒙版|上传蒙版|批量处理

相比重绘幅度的参数,手涂蒙版还多了一个蒙版透明度,增加这个参数会让手涂蒙版的透明度降低,适当的提高会与原图的颜色进行一定的融合得到意外的效果:

Stable Diffusion教程!局部重绘|手涂蒙版|上传蒙版|批量处理

05 局部重绘(上传蒙版)及批量处理

这是图生图的最后两个功能,通过前面的学习我们知道了需要自己手涂一个蒙版,然后进行重绘。

而当你要手涂的细节比较多的时候就会很麻烦,因此就有了局部重绘上传蒙版的功能。

这个功能允许你手动上传一个黑白图当作蒙版进行重绘区域,这样我们就可以在PS里直接做选区绘制蒙版了:

Stable Diffusion教程!局部重绘|手涂蒙版|上传蒙版|批量处理

当然和前面一样,如果你要重绘的颜色和原图差异太大,还是需要手动修改原图才行。

另外使用上传蒙版有两点需要额外注意,第一是和前面局部重绘不同,上传蒙版中的白色代表重绘区域,黑色代表保持原样。

所以例如我这里PS中把衣服弄成了黑色,那么蒙版模式我就需要选择重绘非蒙版内容:

Stable Diffusion教程!局部重绘|手涂蒙版|上传蒙版|批量处理

第二,上传的蒙版一定要是黑白图,不要带透明通道,例如我这里上传的是带透明通道的蒙版,那么重绘的区域会呈现方形区域,不会贴合我们想要重绘的衣服:

Stable Diffusion教程!局部重绘|手涂蒙版|上传蒙版|批量处理

最后一个功能是批量处理,说实话我自己还没用过,只知道用法,就大概给大家介绍一下吧,输入栏位需要我们填写存放原图的路径:

Stable Diffusion教程!局部重绘|手涂蒙版|上传蒙版|批量处理

输出路径的位置就不用赘述了:

Stable Diffusion教程!局部重绘|手涂蒙版|上传蒙版|批量处理

输出路径的下面是我们存放蒙版的路径,蒙版图片的名称要和原图的名称一一对应,这样当我们设置好参数之后,就可以一次性重绘多张图了:

Stable Diffusion教程!局部重绘|手涂蒙版|上传蒙版|批量处理

最后我们再用一句话来概括Stable Diffusion各个板块的作用吧:

  • 文生图:通过提示词生成图片。
  • 图生图:文生图的基础上添加喂图端口,进一步控制出图。
  • 绘图:图生图加上手绘模式,可编辑输入的原图。
  • 局部重绘:图生图的局部控制。
  • 局部重绘手涂蒙版:局部重绘加上手绘模式,可编辑输入的原图。
  • 局部重绘上传蒙版:对局部重绘蒙版的精准绘制。
  • 批量处理:局部重绘的批量处理。

从上述总结可以看出,Stable Diffusion各个板块的功能其实都是对前一个板块的补充,这样相信大家就能很清晰的了解到每一个板块负责的内容了。

以上就是今天想要分享给大家的所有内容。

如果觉得对自己有所帮助,请不要吝啬自己的点赞、点在看、转发朋友圈,你们的支持对我很重要,谢谢!

欢迎关注「野鹿志」的微信公众号:

Stable Diffusion教程!局部重绘|手涂蒙版|上传蒙版|批量处理

想要来「优优自学团」和500位小伙伴一起交流学习进步吗?
添加管理员微信:uisdc5 备注「优优自学团」(无备注不通过哦)

学完这篇教程的人还在学…

5 收藏 6

非特殊说明,本站 UiiiUiii.com 上的教程均由本站作者及学员原创或翻译,原作品版权归属原作者,转载请联系 @优优教程网 授权。

转载时请在文首注明,来源 UiiiUiii.com 及教程作者,并附本文链接。谢谢各位编辑同仁配合。UiiiUiii 保留追究相应责任的权利。

复制本文链接
img

发表评论 已发布 1

还可以输入 800 个字
yzm
 
 
加载更多评论
没有更多评论了

优优教程网 365 天打卡计划

点击 #优设每日作业# 进入微博超话页面,上传并发布你的练习作业,话题微博格式【 优优教程网365打卡计划 – DAY 01 】,优秀作业将有机会被 @优优教程网 官方微博转发点评。

/

支持键盘 ← → 键翻阅图片