你是否遇到过自己AI画的图出现畸形的情况(下图)。近期,一款controlnet插件的上市,完美的解决了这个问题。
有了Controlnet我们就可以完成很多不可思议的绘图操作
今天,我们分享Controlnet的各项参数和使用方法。
如果,你的SD-wubui版本过低的话,则需要安装controlnet插件
首先,介绍controlnet菜单,最上【enable】代表启动该组建,不勾线意味着;【invert input color】是对涂抹区域颜色进行反转;【RGB2GBR】代表颜色反转;【low VRAM】低显存运行,显存低于4G的用户可以使用该模式;【guss mode】可以理解为随机模式,也可以理解为盲盒模式
点击preprocessor,也就是预处理器,从下拉列表中,可以选择不同类型的模型,每个模型的用途都不同。
model一栏选择与预处理器preprocessor一致的模型,否则出图的效果很难和预期一致。
参数设置一栏,【weight】代表controlnet插件的权重;【guidance】代表引导强度值;【resize mode】选择第二项即可,不会对图像进行拉伸;【canvas】画幅的宽高比,设置为何原图一致即可
Controlnet Preprocessor模型汇总
预处理名称 | 对应模型 | 模型描述 |
canny | control_canny | 边缘检测 |
depth | control depth | 深度检测 |
hed | control hed | 边缘检测但保留更多细节,适合重新着色和风格化 |
mlsd | control_mlsd | 线段识别,识别人物功能极差,非常适合建筑 |
normal_map | control normal | 根据图片生成法线贴图,非常适合CG建模师。 |
openpose | control_openpose | 提取人物骨骼姿势 |
openpose_hand | control openpose | 提取人物+手部骨骼姿势 |
scribble | control_openpose | 提取黑白稿 |
fake_scribble | control_scribble | 涂鸦风格提取(很强大的模型) |
segmentation | control_seg | 语义分割 |
一 openpose模型
openpose模型是最常用的模型之一,通过控制人物骨骼来控制图像中角色的姿势。开启该模型后,上传任意图像,系统会根据上传的图像人物姿势生成类似的图像
二 canyou模型
canyou模型生成线稿图,系统对线稿进行精准绘制。从本地上传一张图像,勾线enable启动按钮,点击生成图像,就可以生成线稿
有了线稿图,我们可以尝试随机模式,也就是guess mode,点击【生成】新的图像,系统就会在线稿的基础上随机生成新的图像。
三 depth模型
depth的主要功能是捕捉画面深度,获得前后景的关系。上传一张建筑物图像,点击预览,系统就会生成一张深度效果图,该系统可以较好的掌握图片中的复杂三维结构层次,然后重现画面结构,生成类似图像
四 head模型
head模型类似于canny,同样使用了边缘检测算法,不同的是head边缘检测更加【柔和】,大家可以对比两种模型生成的线稿图:
从生成的图像中可以看到head模型更注重细节的刻画,人物的皮肤、头发都非常的细腻,因此head模型更适合生成人像类作品
五 mlsd模型
该模型适合提取建筑边缘线段,适合设计师使用。首先上传一张室内装修图,然后使用mlsd提取线稿,在线稿的基础上生成新的图像,就可以生成结构风格类似的效果图
六 normal模型
normal模型更加适合3D制图,以发现贴图的方法提取3D物体的法线向量,并以法线为参考,绘制一张高度相似的图。例如,我们可以上传一张机器人图像,使用normal模型提取法线并生成新的图像
七 scribble模型
scribble模型,也叫涂鸦模型,提取曝光明显的区域,来引导生成类似的图像。
实际应用:
应用一:利用text2image生成特定姿势的图像。首先,选取一个基础模型(例如chilloutmix),分别输入prompt以及负面描述
然后根据需要设置采样方法,步数,宽高比,提示词相关性
微调模型可以选择比较热门的loRA、korean-doll-lik模型,并勾线enable开启
打开controlnet插件,上传一张需要参考的图像,点击enable启动,并选择openpose,mode同样选择openpose。完成参数和宽高比的设置
点击【生成】系统就会根据提供的描述文字结合模型骨骼,生成对于的图像:
应用二:利用image2image 改编原有人物的姿势
进入Stable Diffusion,点击image2image图生图功能,上传一张成图,下拉并运用controlnet插件。点击enable,处理器选择openpose,mode选择对应的openpose模型,点击【生成】按钮,系统就会参考骨骼结构在原图上更换姿势,生成新的图像
应用三:openpose Editor
openpose Editor是一个非常使用的工具,也就是自定义人物姿势的编辑器,配合controlnet使用。进入
进入Stable Diffusion,在导航栏中选择扩展,【可用】-【加自载】按钮,从列表中找到openpose Editor,点击最右侧【intall】。
安装完成后,检查插件是否出现在已安装列表中。确认无误后,点击【应用并重启用户界面】。该插件就会出现在导航栏中
进入openpose Editor,点击关节原点,我们可以随意改变模型的原点,调整成自己喜欢的姿势。(点击【add】按钮,还可以添加多个人物模型)
此外,点击detect from image 按钮,上传一张图像,系统就会自动识别途中人物的姿势,并绘制出骨骼线条(下图),我们可以把生成的模型保存到本地,或者直接进行编辑。
上传一张多人图像,点击【生成骨骼】,点击image2image,预处理器选择none,mode选择openpose,系统就会为原图人物更换姿势
除了以上讲到的应用,controlnet的玩法还有很多,大家可以自行尝试。有想要了解的知识可以留言。以后文章会响应补充