天天看点

Stable Diffusion使用Controlnet(图像精准控制)

作者:幽默梦想xWg

前言:

ControlNet 是一个用于控制 AI 图像生成的插件。使用的技术为"Conditional Generative Adversarial Networks"(条件生成对抗网络)来生成图像。

与之前的生成对抗网络不同,ControlNet 可以使用户对生成的图像进行精细的控制。因此ControlNet可以应用到许多应用场景中。总之,ControlNet 可以帮助用户精准控制 AI 图像的生成,以获得更好的视觉效果。比如:细节控制人物的姿态,动作、上传线稿帮我们填色渲染,、图片生成线稿、图片融合等等。

一、安装ControlNet

通过Stable Diffusion中的扩展中搜索,直接点击安装即可,时间可能会稍慢等待即可

Stable Diffusion使用Controlnet(图像精准控制)

webUi中直接安装

以上步骤操作完成之后需要启动Stable Diffusion到扩展栏下重启webUi即可使用

Stable Diffusion使用Controlnet(图像精准控制)

安装成功后在文生图、图生图下即可看见Controlnet,例如:

Stable Diffusion使用Controlnet(图像精准控制)

设置中也可看见ControlNet的相关配置

二:Controlnet 模型安装

以上插件已经安装成功,还需要再安装不同的模型来处理不同场景的应用

https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main

Stable Diffusion使用Controlnet(图像精准控制)

需要注意的是需要下载两个文件,相同文件名字的一个以.pth结尾,一个.yaml结尾的两个文件下载后放到扩展文件夹中 文件夹目录为:/Users/XXXX/stable-diffusion-webui/extensions/sd-webui-controlnet/models 一定注意目录层级,下载完成后到Stable Diffusion 中刷新即可使用下载的模板

Stable Diffusion使用Controlnet(图像精准控制)

三、模型说明及案例演示

1、OpenPose 姿态检测

1.1、通过对图片的姿势识别实现对人体动作的精准控制,不仅可以生成单人的姿势,还可以生成多人的姿势。

Stable Diffusion使用Controlnet(图像精准控制)

选择预处理器,模型也选择一个openpose的模型来处理,

1.2、上传一张图片,然后点击“预览预处理结果”,第一次选中这个模型开始预处理的时候,会更新一段时间,可以在控制台查看进度,更新完成之后再次点击预处理就可以看到 AI 识别的图了,如图

Stable Diffusion使用Controlnet(图像精准控制)

原图

Stable Diffusion使用Controlnet(图像精准控制)

姿势检测图

1.3、输入关键词,等待生图

可以更多试试 OpenPose 手部检测模型,操作是一样的,自己去尝试哈,细节调起来操作很多,在更多的尝试中使用好这个模型,肯定能成功。

四、写在最后

以上就是关于 Controlnet 插件的基础说明啦,有兴趣的可以尝试使用其他模型可能会有不一样的效果,还有很多高级的玩法,我会在后续一步步分享给大家。

如果觉得对你有帮助,帮忙支持分享一下吧,大家的支持才是我的动力。