天天看点

Stable diffusion AI画图插件 —— 强大的ControlNet模型 Tile

作者:技术宅老张

五一放假回来,发现 ControlNet 之前没完成的 Tile 模型已经更新完成了,更新后的名称是 control_v11f1e_sd15_tile,如果你的型号名称还是 v11u,可以到 Hugging face 网站上下载该模型,记得要同时下载 yaml 格式的配置文件。

Stable diffusion AI画图插件 —— 强大的ControlNet模型 Tile

注意要使用该模型,ControlNet 的版本必须为 1.1.107 以上,如果你用的版本还是之前的老版本,记得先更新 ControlNet 的版本,具体怎么更新以及模型怎么下载,上一篇文章有详细介绍,不清楚的可以去看一下。

以下主要介绍关于该模型几个比较实用的功能。

一、高清修复

该高清修复跟其他放大算法不一样,它是忽略原图中的细节,再根据提示词生成新的细节。这里就使用官方提供的示例来进行演示,该图片的分辨率是 64*64,很小很小。

Stable diffusion AI画图插件 —— 强大的ControlNet模型 Tile

将该图像放到图生图里面,正向提示词就填 dog on grassland , 反向提示词随便填一些通用的就行 lowers, low quality, normal quality 。

Stable diffusion AI画图插件 —— 强大的ControlNet模型 Tile

将出图的宽高直接改为 512*512,意思就是将尺寸为 64*64 的图片放大成 512*512 的图片,又因为给到图生图的提示词比较少,所以把 CFG Scale 提示词相关性降低,同时把 Denoising strength 重绘幅度设置大一点,其他参数保持不变。

Stable diffusion AI画图插件 —— 强大的ControlNet模型 Tile

启用 ControlNet ,不需要预处理器,也不需要图片,模型就选择 Tile 模型,其他参数也保持不变,然后直接点击生成。

Stable diffusion AI画图插件 —— 强大的ControlNet模型 Tile

看看最终的出图效果,修复得还是很不错的,草地、毛发等细节都表现得非常好。

Stable diffusion AI画图插件 —— 强大的ControlNet模型 Tile

当然如果你的显存允许的话,图像的尺寸也还可以继续扩大,2K/4K/8K 理论上都可以,一般来说8G显存出图的极限尺寸是 1280*1280,12G 显存的出图极限尺寸是 1760*1760,这个大家可以自己尝试。

二、不良细节修复

因为该模型并不是高清修复的模型,它是忽略原图的细节,再根据提示词重新生成新的细节,这就意味着该模型可以修复原图中的一些不好的细节,这里还是以下面小狗的图像来举例。

Stable diffusion AI画图插件 —— 强大的ControlNet模型 Tile

这是一张被严重损坏了的图像,眼睛、毛发、腿部等细节已经全部丢失,整张图像只保留了基本的构图。

同样把该图片放到图生图里面,提示词以及其他参数全部保持跟前面不变,然后直接出图。

Stable diffusion AI画图插件 —— 强大的ControlNet模型 Tile
Stable diffusion AI画图插件 —— 强大的ControlNet模型 Tile

可以看到最终出图效果保留了原图的构图,细节上的表现跟原图相比可以说是一个天上一个地上,眼睛、腿部、毛发以及草地等细节都表现得非常好。

三、增加图像细节

前面两个功能虽然挺强大的,但个人感觉实用性不怎么强,毕竟没有那么多需要修复的图像,只能做为一个备用的功能而已,但是这个增加图像细节的功能真的惊艳到我了。

首先通过文生图功能得到一张场景图像。

Stable diffusion AI画图插件 —— 强大的ControlNet模型 Tile
Stable diffusion AI画图插件 —— 强大的ControlNet模型 Tile

再将通过文生图得到的场景图像放到图生图里面,提示词以及其他参数跟文生图保持一致,因为在文生图里面得到的图片尺寸比较大,所以这里面的 ControlNet 预处理器选择 tile_resample ,下方的 down sampling rate 值设为 1.5。

Stable diffusion AI画图插件 —— 强大的ControlNet模型 Tile

这个意思是先将原图缩小 1.5 倍,然后再根据提示词等其他相关参数重新生成对应尺寸的图像,这样就类似于前面的图像修复功能,在细节上的表现就会更加突出。如果想要更多的细节,可以缩小更大的倍数,这个依据自己的情况而定。参数设置好之后直接生成图像,出图结果如下。

Stable diffusion AI画图插件 —— 强大的ControlNet模型 Tile

可以看到经过 Tile 模型处理后的图像在细节上的表现更加出众,天空、树木、屋顶、草地、石头、水波纹等细节都非常丰富,也更贴近于现实。

这个功能实用性就很强了,如果你好不容易生成了一张构图色彩都非常满意的图像,但是细节表现比较差,就可以使用这个功能来给图像增加细节,同时该功能还可以在一定程度上给我们提供创意灵感,使用预处理器来将原图缩小较大的倍数,然后出图时就可以在保持构图以及色彩都不变的情况下得到更多的创意。

总的来说,Tile 这个模型更注意于细节上的表现,对于高清出图的帮助非常大。这里也感谢 ControlNet 的作者,让我们这些魔法师们在施法上能有更多的选择。