天天看點

Stable diffusion AI畫圖插件 —— 強大的ControlNet模型 Tile

作者:技術宅老張

五一放假回來,發現 ControlNet 之前沒完成的 Tile 模型已經更新完成了,更新後的名稱是 control_v11f1e_sd15_tile,如果你的型号名稱還是 v11u,可以到 Hugging face 網站上下載下傳該模型,記得要同時下載下傳 yaml 格式的配置檔案。

Stable diffusion AI畫圖插件 —— 強大的ControlNet模型 Tile

注意要使用該模型,ControlNet 的版本必須為 1.1.107 以上,如果你用的版本還是之前的老版本,記得先更新 ControlNet 的版本,具體怎麼更新以及模型怎麼下載下傳,上一篇文章有詳細介紹,不清楚的可以去看一下。

以下主要介紹關于該模型幾個比較實用的功能。

一、高清修複

該高清修複跟其他放大算法不一樣,它是忽略原圖中的細節,再根據提示詞生成新的細節。這裡就使用官方提供的示例來進行示範,該圖檔的分辨率是 64*64,很小很小。

Stable diffusion AI畫圖插件 —— 強大的ControlNet模型 Tile

将該圖像放到圖生圖裡面,正向提示詞就填 dog on grassland , 反向提示詞随便填一些通用的就行 lowers, low quality, normal quality 。

Stable diffusion AI畫圖插件 —— 強大的ControlNet模型 Tile

将出圖的寬高直接改為 512*512,意思就是将尺寸為 64*64 的圖檔放大成 512*512 的圖檔,又因為給到圖生圖的提示詞比較少,是以把 CFG Scale 提示詞相關性降低,同時把 Denoising strength 重繪幅度設定大一點,其他參數保持不變。

Stable diffusion AI畫圖插件 —— 強大的ControlNet模型 Tile

啟用 ControlNet ,不需要預處理器,也不需要圖檔,模型就選擇 Tile 模型,其他參數也保持不變,然後直接點選生成。

Stable diffusion AI畫圖插件 —— 強大的ControlNet模型 Tile

看看最終的出圖效果,修複得還是很不錯的,草地、毛發等細節都表現得非常好。

Stable diffusion AI畫圖插件 —— 強大的ControlNet模型 Tile

當然如果你的顯存允許的話,圖像的尺寸也還可以繼續擴大,2K/4K/8K 理論上都可以,一般來說8G顯存出圖的極限尺寸是 1280*1280,12G 顯存的出圖極限尺寸是 1760*1760,這個大家可以自己嘗試。

二、不良細節修複

因為該模型并不是高清修複的模型,它是忽略原圖的細節,再根據提示詞重新生成新的細節,這就意味着該模型可以修複原圖中的一些不好的細節,這裡還是以下面小狗的圖像來舉例。

Stable diffusion AI畫圖插件 —— 強大的ControlNet模型 Tile

這是一張被嚴重損壞了的圖像,眼睛、毛發、腿部等細節已經全部丢失,整張圖像隻保留了基本的構圖。

同樣把該圖檔放到圖生圖裡面,提示詞以及其他參數全部保持跟前面不變,然後直接出圖。

Stable diffusion AI畫圖插件 —— 強大的ControlNet模型 Tile
Stable diffusion AI畫圖插件 —— 強大的ControlNet模型 Tile

可以看到最終出圖效果保留了原圖的構圖,細節上的表現跟原圖相比可以說是一個天上一個地上,眼睛、腿部、毛發以及草地等細節都表現得非常好。

三、增加圖像細節

前面兩個功能雖然挺強大的,但個人感覺實用性不怎麼強,畢竟沒有那麼多需要修複的圖像,隻能做為一個備用的功能而已,但是這個增加圖像細節的功能真的驚豔到我了。

首先通過文生圖功能得到一張場景圖像。

Stable diffusion AI畫圖插件 —— 強大的ControlNet模型 Tile
Stable diffusion AI畫圖插件 —— 強大的ControlNet模型 Tile

再将通過文生圖得到的場景圖像放到圖生圖裡面,提示詞以及其他參數跟文生圖保持一緻,因為在文生圖裡面得到的圖檔尺寸比較大,是以這裡面的 ControlNet 預處理器選擇 tile_resample ,下方的 down sampling rate 值設為 1.5。

Stable diffusion AI畫圖插件 —— 強大的ControlNet模型 Tile

這個意思是先将原圖縮小 1.5 倍,然後再根據提示詞等其他相關參數重新生成對應尺寸的圖像,這樣就類似于前面的圖像修複功能,在細節上的表現就會更加突出。如果想要更多的細節,可以縮小更大的倍數,這個依據自己的情況而定。參數設定好之後直接生成圖像,出圖結果如下。

Stable diffusion AI畫圖插件 —— 強大的ControlNet模型 Tile

可以看到經過 Tile 模型處理後的圖像在細節上的表現更加出衆,天空、樹木、屋頂、草地、石頭、水波紋等細節都非常豐富,也更貼近于現實。

這個功能實用性就很強了,如果你好不容易生成了一張構圖色彩都非常滿意的圖像,但是細節表現比較差,就可以使用這個功能來給圖像增加細節,同時該功能還可以在一定程度上給我們提供創意靈感,使用預處理器來将原圖縮小較大的倍數,然後出圖時就可以在保持構圖以及色彩都不變的情況下得到更多的創意。

總的來說,Tile 這個模型更注意于細節上的表現,對于高清出圖的幫助非常大。這裡也感謝 ControlNet 的作者,讓我們這些魔法師們在施法上能有更多的選擇。