天天看點

Stable diffusion AI畫圖擴充插件 —— ControlNet 1.1版本介紹(一)

作者:技術宅老張

10天前,ControlNet 版本從1.0更新到了1.1版本,新版本的模型數量從原來的 8 個增加到了 14 個,其中 11 個已完成模型,2 個實驗模型和 1 個未完成模型,這些模型裡也包含了 1.0 版本的模型,并且相對于 1.0 版本優化得更好,生成圖檔的品質也遠勝 1.0 版本。而且更新後的版本裡模型名稱也有了一定的更改,變得更為标準和規範。

Stable diffusion AI畫圖擴充插件 —— ControlNet 1.1版本介紹(一)

至于 ControlNet 是什麼,就不做過多介紹了,不清楚的網上查一下資料,概念性的文字說太多沒意思,可以簡單的了解為圖生圖的進階版,但不是圖生圖,總之這個擴充插件很強大,如果還沒安裝的話,那裝就對了。

下面講一下新版本 ControlNet 如何更新及安裝。

一、更新

如果你原來安裝過 ControlNet 擴充插件。在 Extensions擴充裡面選擇 Installed已安裝選項,點選上方的 Check for updates查檢更新按鈕,等更新完成後再點選 Apply and restart UI 應用并重新開機UI就能完成版本更新。

Stable diffusion AI畫圖擴充插件 —— ControlNet 1.1版本介紹(一)

如果你原來沒有安裝過 ControlNet 擴充插件。同樣在 Extensions擴充裡面選擇 Available可用選項,單擊 Load from加載擴充插件清單,在出現的結果清單裡搜尋 ControlNet 并點選 Install安裝即可,記得安裝完成後重新開機一下UI界面。

Stable diffusion AI畫圖擴充插件 —— ControlNet 1.1版本介紹(一)

如果從UI界面安裝更新失敗,還可以從 github 上直接下載下傳壓縮包,解壓到主程式目錄下的extensions 檔案夾進行覆寫安裝。記得先備份原來的版本,畢竟軟體的東西誰也不知道會出現什麼bug,萬一出現問題了還能恢複回來。

Stable diffusion AI畫圖擴充插件 —— ControlNet 1.1版本介紹(一)

二、更新模型檔案

插件更新完成後,模型是不是會自動更新的,需要到 Huggingface 上手動下載下傳更新,這個網站不需要坐飛機就可以直接上。直接在 Huggingface 首頁上輸入 ControlNet 搜尋就可以找到 1.1 版本的模型下載下傳頁面。

Stable diffusion AI畫圖擴充插件 —— ControlNet 1.1版本介紹(一)

模型清單中的 .pth 檔案就是需要的模型,直接點選右側向下的箭頭即可下載下傳。

這裡要注意,1.1 版本除了模型檔案外還會有一個類型為 .yaml 的配置檔案,這個配置檔案也要一起下載下傳。下載下傳完成後放入到 ControlNet 的 models 檔案夾即可。

到這裡大家應該也發現了 1.1 版本的模型跟 1.0 版本的模型有很大的不同,首先是檔案大小比 1.0 版本小了很多,1.0 版本的檔案大小為 5.31GB,1.1 版本的檔案隻有1.45GB,相比之下少了 70%。其次是檔案的名稱也不一樣,這裡也主要介紹一下檔案名稱。

Stable diffusion AI畫圖擴充插件 —— ControlNet 1.1版本介紹(一)

上圖是官方介紹的檔案名命名方法,可以看出整個檔案名被分為 6 個部分,為别為:項目名、版本标志、品質标志、基礎模型版本、模型功能名稱、擴充名。因為官方的介紹都是英文的,這裡也做個小翻譯吧。

1、Project Name 項目名稱

第一部分,如果是 Control 代表該模型是官方模型,如果不是 Control 開頭則表示該模型是第三方模型,比如 color、sketch、style 這幾個模型,都是 t2ia 開頭的,就是第三方模型。

Stable diffusion AI畫圖擴充插件 —— ControlNet 1.1版本介紹(一)

2、Version Flag 版本标志

版本的标志是一個字母 v 後面加對應版本号的形式,像官方的圖示就表示版本号為 1.1 ,這個很簡單。

3、Quality Flag 品質标志

品質标志,換成模型狀态應該更好了解,用一個字母表示,跟在版本号的後面,有三種狀态,分别是 p/e/u,p 表示該模型是最終版本,可以正常使用;e 則表示該模型處于測試或試驗階段,可能會有bug;u 則表示該模型還沒有完成。除以上 3 種狀态後還有一種狀态官方沒有标出來,就是修改版 f1 ,表示該模型之前出現過bug,被修複過 1 次,當然後面可能也會有 f2/f3/f4 等等。

Stable diffusion AI畫圖擴充插件 —— ControlNet 1.1版本介紹(一)
Stable diffusion AI畫圖擴充插件 —— ControlNet 1.1版本介紹(一)

4、Base Model Version 基礎模型版本

基礎模型版本也就是 Stable diffusion 模型的版本,圖示的SD15就表示使用的是 Stable diffusion 的模型版本為 1.5 ,如果是 SD21 就表示使用的是 Stable diffusion 的模型版本為 2.1。

5、Control Method 模型功能

這個名稱就展現了該模型是做什麼用的,功能是什麼,很好了解,每個模型後面後面會有詳細的介紹,這裡就先略過。

6、Extension 擴充名

ControlNet 模型的擴充名為 .pth,表示模型的檔案格式。1.1 版本的模型不同于 1.0 版本的模型,1.1 版本的每一個模型會有一個與之對應的配置檔案,檔案擴充名為 .yaml,是以下載下傳模型的時候也要把配置檔案一起下載下傳,放到 ControlNet 模型檔案夾裡面。當然如果是從UI界面進行安裝及更新插件,更新的時候就會自動把這個配置檔案下載下傳了,不需要再下載下傳一次。是以在使用模型的時候要留意一下有沒有與之對應的配置檔案,如果沒有就要下載下傳補充完整,不然模型會無法使用。

三、模型與預處理器

因為 ControlNet 對圖檔的控制更嚴格,是以每一個 ControlNet 模型都需要一張與之相對應的底圖,openpose 有 openpose 的底圖,canny 有 canny 的底圖,這些底圖都是不能混用的,如果混用就會導緻出錯或者壞圖。

是以就需要一個與模型相對應的預處理器來把原圖處理成模型需要的底圖,當然底圖也不一定非得要預處理器生成,也可以從網上下載下傳或者使用其他的擴充插件來生成,但是不管用何種方式,都要有底圖。

一個模型對應着一個或者多個預處理器,但是在新版本中,也有模型是不需要底圖的,是以就沒有相對應的預處理器,具體的對照關系可以參考下面這張表格,根據實際情況選擇合适的預處理器。

Stable diffusion AI畫圖擴充插件 —— ControlNet 1.1版本介紹(一)

本來計劃是一篇寫完的,但是寫到這裡發現篇幅又太長了,是以還是分為兩部分吧,這篇就到這裡,下一篇會對這些模型以及預處理器做一個詳細的介紹。