【NovelAI_txt2video】使用說明
資料配置
data_set.py配置,使用notepad++打開,檔案位置在NovelAIUser=>apps=>Data下進行配置。
填寫使用者名和密碼,以及對應的API密鑰。
配置教程
登入雲端背景
雲端配置GPT35
選擇GPT配置資訊,這裡有2個地方一個是API接口,支援知數雲和OPENAI原版,接下來選擇然後選擇關鍵詞模闆,這個是用來根據文章内容進行畫面關鍵詞描述用,也可以自定義,在自定義組合中填寫,如果需要自定義請在組合處選擇【自定義組合】。
雲端配置TTS
用于給視訊中的稿件配音用,這裡僅支援微軟TTS,可以根據自己的情況選擇配音選項。
雲端配置SD
配置SD接口url,如果是本地的話建立後不需要修改,如果是雲端繪圖請修改成你自己的接口位址。
通用關鍵詞,這裡是對于繪畫時候每一個圖檔都要加的關鍵詞資訊,也就是通用關鍵詞,根據自己情況進行填寫。
視訊分辨率,這裡選擇視訊是橫版還是豎版的,一定要和後面的分辨率保持一緻。分辨率倍數建議和圖檔高清放大的倍數一緻。
關鍵幀移動速度,這個速度不好解釋自己體會,關鍵幀是暫時不支援自定義方向,方向移動全部随機。
SD繪圖,SD繪圖的基本設定。
SD高清修複功能,根據自己的顯示卡量力而行。
動漫繪畫插件,每一行左邊選擇需要的選項,右邊選擇強度數值,強度1表示該關鍵詞加一對(),以此類推。
鑒黃功能子產品,如果需要就打開,會影響一些出圖速度。
雲端剪映配置
這個用于生成剪映中的配置檔案直接指向你的檔案目錄,例如你的整個項目包debug_NovelAI_web檔案夾在D盤下,那麼這裡填寫 D:\\debug_NovelAI_web 即可。
使用教程
開啟服務
打開程式包中的 啟動Web服務.bat 檔案,輕按兩下即可。確定機器的80端口打開,如果出現打開馬上關閉的情況證明80端口被占用了,請自行解決。
執行完之後會自動彈出來一個網頁,位址是 http://127.0.0.1 ,如果沒彈出來請自行複制該位址到浏覽器中,左側頁籤中會有8個步驟。
登入你的本地資料背景 http://127.0.0.1/xadmin/
LoRA添加
點選【Lora管理】頁籤進入後點選有責的增加Lora模型管理。
按照以下要求填寫你的Lora模型配置
- Lora的檔案名稱,確定你是SD/models/Lora中有該檔案
- 你在SD頁面選擇lora是這樣就複制過來這樣的内容
稿件添加任務
點選【文章資料】頁籤,點選右側添加文生圖任務管理
基本資訊填寫,對沒完成的視訊建議選擇未完成,可以使用批量操作來進行識别完成。
文章基本資訊中文章類别,英文名稱,中文名稱自定義填寫即可。
Lora配置不需要動,在後面的步驟這裡會自動生成。
文章detail中,複制你的故事正文即可,字數不限,建議8000字以内。
最後填寫完畢後記得儲存即可。
Step1 資料拆分操作
Lora部分,支援現版本支援10個Lora填充比對,這裡需要填寫3部分内容。
- 人物姓名列-表示該行不使用。
- 人物姓名,如果不需要則不用填。支援多個人物姓名,原理就是文章中斷句後出現該字元比對即調用Lora,也支援多個比對。例如填寫方式如下,如果出現多個比對同時替換的話請用 @ 分割。
- Lora選擇,需要在adminx背景設定好Lora這裡下拉就會有顯示選擇。
- 英文描述,這個是對于這個Lora人物的描述,比如小明,可以用a boy,black hair,這種關鍵詞描述。設定好之後點選【儲存Lora設定】即可,每次重新輸入會覆寫掉之前的資料。
任務資料,直接點選背景需要處理分句的文章會進行自動分句操作。稿件會以句号進行分句操作,如果稿件為純英文的需要将.改成。即可。分句後會在背景顯示分句的結果。
Step2 使用GPT進行關鍵詞操作
網頁界面點選需要處理的文章會自動的進行關鍵詞生成操作,使用的是雲端背景控制的模闆自動生成繪畫的畫面描述。
生成完的關鍵詞會在資料庫中顯示。如果想使用該方法檢視
NovelAI 一鍵成片資料管理與操作
也可以在管理背景檢視。
如果想修改請在背景中操作,如果想批量全部重新生成,請将pormpt字段修改成 待處理 即可。
Step3 TTS生成語音服務
需要在雲端配置好配音人的聲音配置。直接點選需要生成語音的文章,會在背景自動執行生成音頻操作。
在項目下的media檔案夾下找到對應的項目檔案點開有2個音頻檔案夾。
audio_wav是合并的長音頻,each_audio_wav是每個分句後的短音頻,音頻生成會自動跳過已經生成的音頻,并且自動識别損壞的音頻檔案重新生成。
Step4 Stable Diffusion繪畫
首先需要打開SD,確定本地端口是7860,或者自己調通自己的雲端設定API路由。然後直接執行操作即可。
需要確定使用的VAE是vae-ft-mse-840000-ema-pruned.safetensors,這樣840000的标志。需要確定已經安裝了ADetailer插件,因為系統會自動進行修複操作。
ADetailer 用于自動修複臉部,手部,身體崩潰。文字和視訊安裝配置教程:
Stable Difussion 拒絕崩臉崩手崩身 ADetailer 插件
點選執行需要生成圖檔的任務在media項目檔案夾下會自動生成對應的圖檔。
圖檔重繪操作,首先需要點選你要重繪的任務。
然後篩選需要重繪的圖檔點選重繪即可。如果圖檔無法顯示請多更換幾個浏覽器試試。
Step5 合成視訊檔案
點選需要合成的項目,會自動的進行合成。
生成是視訊檔案儲存在media項目下的data_result裡。檔案的指令是管理背景設定的中文名稱。
Step6 生成配置檔案
點選需要生成配置檔案的項目,會自動生成AE、剪映、文檔、封面等内容。
剪映配置檔案使用,直接将draft_content.json檔案扔到剪映的項目的配置檔案下即可。直接覆寫替換即可。
AE檔案直接點選加載腳本選擇AE檔案即可,不過AE配置所有的檔案路徑中不能有中文否則無法識别。
Step All
分兩種批量執行方法。不管那種執行方法都需要完成Step1的操作。并且在adminx控制台标記未完成。
單項批量執行在每個項目下點選【全部執行未處理标記内容】
全部批量執行,直接點選【Step All】點選執行即可。