隻需幾分鐘、一張圖或一句話，就能完成時空一緻的4D内容生成。
注意看，這些生成的3D物體，是帶有動作變化的那種。也就是在3D物體的基礎之上，增加了時間次元的運動變化。
這一成果，名為Diffusion4D，來自多倫多大學、北京交通大學、德克薩斯大學奧斯汀分校和劍橋大學團隊。
具體而言，Diffusion4D整理篩選了約81K個4D assets，利用8卡GPU共16線程，花費超30天渲染得到了約400萬張圖檔，包括靜态3D物體環拍、動态3D物體環拍，以及動态3D物體前景視訊。
作者表示，該方法是首個利用大規模資料集，訓練視訊生成模型生成4D内容的架構，目前項目已經開源所有渲染的4D資料集以及渲染腳本。
研究背景
過去的方法采用了2D、3D預訓練模型在4D（動态3D）内容生成上取得了一定的突破，但這些方法主要依賴于分數蒸餾采樣（SDS）或者生成的僞标簽進行優化，同時利用多個預訓練模型獲得監督不可避免的導緻時空上的不一緻性以及優化速度慢的問題。
4D内容生成的一緻性包含了時間上和空間上的一緻性，它們分别在視訊生成模型和多視圖生成模型中被探索過。基于這個洞見，Diffusion4D将時空的一緻性嵌入在一個模型中，并且一次性獲得多時間戳的跨視角監督。
具體來說，使用仔細收集篩選的高品質4D資料集，Diffusion4D訓練了一個可以生成動态3D物體環拍視圖的擴散模型，而後利用已有的4DGS算法得到顯性的4D表征，該方法實作了基于文本、單張圖像、3D到4D内容的生成。
4D資料集
為了訓練4D視訊擴散模型，Diffusion4D收集篩選了高品質的4D資料集。
已開源的Objaverse-1.0包含了42K運動的3D物體，在Objaverse-xl中包含323K動态3D物體。然而這些資料包含着大量低品質的樣本。對此，研究者們設計了運動程度檢測、邊界溢出檢查等篩選方法，選取了共81K的高品質4D資産。
對于每一個4D資産，渲染得到了24個靜态視角的圖（上圖第一行），24個動态視角的環拍圖（上圖第二行），以及24個正面動态圖（上圖第三行）。總計得到了超過四百萬張圖檔，總渲染消耗約300 GPU天。
其他資料集細節可以參考項目首頁（文末附上），目前所有渲染完的資料集和原始渲染腳本已開源。
方法
有了4D資料集之後，Diffusion4D訓練具有4D感覺的視訊擴散模型（4D-aware video diffusion model）。
過去的視訊生成模型通常不具備3D幾何先驗資訊，但近期工作如SV3D，VideoMV等探索了利用視訊生成模型得到靜态3D物體的多視圖，是以Diffusion4D選用了VideoMV作為基礎模型進行微調訓練，使得模型能夠輸出動态環拍視訊。此外設計了如運動強度（motion magnitude）控制子產品、3D-aware classifier-free guidance等子產品增強運動程度和幾何品質。得益于視訊模态具備更強的連貫性優勢，輸出的結果具有很強的時空一緻性。
輸出得到動态視角環拍視訊後，Diffusion4D借助已有的4D重建算法将視訊模組化得到4D表達。具體來說采用了4DGS的表征形式，以及使用粗粒度、細粒度的兩階段優化政策得到最終的4D内容。從生産環拍視訊到重建4D内容的兩個步驟僅需花費數分鐘時間，顯著快于過去需要數小時的借助SDS的優化式方法。
結果
根據提示資訊的模态，Diffusion4D可以實作從文本、圖像、3D到4D内容的生成，在定量名額和user study上顯著優于過往方法。
在生成品質上，Diffusion4D有着更好的細節，更為合理的幾何資訊以及更豐富的動作。更多可視化結果可以參考項目首頁。
總結
Diffusion4D是首個利用視訊生成模型來實作4D内容生成的架構，通過使用超81K的資料集、以及精心設計的模型架構實作了快速且高品質的4D内容。未來，如何最大程度發揮4D資料集價值，如何生成多物體、複雜場景的4D内容仍有很大的探索空間！
— 完 —
量子位 QbitAI · 頭條号簽約
關注我們，第一時間獲知前沿科技動态