機器之心專欄
機器之心編輯部
在科技迅速發展的今天，生成式人工智能和計算機圖形學領域的研究日益引人注目，影視制作、遊戲開發等行業正面臨着巨大的挑戰和機遇。本文将為您介紹一項 3D 生成領域的研究 ——DreamFace，它是首個支援 Production-Ready 3D 資産生成的文本指導漸進式 3D 生成架構，能夠實作文本生成可驅動的 3D 超寫實數字人。
這項工作已經被計算機圖形領域國際頂級期刊 Transactions on Graphics 接收，并将在國際計算機圖形頂級會議 SIGGRAPH 2023 上展示。
項目網站：https://sites.google.com/view/dreamface
預印版論文：https://arxiv.org/abs/2304.03117
Web Demo: https://hyperhuman.top
HuggingFace Space:https://huggingface.co/spaces/DEEMOSTECH/ChatAvatar
引言
自文本和圖像生成技術取得巨大突破以來，3D 生成技術逐漸成為了科研和産業界關注的焦點。然而，目前市面上的 3D 生成技術仍然面臨着許多挑戰，包括 CG 管線相容性問題、準确性問題以及運作速度問題。
為了解決這些問題，來自影眸科技與上海科技大學的研發團隊提出了一種文本指導的漸進式 3D 生成架構 ——DreamFace。該架構能夠直接生成符合 CG 制作标準的 3D 資産，具有更高的準确性、更快的運作速度和較好的 CG 管線相容性。本文将對 DreamFace 的主要功能進行詳細介紹，并探讨其在影視制作、遊戲開發等行業的應用前景。
DreamFace 架構概述
DreamFace 架構主要包括三個子產品：幾何體生成、基于實體的材質擴散生成和動畫能力生成。這三個子產品相輔相成，共同實作了一種高效而可靠的 3D 生成技術。
幾何體生成
幾何體生成子產品的核心任務是根據文本提示生成與之一緻的幾何模型。DreamFace 采用了基于 CLIP（Contrastive Language-Image Pre-Training）的選擇架構，首先從人臉幾何參數空間内随機采樣的候選項中選擇最佳的粗略幾何模型，然後通過隐式擴散模型（LDM）雕刻幾何細節，使頭部模型更符合文本提示。此外，該架構還支援基于文本提示的發型和顔色生成。
基于實體的材質擴散生成
基于實體的材質擴散生成子產品旨在預測與預測幾何體和文本提示一緻的面部紋理。DreamFace 首先将預先訓練的 LDM 在收集的大規模 UV 材質資料集上微調，得到兩個 LDM 擴散模型。然後，采用聯合訓練方案協調兩個擴散過程，一個用于直接去噪 UV 紋理貼圖，另一個用于監督渲染圖像。
為了確定所建立的紋理地圖不含有不良特征或照明情況，同時仍保持多樣性，設計了一種提示學習政策。團隊利用兩種方法生成高品質的漫反射貼圖：（1）Prompt Tuning。與手工制作的特定領域文本提示不同，DreamFace 将兩個特定領域的連續文本提示 Cd 和 Cu 與相應的文本提示結合起來，這将在 U-Net 去噪器訓練期間進行優化，以避免不穩定和耗時的手工撰寫提示。（2）非面部區域遮罩。LDM 去噪過程将額外地受到非面部區域遮罩的限制，以確定生成的漫反射貼圖不含有任何不需要的元素。
最後，通過超分辨率子產品生成 4K 基于實體的紋理，以進行高品質渲染。
動畫能力生成
DreamFace 生成的模型具備動畫能力。通過預測獨特的變形，為生成的靜息（Neutral）模型賦予動畫效果，進而産生個性化的動畫。與使用通用 BlendShapes 進行表情控制的方法相比，DreamFace 的神經面部動畫方法能夠提供更細緻的表情細節，并且能夠精細地捕捉表演。
應用和展望
DreamFace 架構在名人生成、根據描述生成角色等方面取得了優異的成績。此外，還支援使用提示和草圖進行紋理編輯，實作全局的編輯效果，如老化和化妝。通過進一步結合掩模或草圖，可以建立各種效果，如紋身、胡須和胎記。
DreamFace 的漸進式生成架構為解決複雜的 3D 生成任務提供了一種有效的解決方案，有望推動更多類似的研究和技術發展。此外，基于實體的材質擴散生成和動畫能力生成将推動 3D 生成技術在影視制作、遊戲開發和其他相關行業的應用，讓我們拭目以待它在未來的發展和應用。