FSRGFCH論文閱讀筆記

題目：Face Super-resolution Guided byFacial Component Heatmaps

中文：臉部元件熱圖指導的臉部超分辨率

摘要

• 最新的人臉超分辨率方法利用深度卷積神經網絡通過探索局部外觀資訊來學習低分辨率（LR）面部模式與其對應的高分辨率（HR）對手之間的映射

  。但是，大多數這些方法都不能解決面部結構，【缺點】并且由于姿勢變化大和對齊不當而遭受失真。在本文中，我們提出了

  一種使用多任務卷積神經網絡（CNN）将人臉的結構資訊顯式地納入人臉超分辨率過程的方法

  。我們的CNN有兩個分支：一個分支用于超分辨人臉圖像，另一個分支用于預測人臉共面部分量熱圖的顯着區域。這些熱圖鼓勵上采樣流生成具有更高品質細節的超分辨率人臉。我們的方法不僅使用低級資訊（即強度相似度），還使用中級資訊（即面部結構）從LR輸入圖像中進一步探索面部分量的空間限制。是以，我們能夠在保留人臉結構的同時，以8倍的大比例縮放超高分辨率的未對齊人臉圖像（16×16像素）。廣泛的實驗表明我們的網絡實作了出色的面部幻覺效果，并且性能優于最新技術。關鍵詞：面部，超分辨率，幻覺，面部分量定位，多任務神經網絡。

背景：大多數方法不能考慮面部結構，而且無法處理姿勢變較大的人臉圖像。

方法：使用多任務卷積神經網絡（CNN）将人臉的結構資訊顯式地納入人臉超分辨率過程的方法。一個分支用于超分辨人臉圖像，另一個分支用于預測人臉共面部分量熱圖的顯着區域

結論：實驗表明我們的網絡實作了出色的面部幻覺效果，并且性能優于最新技術。

引言

引出人臉超分辨，提出問題：無法處理姿勢變化大的人臉

• 面部圖像為人類觀察和計算機分析提供了重要線索[1,2]。但是，大多數現有的面部分析技術的性能，例如面部對齊[3,4]和識别[5]，在面部分辨率較低時會急劇下降。人臉超分辨率（FSR）[8]也稱為人幻覺，提供了一種從低分辨率（LR）對應物中恢複高分辨率（HR）人臉圖像的可行方法，并且引起了越來越多的關注近年。現代人的幻覺方法采用深度學習[9,10,7,11,6,12,13,14,15,16]并達到最先進的性能。這些方法從大角度探索LR和HRfaces之間的圖像強度對應比例面部資料集。由于近額面孔在流行中占主導地位大規模面部資料集[17,18]，基于深度學習的FSR方法可能無法在較大的姿态變化下超分辨LR面部，如圖6的示例所示。 1.實際上，在這些示例中，臉部結構已變形，而最新的超分辨率方法無法完全恢複面部細節。

傳統的解決方法1：使用大的姿勢變化來增加訓練資料。但是效果不好

• 解決此問題的幼稚想法是

  使用大的姿勢變化來增加訓練資料

  （即[19]），然後重新訓練神經網絡。如圖1（f）所示，該政策仍然導緻次優結果，其中由于LR面部模式的錯誤定位而導緻面部細節丢失或失真。這種限制在基于強度的FSR方法中很常見，該方法僅以超分辨率利用局部強度資訊，而不考慮面部結構或姿勢。我們假設顯式利用有關LR面部中面部元件位置資訊的方法具有改善超分辨率性能的能力。

傳統解決方法2：無法正确定位面部元件并産生嚴重扭曲的HR面部

• 超分辨LR臉部圖像的另一種方法是

  提前定位臉部元件，然後逐漸對其進行升采樣

  [20,6]。但是，在非常LR的圖像中，尤其是在較大的姿勢變化下，以高精度定位這些面部元件通常是一項艱巨的任務。如圖1（e）所示，Zhuet等人的方法[6]。無法正确定位面部元件并産生嚴重扭曲的HR面部。是以，直接檢測LR面部中的面部成分或界标不是最佳選擇，并可能導緻最終結果出現重影僞影。

我們 提出方法：不去定位準确的臉部界标，而是去定位大緻的面部成分。

• 與以前的方法相比，我們提出了一種以協作方式預測臉部結構的同時超級分辨LR臉部圖像的方法。我們的直覺是，盡管很難在LR臉部圖像中準确檢測到臉部界标，但是可以定位臉部成分（不是界标）并識别超分辨臉部或中間上采樣特征。擷取面部元件的位置反過來可以促進面部超分辨率。
• 受此想法的驅使，我們提出了一種多任務深度神經網絡來對LR圖像進行升采樣。與最新的FSR方法[7,6,12,13]相比，我們的網絡不僅可以超分辨LR圖像，而且可以估計其面部成分的空間位置。然後将面部分量的估計位置視為指導圖，該指導圖以超分辨率提供面部結構。在這裡，人臉結構是指面部元件的位置和可見性以及它們之間的關系，我們使用熱圖來表示每個元件出現的可能性。由于輸入臉部的分辨率很小（即16×16像素），是以對臉部元件進行定位也非常具有挑戰性。與其檢測LR圖像中的面部成分，

  不如将面部成分定位在超分辨特征圖上

  。
• 具體而言，我們首先對輸入LR圖像進行超分辨特征，然後使用空間變換器網絡[21]來對齊特征圖。上采樣特征圖用于估計面部元件的熱圖。由于特征圖是對齊的，是以相同的面部成分可能會緊密出現在相應的位置。這也為元件定位提供了初始估計。此外，當輸入的人臉或特征圖預先對齊時，我們還可以大大減少用于定位人臉成分的訓練示例。例如，我們僅使用30KLR / HR人臉圖像對來訓練我們的網絡，而最新的人臉對齊方法[4]則需要約230Kimages來訓練地标定位網絡.
• 在獲得估計的面部成分熱圖後，我們

  将其與上采樣特征圖連接配接起來

  ，以将面部成分的空間和可見性資訊注入到超分辨率程式中。以這種方式，探索了除像素級強度相似度之外的更進階别的資訊，并将其用作FSR中的其他先驗資訊。如圖1（g）所示，我們提出的網絡能夠以較大的姿勢對LR臉部進行升采樣，同時保留經升采樣的臉部圖像的空間結構。
• 主要貢獻：
• 總的來說，我們的工作可以總結為：
  • 我們提出了一種新穎的多任務架構，可以以8倍的放大倍數對16×16像素大小的LR面部圖像進行超分辨，不僅可以利用圖像強度相似度，而且可以探索人臉超分辨率探索人臉結構。
  • –我們不僅對LR面孔進行了上采樣，而且還估計了架構中的面孔結構。我們估計的面部成分熱圖不僅提供了面部成分的局部資訊，還提供了它們的可見性資訊，而這些資訊不能從像素級資訊中推導出來。
  • –我們證明了建議的兩個分支，即上采樣和面部成分估計分支，彼此協作以超分辨率實作更好的幻覺性能。
  • –由于我們的網絡架構設計，我們能夠從上采樣的特征圖中估計面部分量熱圖，進而提供了足夠的分辨率和估計細節。

結論

• 我們提出了一種新穎的多任務上采樣網絡，以超分辨非常小的LR人臉圖像。我們不僅采用圖像外觀相似度，而且還利用從LR輸入圖像自身估計的面部結構資訊以超分辨率進行拍攝。借助面部分量熱圖估計分支，我們的方法可以超級分辨不同姿勢的面孔，而不會因LR輸入中錯誤的面部分量定位而導緻失真。