TDAE論文閱讀筆記

題目：Hallucinating Very Low-Resolution Unaligned and Noisy Face Images byTransformative Discriminative Autoencoders∗

中文：變形性判别式自動編碼器幻覺極低分辨率未對準且嘈雜的人臉圖像

摘要

• 大多數正常的面部幻覺方法都假定輸入圖像足夠大且對齊，并且都要求輸入圖像無噪聲。【缺點】

  如果輸入圖像很小，未對齊并被噪聲污染，它們的性能将大大降低

  。在本文中，我們介紹了一種新穎的變換式判别式自動編碼器，可對8倍超分辨未對齊的噪點和微小（16X16）的低分辨率人臉圖像進行編碼。與基于編碼器-解碼器的自動編碼器相比，我們的方法使用解碼器-編碼器-解碼器網絡。我們

  首先采用變換判别解碼器網絡來同時進行升采樣和降噪

  。然後，我們

  使用變換編碼器網絡将中間的HR人臉投影到對齊且無噪聲的LR人臉

  。最後，我們

  使用第二個解碼器生成幻覺的HR圖像

  。我們對非常大的面部資料集進行了廣泛的評估，結果表明我們的方法獲得了出色的幻覺效果，并以1.82dB PSNR的較大幅度優于最新技術。

背景：如果輸入圖像很小，未對齊并被噪聲污染，正常方法性能将大大降低

目的：對未對齊的帶噪點的低分辨率人臉圖像進行超分辨

方法：解碼器-編碼器-解碼器。

結論：我們的方法獲得了出色的幻覺效果，并以1.82dB PSNR的較大幅度優于最新技術。

圖1.我們的方法與基于CNN的面部幻覺URDGN的比較[25]。 （a）16×16LR輸入圖像。 （b）128×128HR原始圖像。 （c）去噪并對齊的LR圖像。我們首先應用BM3D [4]，然後應用STN [10]。 （d）訓練資料集中對應最相似的面孔。 （e）（c）的三次插值。 （f）URDGN生成的圖像。請注意，URDGN超級解析去噪和對齊的LR圖像，而不是原始的LR輸入（支援URDGN）。 （g）由我們的解碼器-編碼器将經過去噪和對齊的LR圖像作為中間輸出。 （h）我們的TDAE方法的最終幻覺的臉

圖 2.我們的變換判别解碼器由兩部分組成：一個變換上采樣網絡（在紅色框中）和一個差別網絡（在藍色框中）

圖4.我們的變革性歧視性自動編碼器的工作流程。方框的顔色表示圖2和圖3中的網絡。

圖3.轉換編碼的架構

圖5.我們的方法與基于CNN的幻覺方法的比較。 （a）輸入的16×16LR圖像。 （b）原始的128×128HR圖像（用于比較）。 （c）（a）的去噪和對齊版本。 （d）URDGN的結果[25]。 （e）CBN的結果[29]。 （f）DEC1的結果。 （g）我們的ENC投影的對齊且無噪音的LR面。 （h）我們的最終結果

圖6.在噪聲水準為10％時與最新技術的比較。 （a）未對準且有噪聲的LR輸入。 （b）原始HRimage。 （c）雙三次插值。 （d）[6]的結果。 （e）[22]的結果。 （f）[29]的結果。 （g）[25]的結果。 （h）我們的方法

圖8.不同噪聲水準下我們的結果的可視化。實地HR圖像請參見圖5（b）。

結論

• 我們提出了一種變革性的自動編碼器網絡，可以以極富挑戰性的8倍采樣因子對超低分辨率（16×16像素）的未對準且嘈雜的人臉圖像進行超分辨。我們利用了新的解碼器-編碼器-解碼器體系結構。我們的網絡共同對齊，消除噪聲，并區分幻覺輸入圖像。由于我們的方法與圖像噪聲，面部姿勢和空間變形無關，是以非常實用。同時，它可以産生豐富而真實的面部細節。