TDAE论文阅读笔记

题目：Hallucinating Very Low-Resolution Unaligned and Noisy Face Images byTransformative Discriminative Autoencoders∗

中文：变形性判别式自动编码器幻觉极低分辨率未对准且嘈杂的人脸图像

摘要

• 大多数常规的面部幻觉方法都假定输入图像足够大且对齐，并且都要求输入图像无噪声。【缺点】

  如果输入图像很小，未对齐并被噪声污染，它们的性能将大大降低

  。在本文中，我们介绍了一种新颖的变换式判别式自动编码器，可对8倍超分辨未对齐的噪点和微小（16X16）的低分辨率人脸图像进行编码。与基于编码器-解码器的自动编码器相比，我们的方法使用解码器-编码器-解码器网络。我们

  首先采用变换判别解码器网络来同时进行升采样和降噪

  。然后，我们

  使用变换编码器网络将中间的HR人脸投影到对齐且无噪声的LR人脸

  。最后，我们

  使用第二个解码器生成幻觉的HR图像

  。我们对非常大的面部数据集进行了广泛的评估，结果表明我们的方法获得了出色的幻觉效果，并以1.82dB PSNR的较大幅度优于最新技术。

背景：如果输入图像很小，未对齐并被噪声污染，常规方法性能将大大降低

目的：对未对齐的带噪点的低分辨率人脸图像进行超分辨

方法：解码器-编码器-解码器。

结论：我们的方法获得了出色的幻觉效果，并以1.82dB PSNR的较大幅度优于最新技术。

图1.我们的方法与基于CNN的面部幻觉URDGN的比较[25]。 （a）16×16LR输入图像。 （b）128×128HR原始图像。 （c）去噪并对齐的LR图像。我们首先应用BM3D [4]，然后应用STN [10]。 （d）训练数据集中对应最相似的面孔。 （e）（c）的三次插值。 （f）URDGN生成的图像。请注意，URDGN超级解析去噪和对齐的LR图像，而不是原始的LR输入（支持URDGN）。 （g）由我们的解码器-编码器将经过去噪和对齐的LR图像作为中间输出。 （h）我们的TDAE方法的最终幻觉的脸

图 2.我们的变换判别解码器由两部分组成：一个变换上采样网络（在红色框中）和一个区别网络（在蓝色框中）

图4.我们的变革性歧视性自动编码器的工作流程。方框的颜色表示图2和图3中的网络。

图3.转换编码的架构

图5.我们的方法与基于CNN的幻觉方法的比较。 （a）输入的16×16LR图像。 （b）原始的128×128HR图像（用于比较）。 （c）（a）的去噪和对齐版本。 （d）URDGN的结果[25]。 （e）CBN的结果[29]。 （f）DEC1的结果。 （g）我们的ENC投影的对齐且无噪音的LR面。 （h）我们的最终结果

图6.在噪声水平为10％时与最新技术的比较。 （a）未对准且有噪声的LR输入。 （b）原始HRimage。 （c）双三次插值。 （d）[6]的结果。 （e）[22]的结果。 （f）[29]的结果。 （g）[25]的结果。 （h）我们的方法

图8.不同噪声水平下我们的结果的可视化。实地HR图像请参见图5（b）。

结论

• 我们提出了一种变革性的自动编码器网络，可以以极富挑战性的8倍采样因子对超低分辨率（16×16像素）的未对准且嘈杂的人脸图像进行超分辨。我们利用了新的解码器-编码器-解码器体系结构。我们的网络共同对齐，消除噪声，并区分幻觉输入图像。由于我们的方法与图像噪声，面部姿势和空间变形无关，因此非常实用。同时，它可以产生丰富而真实的面部细节。