作者
Xiangyu He ,Jian Cheng
所屬組織
NLPR, CASIA
論文位址：https://arxiv.org/abs/2201.10084
項目位址：暫無
面對的問題
作為不适定問題的超分辨率有許多低分辨率輸入的高分辨率候選（即結果可能性很多）。 然而，用于最适合給定 HR 圖像的流行 L1 損失沒有考慮圖像恢複中非唯一性的這一基本的屬性。
解決思路
在這項工作中，作者通過将神經網絡的超分辨率公式化為機率模型來修複 L1 損失中的缺失部分。 它表明 L1 損失相當于一個退化的似然函數，它消除了學習過程中的随機性。 通過引入資料自适應随機變量，作者提出了一個新的目标函數，旨在最小化所有合了解決方案的重建誤差的期望。
知識補充
1·單圖像超分辨率(SISR)網絡的行為主要是由目标函數的選擇所驅動的。SISR中兩個常見的例子是均方誤差(MSE)損失和平均絕對誤差(MAE)損失。由于長期測試的測量峰值信噪比(PSNR)本質上是在MSE上定義的，現在的目标主要集中于最小化均方重建誤差，以實作高性能。
2·SR中的損失函數 文獻中的大多數學習對象分為兩大類：像素損失和感覺損失。 前者旨在優化完整的參考名額，例如 PSNR 和 SSIM。 特别是 MSE 損失相當于 PSNR。 然而，表明 L2 損失會導緻 SR 圖像過于平滑，以下工作在訓練期間傾向于使用 L1。 鑒于圖像識别中知識蒸餾的成功，在特征空間中使用損失函數來提高學生網絡的性能。 作者議從後驗分布中學習，而不是從最适合的真實圖像中學習。
優點
在本文中，從一個簡單的想法開始，即學習一對多映射很直覺，因為 LR 輸入有很多解決方向。 理想情況下，可以通過後驗分布 P(y|x;W) 來近似對應于真實 HR 圖像的局部流形。 注意，生成方法能夠捕捉更複雜的自然圖像分布，這激發了作者從機率的角度重新審視神經網絡的超分辨率。 通過這種方式，
作者有以下貢獻：
- 作者通過引入底層自然圖像 y 的後驗高斯分布，即 P(y|x;W) 推導出用于求解 SISR 的損失函數，它可以最小化 y 中所有合了解的預期重建誤差。 公式化的學習過程可以很容易地擴充到具有不同分布的其他 P(y|x;W)，例如拉普拉斯。
- P(y|x;W) 的學習标準差有助于 HR 圖像回歸，并且作為額外的功能，允許作者對 SISR 中的模型不确定性進行有意義的估計。
- 實驗結果表明，在主流主幹網絡上替換掉 L1 損失作者得到了一緻的改進，而在運作時沒有額外的成本。
具體内容
主體為機率分析，就不具體展開說了。。。
實驗設定
對于雙三次圖像 SR，按照的通用設定，作者對來自 DIV2K訓練集的第 1-800 個圖像進行所有實驗，然後在五個基準上評估我們的模型：Set5、Set14、B100、Urban100和 Manga109，比例因子分别為 2×、3×、4×。 為了與在小型資料集上訓練的早期作品進行公平比較，作者還在性能表中引用了重制的 DIV2K 結果。對于現實世界的 SR，我們使用 RealSR 基準中提出的相同資料集和訓練設定。 作者在 YCbCr 空間的 Y 通道上報告 PSNR 和 SSIM，并忽略與邊界尺度相同數量的像素。
消融實驗
實驗結果
總覽
Ps：參數多了一點，推理速度基本不變
名額性能對比表
視覺效果對比
啟發
L1損失是SR中常用的損失，作者提出的新的L1損失可以替換掉老的L1損失進而給基準模型帶來性能上可觀的提升。