Learning Enriched Features for Real Image Restoration and Enhancement
- Abstract
- Contribution
- Method（MIRNet）
- Result
Abstract
先講述高品質圖像擷取的廣泛應用和重要性。CNN的方法主要在全分辨率或者低分辨率表達上應用，前者在空域上效果優良但缺少連貫性的魯棒結果，後者語義可靠但空域上缺乏精确結果。本文提出的網絡實作了空域高分辨率表達和從低分辨率表達中接受強情境資訊。核心有四點：并行多分辨率卷積流來提取多尺度特征；通過多分辨率流來進行資訊交換；空域和時域注意力模型來提取情境資訊；基于多尺度特征融合的注意力機制。
Contribution
- 在保留原始分辨率的細節下，能夠擷取多尺度空域下完備集的特征提取方法；
- 通過不斷交換（多尺度）資訊，可以從多分辨率分支中融合資訊來提升表達學習能力；
- 用一個核選取網絡來融合多尺度特征，動态結合變化的感受野和保留不同空域分辨率下的原始特征資訊；
- 遞歸殘差設計，分解輸入信号來簡化學習過程，并通過非常深的網絡重建；
-
在去噪、超分、圖像增強領域的資料集達到SOTA水準；
上面是論文中的描述，用口水話描述下這篇論文的主要創新點，一個是多尺度資訊的重複利用，可以得到更多地備援資訊進而幫助恢複了圖像細節；一個是采用了attention機制來對通道和空域進行了操作，即利用了圖像的語義資訊，進而得到了更好的選核和融合的過程。這篇文章的網絡是挺複雜的，本人是做去噪的，目前主要的真實去噪資料集的榜上這個方法效果都非常好。
Method（MIRNet）
主要的網絡結構如下：
RRG是遞歸殘差塊，主體結構。loss采用了一個叫Charbonnier loss的玩意：
L ( I ^ , I ∗ ) = ∥ I ^ − I ∗ ∥ 2 + ε 2 ; L(\hat{I},I^{*} ) = \sqrt{\begin{Vmatrix} \hat{I}-I^{*} \end{Vmatrix}^{2}+\varepsilon^{2}}; L(I^,I∗)=∥∥I^−I∗∥∥2+ε2
;
本質上是一個增加了正則系數的l1 loss，l1 loss對于圖像處理穩健性高，對于圖像處理能夠更加平滑，l2 loss對于離群點較為敏感。之前有看到說l2 loss在圖像處理是會導緻圖像變得模糊，但曾經看到有一篇文章《Loss Functions for Image Restoration with Neural Network》上面測試的l2 loss平滑程度是不如l1的，以及我自己測試l2 loss的人工痕迹比l1會重，是以對此還有點小小的疑惑，但可以肯定l1 loss更适合用來做圖像處理。
回歸正題，其中的MRB是多尺度殘差塊，在這一塊裡先下采樣得到不同尺度，需要提一點這裡的上采樣下采樣也用了卷積來實作，不是單純的采樣和插值，不确定這樣做的理由是否足夠強，相比于單純的上下采樣有多大優勢。
然後用attention單元來對feature map進行重構，一個是通道attention，一個是空域attention，這裡的attention沒有像Non-local block那樣兩兩點之間的關系都算出來，而是直接用卷積訓練生成出來。Attention這個想法還是很make sense的，不過權重感覺是不是進行一次歸一化會更好些？利用GAP、GMP來多通道共享權重可以解決attention裡面對于圖像幅面的限制。
這裡的空域Attention來自于CBAM裡的空域attention結構，通道attention來自于SENet的結構。
然後是核選擇和特征融合子產品，多尺度有attention資訊的feature map通過上采樣子產品得到相同幅面，再将多尺度的資訊加和，經過channel attention子產品來得到不同特征的選擇，最後把選出來的feature map加和得到最終結果。相當于從不同尺度裡選取對最終結果起到作用的map結合，這也就對應着論文裡提出了資訊交換。
Result
最後是對去噪、超分、圖像增強測試集的應用，效果還是很不錯的，具體的可以去論文中看。關于Ablation Study，可以看出起主要作用的是DAU子產品，其實也可以看出Attention機制對于圖像處理的幫助還是比較大的。個人認為如果能夠将attention機制改進，能夠在充分利用像素間相關資訊的同時再減少計算量會是一個有價值的點，但聽上去好像不太靠譜2333