論文閱讀筆記:Kindling the Darkness: A Practical Low-light Image Enhancer

• 摘要
• 論文要點
• • 論文旨在解決的問題
  • 論文中所采用的方案
• 網絡設計
• • Layer Decomposition
  • • 網絡結構
    • 損失函數
  • Illumination Adjustment
  • • 網絡結構
    • 損失函數
  • Reflectance Restoration
  • • 網絡結構
    • 損失函數
• 相關試驗
• • 實驗結果:
• 個人對該模型的評價
• • 優點
  • 缺點/不足之處
• 相關連結

摘要

在弱光條件下拍攝的圖像通常能見度較差。除了不令人滿意的照明，由于有限的相機品質，還有多種類型的退化，如噪音和顔色失真，被隐藏在黑暗中。換句話說，僅僅提高黑暗區域的亮度将不可避免地放大隐藏的退化。這項工作建立了一個簡單而有效的"點燃黑暗"的網絡（該網絡為KinD），受Retinex理論的啟發，将圖像分解為兩個部分。一個部分（照明 illumination）負責光照調節，而另一個部分（反射 reflectance）負責去除退化。這樣，原始空間被解耦成兩個更小的子空間，期望得到更好的正則化/學習。值得注意的是，“我們”的網絡是用在不同條件下拍攝的成對圖像來訓練的曝光條件，而不是使用ground-truth的真實反射率和照明資訊。大量的實驗證明了“我們”的設計的有效性和它優于目前最先進的算法。“我們”的産品對嚴重的視覺缺陷具有很強的魯棒性，并且使用者友好，可以任意調整光照水準。此外，“我們”的模型在2080Ti GPU上處理VGA分辨率的圖像所花費的時間不到50ms。以上優點使“我們”的成果具有實用價值。

論文要點

論文旨在解決的問題

1. 實際上弱光圖像并不存在絕對的ground-truth，對于不同的人/需求，最喜歡的照明水準可能是多種多樣。
2. 在沒有ground-truth的情況下，該如何去訓練網絡。
3. 黑暗區域中的噪聲往往更難去除，要如何設定模型對其進行降噪、顔色保真？

論文中所采用的方案

1. 引入一個人為設定的參數來控制照明的增強程度。用一對不同光照強度的圖像來訓練模型。
2. 根據先驗知識來尋求不同光照圖像的關系，建構合适的損失函數來指導模型訓練。
3. 噪聲是複雜分布在反射圖R中，分布很大取決于光照L分布，故利用L來輔助重構R。此外，還解決了顔色失真的問題。

網絡設計

KinD由Layer Decomposition(層次分解) 、Illumination Adjustment(照明度調節)、 Reflectance Restoration(反射率恢複)三個部分組成。

該網絡用兩張不同光照程度 I l 、 I h I_l、I_h Il​、Ih​的成對圖像來訓練網絡，而 I h I_h Ih​不再需要是ground-truth。

Layer Decomposition

網絡結構

論文中并沒有對網絡中的細節有很詳細的闡述，于是我去github找了該論文的源碼，仔細閱讀了源碼，發現圖中網絡與源碼在某些細節上(如層數)有細微的差别，這可能是因為原作者後續又細微修改了代碼的原因。

損失函數

1. 根據先驗知識，不同光照程度的圖像分解出的反射率map應該相同，故有反映其相似度的 l o s s loss loss:

   

   R l 、 R h R_l、R_h Rl​、Rh​分别為 I l 、 I h I_l、I_h Il​、Ih​在Layer Decomposition 層分解出的反射率map。
2. 對于分解出的照明度map來說，照明度map具有結構光滑的性質。于是作者引入了相對于輸入圖像照明結構的平滑度項 l o s s loss loss:

   

3. 同時引入了分解出的光照圖L的互相平滑度 l o s s loss loss:

   

4. 分解出的 R 、 L R、L R、L，應該要具備通過 I = R ∘ L I=R\circ L I=R∘L式子可還原為原來圖像 I I I的性質。故引入了反映分解準确度的 l o s s loss loss:

   

   最後結合以上 l o s s loss loss，Layer Decomposition 的損失函數為:

   

Illumination Adjustment

網絡結構

作者在Illumination Adjustment部分中引入一個人為設定的參數 α \alpha α來控制照明的增強程度。該參數在網絡中直接與 L L L map 聯合一起作為Illumination Adjustment的輸入。在訓練過程中， α \alpha α由 α = L t / L s \alpha=L_t /L_s α=Lt​/Ls​來定義。其中 L t L_t Lt​為調整目标， L s L_s Ls​為待調整的圖像， L t 與 L s 都 可 以 為 L l o r L h L_t與L_s 都可以為L_l or L_h Lt​與Ls​都可以為Ll​orLh​， α \alpha α大于1還是小于1反映着該網絡是增強亮度還是降低亮度。

損失函數

引入反映增強後的相似度項 l o s s loss loss:

L ^ \hat{L} L^為Illumination Adjustment層的調整結果。

Reflectance Restoration

網絡結構

根據先驗知識，噪聲是複雜分布在反射圖 R R R中，分布很大取決于照明度 L L L分布，故利用 L L L來輔助恢複R。是以在Reflectance Restoration層中，作者将分解出的 R 、 L R、L R、L一同聯合作為輸入，來重建 R R R。

損失函數

采用恢複結果 R ^ \hat{R} R^與目标結果 R h R_h Rh​的 L 2 L_2 L2​距離以及SSIM、兩map梯度的 L 2 L_2 L2​距離作為該子產品的損失函數：

相關試驗

訓練模型所使用的資料集:LOLdataset。

實驗結果:

1. 在LOL資料集中驗證得出的結果(源碼顯示:使用的ratio=5.0):

   

2. 與各前沿算法的增強結果的視覺比較:

   

   從上圖來看，KinD的增強結果噪聲更少、顔色更加真實。
3. 除了在LOLdataset中驗證外，作者還将KinD與其他前沿算法在LIME、NPE、MEF資料集中驗證，并比較各算法的驗證結果:

   

   NIQE為一個常用的無參考圖像的圖像品質評價名額，NIQE值越小代表該圖像品質越好。

個人對該模型的評價

優點

1. 用一對不同光照強度的圖像來訓練模型，無需ground-truth。
2. 根據先驗知識來尋求不同光照圖像的關系，建構了合适的損失函數來指導模型訓練。
3. 噪聲是複雜分布在反射圖R中，分布很大取決于光照L分布，故利用了L來輔助重構R。此外， 還解決了顔色失真的問題。
4. 模型較輕量，處理效率高。

缺點/不足之處

1. 作者通過引入一個人為設定的參數來控制照明的增強程度，來輔助指導無需ground-truth的模型訓練，雖說可以算是"使用者友好"，但這也會導緻在驗證時或實際應用時，将難以人工選取較合适的參數α。
2. 在論文中沒有對α的選擇做探讨，特别是驗證過程時α的選擇
3. 對各 l o s s loss loss功能還可以進一步作消融實驗，以驗證 l o s s loss loss設計的合理性。

相關連結

1. Paper: Kindling the Darkness: A Practical Low-light Image Enhancer
2. Code