代碼：https://github.com/zhilin007/FFA-Net
目錄
- 1. 摘要
- 2. 網絡結構
-
- 2.1 Feature Attention(FA)
-
- Channel Attention(CA)
- Pixel Attention(PA)
- 2.2 Basic Block Structure
- 2.3 Group Architecture and Global Residual Learning
- 2.4 Feature Fusion Attention
- 3. 損失函數
- 4. 讀後感
1. 摘要
本文提出了Feature Fusion Attention Network(FFA-Net)用于單幅圖像去霧。該網絡最重要的是Feature Attention(FA)子產品。FA子產品包含了Channel Attention(CA)子產品和Pixel Attention(PA)子產品。
2. 網絡結構
網絡總體結構如圖1所示。
圖1 網絡總體結構
網絡的輸入為一張霧圖，經過一個淺層的特征提取部分，然後饋入N個帶有跳躍連接配接的Group Architecture，輸出結果由本文提出的特征注意力子產品進行融合，最後，經由重建部分和全局殘差學習結構得到最終的無霧圖輸出。
2.1 Feature Attention(FA)
特征注意力子產品結構如圖2所示。
大多數去霧網絡平等對待通道和像素的特征，無法準确處理霧分布不均和權重通道方式特征的圖像。 本文的特征注意力包含了通道注意力和像素注意力，可以在處理不同類型的資訊時提供額外的靈活性。
FA不平等地對待不同的特征和像素區域，這可以在處理不同類型的資訊時提供額外的靈活性，并可以擴充CNN的表示能力。 關鍵步驟是如何為每個通道和像素方向的特征生成不同的權重。
圖2 Feature Attention module
Channel Attention(CA)
我們的頻道關注點主要是關于DCP，不同的頻道功能具有完全不同的權重資訊。 首先，我們使用全局平均池将通道方式的全局空間資訊帶入通道描述符。
g c = H p ( F c ) = 1 H × W ∑ i = 1 H ∑ j = 1 W X c ( i , j ) (3) g_{c}=H_{p}\left(F_{c}\right)=\frac{1}{H \times W} \sum_{i=1}^{H} \sum_{j=1}^{W} X_{c}(i, j) \tag{3} gc=Hp(Fc)=H×W1i=1∑Hj=1∑WXc(i,j)(3)
其中， X c ( i , j ) X_{c}(i, j) Xc(i,j)為第 c c c通道 X c X_c Xc在 ( i , j ) (i, j) (i,j)的像素值， H p H_p Hp為全局池化函數。特征圖的形狀由 C × H × W C \times H \times W C×H×W變為 C × 1 × 1 C \times 1 \times 1 C×1×1。
為了擷取不同通道的權重，随後将特征經由兩層卷積層，sigmoid和ReLU激活函數。如下：
C A c = σ ( C o n v ( δ ( C o n v ( g c ) ) ) ) (4) C A_{c}=\sigma\left({Conv}\left(\delta\left({Conv}\left(g_{c}\right)\right)\right)\right) \tag{4} CAc=σ(Conv(δ(Conv(gc))))(4)
其中， σ \sigma σ代表sigmoid函數， δ \delta δ代表ReLu函數。
最後，将輸入 F c F_c Fc和每個通道的權重進行逐元素相乘。如下：
F c ∗ = C A c ⊗ F c (5) F_c^* = CA_c \otimes F_c \tag{5} Fc∗=CAc⊗Fc(5)
Pixel Attention(PA)
考慮到不同圖像像素上的霧度分布不均勻，本文提出了一種像素注意立子產品，以使網絡更加關注資訊特征，例如濃霧像素和高頻圖像區域。CA子產品公式化如下：
P A = σ ( Conv ( δ ( Conv ( F ∗ ) ) ) ) (6) P A=\sigma\left(\operatorname{Conv}\left(\delta\left(\operatorname{Conv}\left(F^{*}\right)\right)\right)\right) \tag{6} PA=σ(Conv(δ(Conv(F∗))))(6)
其中， F ∗ F^* F∗為CA的輸出。特征圖的形狀由 C × H × W C \times H \times W C×H×W變為 1 × H × W 1 \times H \times W 1×H×W。
最後，将輸入 F ∗ F^* F∗和PA進行逐元素相乘，得到FA子產品的輸出 F ~ \widetilde{F} F
。如下：“
F ~ = F ∗ ⊗ P A (7) \widetilde{F}=F^{*} \otimes P A \tag{7} F
=F∗⊗PA(7)
2.2 Basic Block Structure
基礎Block Structure如圖3所示。
圖3 基礎塊結構
如圖3所示，基礎Block Structure由局部殘差學習和FA子產品組成，局部殘差學習允許通過多個局部殘差連接配接繞過較不重要的資訊，例如薄霧度或低頻區域 ，并且主要網絡關注有效資訊。
2.3 Group Architecture and Global Residual Learning
Group Architecture将基礎Block Structure與跳過連接配接子產品結合在一起。連續的Block Structure增加了FFA-Net的深度和表達能力。跳過連接配接會使FFA-Net難以訓練。在FFA-Net的末尾，我們使用兩層卷積網絡實作和一個很長的捷徑全局殘差學習子產品來添加恢複部分。最後，恢複了所需的無霧圖像。
2.4 Feature Fusion Attention
如上所述，首先，将Group Architecture在通道方向上輸出的所有特征圖連接配接起來。此外，通過乘以通過特征注意力機制獲得的自适應學習權重來融合特征。由此，可以保留低級資訊并将其傳遞到更深的層次，由于權重機制，讓FFA-Net更加關注有效資訊，例如濃霧區域，高頻紋理和色彩逼真度。
3. 損失函數
本文的損失函數單純使用 L 1 L1 L1範式。損失函數如下：
L ( Θ ) = 1 N ∑ i = 1 N ∥ I g t i − F F A ( I h a z e i ) ∥ (8) L(\Theta)=\frac{1}{N} \sum_{i=1}^{N}\left\|I_{g t}^{i}-F F A\left(I_{{haze}}^{i}\right)\right\| \tag{8} L(Θ)=N1i=1∑N∥∥Igti−FFA(Ihazei)∥∥(8)
其中， Θ \Theta Θ代表網絡參數， I g t I_{g t} Igt代表Ground-Truth， I h a z e I_{haze} Ihaze代表輸入。
4. 讀後感
網絡結構簡單，文章也沒有什麼讓人耳目一新的創新點。但是客觀名額很高，主觀效果也不差。