代码：https://github.com/zhilin007/FFA-Net
目录
- 1. 摘要
- 2. 网络结构
-
- 2.1 Feature Attention(FA)
-
- Channel Attention(CA)
- Pixel Attention(PA)
- 2.2 Basic Block Structure
- 2.3 Group Architecture and Global Residual Learning
- 2.4 Feature Fusion Attention
- 3. 损失函数
- 4. 读后感
1. 摘要
本文提出了Feature Fusion Attention Network(FFA-Net)用于单幅图像去雾。该网络最重要的是Feature Attention(FA)模块。FA模块包含了Channel Attention(CA)模块和Pixel Attention(PA)模块。
2. 网络结构
网络总体结构如图1所示。
图1 网络总体结构
网络的输入为一张雾图，经过一个浅层的特征提取部分，然后馈入N个带有跳跃连接的Group Architecture，输出结果由本文提出的特征注意力模块进行融合，最后，经由重建部分和全局残差学习结构得到最终的无雾图输出。
2.1 Feature Attention(FA)
特征注意力模块结构如图2所示。
大多数去雾网络平等对待通道和像素的特征，无法准确处理雾分布不均和加权通道方式特征的图像。 本文的特征注意力包含了通道注意力和像素注意力，可以在处理不同类型的信息时提供额外的灵活性。
FA不平等地对待不同的特征和像素区域，这可以在处理不同类型的信息时提供额外的灵活性，并可以扩展CNN的表示能力。 关键步骤是如何为每个通道和像素方向的特征生成不同的权重。
图2 Feature Attention module
Channel Attention(CA)
我们的频道关注点主要是关于DCP，不同的频道功能具有完全不同的加权信息。 首先，我们使用全局平均池将通道方式的全局空间信息带入通道描述符。
g c = H p ( F c ) = 1 H × W ∑ i = 1 H ∑ j = 1 W X c ( i , j ) (3) g_{c}=H_{p}\left(F_{c}\right)=\frac{1}{H \times W} \sum_{i=1}^{H} \sum_{j=1}^{W} X_{c}(i, j) \tag{3} gc=Hp(Fc)=H×W1i=1∑Hj=1∑WXc(i,j)(3)
其中， X c ( i , j ) X_{c}(i, j) Xc(i,j)为第 c c c通道 X c X_c Xc在 ( i , j ) (i, j) (i,j)的像素值， H p H_p Hp为全局池化函数。特征图的形状由 C × H × W C \times H \times W C×H×W变为 C × 1 × 1 C \times 1 \times 1 C×1×1。
为了获取不同通道的权重，随后将特征经由两层卷积层，sigmoid和ReLU激活函数。如下：
C A c = σ ( C o n v ( δ ( C o n v ( g c ) ) ) ) (4) C A_{c}=\sigma\left({Conv}\left(\delta\left({Conv}\left(g_{c}\right)\right)\right)\right) \tag{4} CAc=σ(Conv(δ(Conv(gc))))(4)
其中， σ \sigma σ代表sigmoid函数， δ \delta δ代表ReLu函数。
最后，将输入 F c F_c Fc和每个通道的权重进行逐元素相乘。如下：
F c ∗ = C A c ⊗ F c (5) F_c^* = CA_c \otimes F_c \tag{5} Fc∗=CAc⊗Fc(5)
Pixel Attention(PA)
考虑到不同图像像素上的雾度分布不均匀，本文提出了一种像素注意立模块，以使网络更加关注信息特征，例如浓雾像素和高频图像区域。CA模块公式化如下：
P A = σ ( Conv ( δ ( Conv ( F ∗ ) ) ) ) (6) P A=\sigma\left(\operatorname{Conv}\left(\delta\left(\operatorname{Conv}\left(F^{*}\right)\right)\right)\right) \tag{6} PA=σ(Conv(δ(Conv(F∗))))(6)
其中， F ∗ F^* F∗为CA的输出。特征图的形状由 C × H × W C \times H \times W C×H×W变为 1 × H × W 1 \times H \times W 1×H×W。
最后，将输入 F ∗ F^* F∗和PA进行逐元素相乘，得到FA模块的输出 F ~ \widetilde{F} F
。如下：“
F ~ = F ∗ ⊗ P A (7) \widetilde{F}=F^{*} \otimes P A \tag{7} F
=F∗⊗PA(7)
2.2 Basic Block Structure
基础Block Structure如图3所示。
图3 基础块结构
如图3所示，基础Block Structure由局部残差学习和FA模块组成，局部残差学习允许通过多个局部残差连接绕过较不重要的信息，例如薄雾度或低频区域 ，并且主要网络关注有效信息。
2.3 Group Architecture and Global Residual Learning
Group Architecture将基础Block Structure与跳过连接模块结合在一起。连续的Block Structure增加了FFA-Net的深度和表达能力。跳过连接会使FFA-Net难以训练。在FFA-Net的末尾，我们使用两层卷积网络实现和一个很长的捷径全局残差学习模块来添加恢复部分。最后，恢复了所需的无雾图像。
2.4 Feature Fusion Attention
如上所述，首先，将Group Architecture在通道方向上输出的所有特征图连接起来。此外，通过乘以通过特征注意力机制获得的自适应学习权重来融合特征。由此，可以保留低级信息并将其传递到更深的层次，由于权重机制，让FFA-Net更加关注有效信息，例如浓雾区域，高频纹理和色彩逼真度。
3. 损失函数
本文的损失函数单纯使用 L 1 L1 L1范式。损失函数如下：
L ( Θ ) = 1 N ∑ i = 1 N ∥ I g t i − F F A ( I h a z e i ) ∥ (8) L(\Theta)=\frac{1}{N} \sum_{i=1}^{N}\left\|I_{g t}^{i}-F F A\left(I_{{haze}}^{i}\right)\right\| \tag{8} L(Θ)=N1i=1∑N∥∥Igti−FFA(Ihazei)∥∥(8)
其中， Θ \Theta Θ代表网络参数， I g t I_{g t} Igt代表Ground-Truth， I h a z e I_{haze} Ihaze代表输入。
4. 读后感
网络结构简单，文章也没有什么让人耳目一新的创新点。但是客观指标很高，主观效果也不差。