天天看点

【超分辨率】Deeply-Recursive Convolutional Network for Image Super-ResolutionEmbeding NetInference NetReconstruction Net总过程:结论:

这篇文章在超分辨率中应该算是一种标杆类的算法,虽然Recursive-Convolution Network在图像上的应用并不是由这篇文章率先提出,但在超分辨率处理中应该是第一篇。

首先简单介绍下网络模型,作者将该网络分成3个subnet,Embedding network, Inference Network和Reconstruction Network。

【超分辨率】Deeply-Recursive Convolutional Network for Image Super-ResolutionEmbeding NetInference NetReconstruction Net总过程:结论:

Embeding Net

Embeding Net主要是将输入图像转成一系列的feature map表示,相当于SRCNN和稀疏编码算法中的特征提取过程。该子网络主要注重提取特征,将其送入Inference Net去恢复低分辨率图像中的miss high-frequency

由图1可以看出,作者为Embeding Net设置了两层,embeding Net的数学描述如下:

【超分辨率】Deeply-Recursive Convolutional Network for Image Super-ResolutionEmbeding NetInference NetReconstruction Net总过程:结论:

Inference Net

Inference Net是这篇文章的重点,主要是处理超分辨率过程的高频细节恢复工作。Inference Net是一个递归的子网络,通过不增加参数数量的情况下,尽量大的增加网络的感受野receptive fields。

像ImageNet那种网络是往往需要比较大的receptive fields去提取特征,常规方法主要有两种,1)增加卷积层(卷积核需大于1x1的),2)增加pool层。 上述两种方法都存在着一些问题,增加卷积层会显著带来参数量的增加;增加pool层,则会较多地丢弃像素信息。

因此本文采用了递归卷积层,每次递归都采用与上次一样的卷积核,因此,在增大感受野的同时,并没有引入额外的参数。Each recursion applies the same convolution followed by a rectified linear unit

【超分辨率】Deeply-Recursive Convolutional Network for Image Super-ResolutionEmbeding NetInference NetReconstruction Net总过程:结论:

这样做的同时,会引入两个麻烦的问题;1)Recursive次数怎么选?如何去选取最优的Recursive次数。2)Recursive次数多了,在反向传播的时候,长链式的梯度会出现两个常见的问题:梯度爆炸和梯度弥散,如何去有效训练该子网络?

关于第一个问题,作者并没有给出明确的解决方法,个人估计是暴力测试。关于第二个问题,作者给出了两种算法去ease这个问题,1)监督递归,每次Recursive后的feature map都会连接到输出。2)skip-connection,由于超分辨率有个特点(图像输入和图像输出在一定程度上是高度相关的,所以将图像输入直接跳跃连接到图像输出)

【超分辨率】Deeply-Recursive Convolutional Network for Image Super-ResolutionEmbeding NetInference NetReconstruction Net总过程:结论:

.

单层的递归过程描述为:

【超分辨率】Deeply-Recursive Convolutional Network for Image Super-ResolutionEmbeding NetInference NetReconstruction Net总过程:结论:
【超分辨率】Deeply-Recursive Convolutional Network for Image Super-ResolutionEmbeding NetInference NetReconstruction Net总过程:结论:

Reconstruction Net

可以看作是Embeding Net的逆过程,类似的,还是由两层卷积层构成。

【超分辨率】Deeply-Recursive Convolutional Network for Image Super-ResolutionEmbeding NetInference NetReconstruction Net总过程:结论:

总过程:

【超分辨率】Deeply-Recursive Convolutional Network for Image Super-ResolutionEmbeding NetInference NetReconstruction Net总过程:结论:
【超分辨率】Deeply-Recursive Convolutional Network for Image Super-ResolutionEmbeding NetInference NetReconstruction Net总过程:结论:

f1为Embed Net, f2为Inference Net, f3为reconstruction Net

结论:

【超分辨率】Deeply-Recursive Convolutional Network for Image Super-ResolutionEmbeding NetInference NetReconstruction Net总过程:结论:

继续阅读