天天看點

【超分辨率】Deeply-Recursive Convolutional Network for Image Super-ResolutionEmbeding NetInference NetReconstruction Net總過程:結論:

這篇文章在超分辨率中應該算是一種标杆類的算法,雖然Recursive-Convolution Network在圖像上的應用并不是由這篇文章率先提出,但在超分辨率進行中應該是第一篇。

首先簡單介紹下網絡模型,作者将該網絡分成3個subnet,Embedding network, Inference Network和Reconstruction Network。

【超分辨率】Deeply-Recursive Convolutional Network for Image Super-ResolutionEmbeding NetInference NetReconstruction Net總過程:結論:

Embeding Net

Embeding Net主要是将輸入圖像轉成一系列的feature map表示,相當于SRCNN和稀疏編碼算法中的特征提取過程。該子網絡主要注重提取特征,将其送入Inference Net去恢複低分辨率圖像中的miss high-frequency

由圖1可以看出,作者為Embeding Net設定了兩層,embeding Net的數學描述如下:

【超分辨率】Deeply-Recursive Convolutional Network for Image Super-ResolutionEmbeding NetInference NetReconstruction Net總過程:結論:

Inference Net

Inference Net是這篇文章的重點,主要是處理超分辨率過程的高頻細節恢複工作。Inference Net是一個遞歸的子網絡,通過不增加參數數量的情況下,盡量大的增加網絡的感受野receptive fields。

像ImageNet那種網絡是往往需要比較大的receptive fields去提取特征,正常方法主要有兩種,1)增加卷積層(卷積核需大于1x1的),2)增加pool層。 上述兩種方法都存在着一些問題,增加卷積層會顯著帶來參數量的增加;增加pool層,則會較多地丢棄像素資訊。

是以本文采用了遞歸卷積層,每次遞歸都采用與上次一樣的卷積核,是以,在增大感受野的同時,并沒有引入額外的參數。Each recursion applies the same convolution followed by a rectified linear unit

【超分辨率】Deeply-Recursive Convolutional Network for Image Super-ResolutionEmbeding NetInference NetReconstruction Net總過程:結論:

這樣做的同時,會引入兩個麻煩的問題;1)Recursive次數怎麼選?如何去選取最優的Recursive次數。2)Recursive次數多了,在反向傳播的時候,長鍊式的梯度會出現兩個常見的問題:梯度爆炸和梯度彌散,如何去有效訓練該子網絡?

關于第一個問題,作者并沒有給出明确的解決方法,個人估計是暴力測試。關于第二個問題,作者給出了兩種算法去ease這個問題,1)監督遞歸,每次Recursive後的feature map都會連接配接到輸出。2)skip-connection,由于超分辨率有個特點(圖像輸入和圖像輸出在一定程度上是高度相關的,是以将圖像輸入直接跳躍連接配接到圖像輸出)

【超分辨率】Deeply-Recursive Convolutional Network for Image Super-ResolutionEmbeding NetInference NetReconstruction Net總過程:結論:

.

單層的遞歸過程描述為:

【超分辨率】Deeply-Recursive Convolutional Network for Image Super-ResolutionEmbeding NetInference NetReconstruction Net總過程:結論:
【超分辨率】Deeply-Recursive Convolutional Network for Image Super-ResolutionEmbeding NetInference NetReconstruction Net總過程:結論:

Reconstruction Net

可以看作是Embeding Net的逆過程,類似的,還是由兩層卷積層構成。

【超分辨率】Deeply-Recursive Convolutional Network for Image Super-ResolutionEmbeding NetInference NetReconstruction Net總過程:結論:

總過程:

【超分辨率】Deeply-Recursive Convolutional Network for Image Super-ResolutionEmbeding NetInference NetReconstruction Net總過程:結論:
【超分辨率】Deeply-Recursive Convolutional Network for Image Super-ResolutionEmbeding NetInference NetReconstruction Net總過程:結論:

f1為Embed Net, f2為Inference Net, f3為reconstruction Net

結論:

【超分辨率】Deeply-Recursive Convolutional Network for Image Super-ResolutionEmbeding NetInference NetReconstruction Net總過程:結論:

繼續閱讀