最近在研究文字圖像的超分辨率，下載下傳了幾篇論文，準備略讀一下，每篇文章寫個筆記做記錄。
Paper：Super Resolution of Car Plate Images Using Generative Adversarial Networks
Abstract
車牌識别可以用于交通監控系統，例如智能停車場管理，查找被盜車輛和自動高速公路收費。在低分辨率監視系統中，車牌文本通常難以辨認。通過将一系列LR圖像處理為單個高分辨率（HR）圖像，可以使用超高分辨率（SR）技術來提高車牌識别的準确率。以前的方法總是最小化均方損失（MSE），以提高峰值信噪比（PSNR）。但是，最小化均方損失會導緻重建圖像過于平滑。在本文中，提出了基于生成對抗網絡（GAN）的超分方法，将LR圖像重構為HR圖像。除此之外，提出了感覺損失來解決平滑問題。将基于GAN的SR生成圖像的品質與現有技術（例如雙三次BICUBIC，超分辨率卷積神經網絡SRCNN）進行比較。結果表明，與以前的方法相比，使用基于GANs的SR重建的圖像在感覺品質方面取得了更好的結果。
INTRODUCTION
- 背景：number of vehicles registered in Malaysia have shown significant growth，the complexity of traffic management becomes a challenge from year to year.
車牌識别通常有四個子階段：車牌定位、車牌提取、字元分割、字元識别。
使用超分辨率（SR）技術可以改善車牌的圖像品質。
METHODOLOGY
A. Proposed Architecture For GANs
GAN由兩個子產品組成，生成器網絡用于生成逼真的圖像，以欺騙判别器網絡，而判别器網絡用于區分輸入樣本是真實的還是生成的。 通過這種方法，生成器能夠學習建構與真實圖像非常相似的圖像，以至于辨識器很難區分生成的圖像是真實的還是生成的。
遵循以下幾點準則：
• 生成器和判别器都使用BN層，BN層有助于将輸入歸一化，使輸入具有零均值和機關方差，以解決内部協變量偏移。
• 在處理很深的網絡時，移除全連接配接層。
•對于生成器，除了輸出層之外，所有層均使用ReLu激活函數，輸出層需要使用tanh函數激活。 ReLu激活可以幫助模型更快地學習，并覆寫訓練分布的色彩空間。
•對于判别器網絡，所有層使用LeakyReLu激活函數，LeakyReLu在處理更高分辨率的模型時表現更好。
對抗過程的數學定義如下：
（1）Proposed Architecture For Generator Network
本項目的目的是訓練生成器網絡，以從低分辨率車牌圖像生成高分辨率車牌圖像。
生成器結構：
In the proposed Generator Network, a 3×3 filter kernel with 64 feature maps and 1×1 stride is applied in the input layer and 16 ResNet blocks. In the ResNet block, a batch normalization (BN) layer is used after the convolution layer. A 3×3 filter kernel with 256 feature maps and 1×1 stride is applied in the upscaling blocks. For the output layer, a 3×3 filter kernel with 1 feature map and 1×1 stride is applied. All the convolution layers using ReLu activation function, except for output layer, using tanh function to ensure that the output images are in the range of [0, 255]. Inside the upscaling block, a sub-pixel convolution layer is used to increase the resolution of the input image.
讀到這裡，感覺和SRGAN有點像呢。然後我去看了一眼SRGAN。
3x3的卷積核、64層特征圖、步長為1，16個殘差塊（SRGAN也是16個）。
（2）Proposed Architecture For Discriminator Network
The role of the Discriminator Network is to distinguish the real image and the generated image by the Generator Network. In the Discriminator Network, all the convolution layers use LeakyReLu function with α = 0.2 (to prevent maximum pooling throughout the network) as the activation. Inspired by Simonyan et al. [24], the Discriminator Network consists of one input convolution layer and ten hidden convolution layers with 4×4 filter kernel. The feature maps is increased for each convolution layer from 64 to 2048 and 2×2 stride is applied when the number of feature maps is increased by factor of 2 to reduce the resolution.
SRGAN：
可以，中間還是有兩層不一樣的，加了兩層1x1的卷積。
B. Loss Function
看完網絡結構，再看看損失函數。
這是本文的：
SRGAN：
【。。。】
不展開看了，反正損失函數和SRGAN一模一樣。看看結果。
RESULTS
A. Training Details
資料集：[26] E. Liang. (2017) Car plate dataset. [Online]. Available: https: //1drv.ms/f/s!AmSINa9nwX9Ch8gI7KQi_chzUyuQlA
LR: 96×96
HR:384x384
1,000 epochs
Adam optimizer
B. Validation and Result Collection
C. Content Loss Comparison
首先對比了不同損失函數的重建結果。
從表I可以看出，優化MSE損失的模型A僅在定量名額方面實作了更好的性能，但是，就感覺結果而言，與模型B相比，模型A生成的車牌外觀模糊不清。
D. Comparison With Existing Techniques
【PSNR不太好 但是視覺效果還是很好】
再看看視覺效果
【行吧 還可以】
個人感悟
好水啊 又讀了一篇沒有什麼用的文章
本來看着題目挺厲害，抱着漲知識的态度讀的，太失望了。除了判别器的結構有一點點點點改變，其它結構和SRGAN一樣。
看了一眼，會議是：
2019 IEEE 15th International Colloquium on Signal Processing & its Applications (CSPA 2019), 8 -9 March 2019, Penang, Malaysia
【差不多了 看下一篇吧】