DualGAN: Unsupervised Dual Learning for Image-to-Image Translation
2017-06-12 21:29:06
引言部分：
本文提出一種對偶學習模式的 GAN 網絡結構來進行 image to image translation。現有的圖像之間轉換的方法，大部分都是需要圖像對的方法，但是實際上有的場景下，很難得到這樣的圖像對。如何利用多個 domain 之間的關系，不需要圖像對就可以進行圖像之間的轉換，那将會是一個很 cool 的工作，而本文就是将 GAN 和 Dualing Learning 結合起來完成了該項目，從效果來看，還是可以的。
關于 Dualing Learning：
主要是參考了 NIPS 2016 年的一篇文章，做機器翻譯的。是想将 domain A 到 domain B 之間的轉換，構成一個閉環（loop）。通過 minimize 該圖 和 重構圖像之間的 loss 來優化學習的目标。這裡也是，給定一個 domain image A，用一個産生器 P 來生成對應的 domain image B，由于沒有和A比對的圖像對，這裡是沒有 GT 的。那麼如何衡量 産生器造出的圖像 P(A, z) 的品質呢？如何該圖僞造的很好，那麼反過來，用另一個 産生器 Q，應該可以很好的恢複出該圖，即：Q(P(A, z), z') 應該和 A 是類似的，即：|| Q(P(A, z), z') - A ||。對于 domain image B 也是如此，那麼有了另一個 重構誤差。
這樣，除了在 minimize 兩個 産生器的loss的同時，也需要考慮到這兩個重構誤差，進而使得最終轉換的結果有保證。
==>> Training Target:
1. 用 L1 loss 來盡可能使得圖像清晰；
2. 用 兩個 GAN 來實作 domain 之間的切換；
