來源:新智元
文章來源:微信公衆号 資料派THU
本文共2200字,建議閱讀9分鐘。
本文介紹一種将壓縮感覺和GAN聯系起來的創新架構。
![](https://img.laitimes.com/img/__Qf2AjLwojIjJCLyojI0JCLicmbw5SYlRGN3UjZ5IzNjFzY0IGO1kjY0Y2N5gDMxIzMlFWO58CX5d2bs92Yl1iclB3bsVmdlR2LcNWaw9CXt92Yu4GZjlGbh5yYjV3Lc9CX6MHc0RHaiojIsJye.png)
[ 導讀 ] DeepMind提出一種全新的“深度壓縮感覺”架構,将壓縮感覺與深度學習相結合,顯著提高了信号恢複的性能和速度,并提出一種改進GAN的新方法。
壓縮感覺(CS)是一種優雅的架構,用于從壓縮信号中恢複稀疏信号。
例如,CS可以利用自然圖像的結構,僅從少量的随機測量中恢複圖像。
CS具有靈活性和資料效率高的優點,但由于其稀疏性和昂貴的重建過程,CS的應用受到限制。
那麼,将CS與深度學習的思想相結合,是否能得到更優雅的架構呢?
近日,DeepMind的Yan Wu,Mihaela Rosca,Timothy Lillicrap等研究人員在ICML 2019發表論文Deep Compressed Sensing,基于前人将CS和神經網絡生成器結合起來的方法,提出一個全新的架構。
深度壓縮感覺(DCS)架構通過聯合訓練生成器和通過元學習優化重建過程,顯著提高了信号恢複的性能和速度。作者探索了針對不同目标的測量訓練,并給予最小化測量誤差推導出一系列模型。
作者表示:“我們證明了,生成對抗網絡(GANs)可以被視為這個模型家族中的一個特例。借鑒CS的思想,我們開發了一種使用來自鑒别器的梯度資訊來改進GAN的新方法。”
壓縮感覺,一種優雅的架構
壓縮感覺是什麼呢?
有人這樣評價道:
壓縮感覺是信号處理領域進入 21 世紀以來取得的最耀眼的成果之一,并在磁共振成像、圖像處理等領域取得了有效應用。壓縮感覺理論在其複雜的數學表述背後蘊含着非常精妙的思想。基于一個有想象力的思路,輔以嚴格的數學證明,壓縮感覺實作了神奇的效果,突破了信号處理領域的金科玉律 —— 奈奎斯特采樣定律。即,在信号采樣的過程中,用很少的采樣點,實作了和全采樣一樣的效果。[1]
編碼和解碼是通信中的核心問題。壓縮感覺(CS)提供了将編碼和解碼分離為獨立的測量和重建過程的架構。與常用的自動編碼模型(具有端到端訓練的編碼器和解碼器對)不同,CS通過線上優化從低維測量重建信号。
該模型架構具有高度的靈活性和采樣效率:高維信号可以從少量随機測量資料中重建,幾乎不需要或根本不需要任何訓練。
CS已經成功地應用于測量噪聲大、成本高的場景,如MRI。它的采樣效率使得諸如“單像素相機”的開發成為可能,可以從單個光傳感器重全分辨率的圖像。
然而,尤其是在現代深度學習方法蓬勃發展的大規模資料進行中,CS的廣泛應用受到了它的稀疏信号假設和重建優化過程緩慢的阻礙。
最近,Bora et al. (2017)将CS與單獨訓練的神經網絡生成器相結合。雖然這些預訓練的神經網絡沒有針對CS進行優化,但它們表現出的重建性能優于現有的方法,如Lasso (Tibshirani, 1996)。
在本文中,我們提出一種深度壓縮感覺架構(deep compressed sensing,DCS),在此架構中,神經網絡可以從頭開始訓練,用于測量和線上重建。
我們證明,深度壓縮感覺架構可以自然地生成一系列模型,包括GANs,可以通過訓練具有不同目标的測量函數推導得出。
這項工作的貢獻如下:
- 我們展示了如何在CS架構下訓練深度神經網絡。
- 結果表明,與以往的模型相比,元學習重建方法具有更高的精度和快幾個數量級的速度。
- 我們開發了一種新的基于潛在優化的GAN訓練算法,提高了GAN的性能。
- 我們将這個新架構擴充到訓練半監督GAN,并表明潛在優化會産生具有語義意義的潛在空間。
- 深度壓縮感覺:結合深度神經網絡
我們首先展示了将元學習與Bora et al. (2017)的模型相結合的好處。然後将測量矩陣推廣到參數化的測量函數,包括深度神經網絡。
之前的工作依賴于 random projection作為測量函數,而我們的方法通過将RIP作為訓練目标來學習測量函數。然後,我們通過在測量上添加RIP之外的其他特性,得到了兩個新的模型,包括一個帶有鑒别器引導的潛在優化的GAN模型,這導緻了更穩定的訓練動态和更好的結果。
壓縮感覺與元學習
我們假設CSGM(Bora et al. 2017)的運作時效率和性能可以通過使用元學習訓練潛在的優化過程、通過梯度下降步驟的反向傳播來提高。
CS模型的潛在優化過程可能需要數百個或數千個梯度下降步驟。通過使用元學習來優化這個優化過程,我們的目标是用更少的更新來實作類似的結果。
為此,我們訓練模型參數,以及潛在的優化程式,以盡量減低預期的測量誤差:
我們的算法如下:
算法1:元學習壓縮感覺
- 具有學習測量函數的深度壓縮感覺
在算法1中,我們使用RIP屬性來訓練生成器。我們可以使用相同的方法,并加強RIP屬性來學習測量函數F本身,而不是使用random projection。
下面的算法2總結了這個擴充算法。我們稱之為深度壓縮感覺(DCS) ,以強調測量和重建可以是深度神經網絡。
算法2:深度壓縮感覺
實驗和結果
表2和表3總結了我們的模型以及Bora等人的基準模型的結果。
表2:使用不同測量函數的MNIST測試資料的重建損失。除了第一行之外,所有行都來自我們的模型。“±”表示測試樣本間的标準差。(L)表示習得的測量函數,越低越好
表3:使用不同測量函數的CelebA測試資料的重建損失。除了第一行之外,所有行都來自我們的模型。“±”表示測試樣本間的标準差。(L)表示習得的測量函數,越低越好
可以看到,DCS的性能明顯優于基準。此外,雖然基線模型使用了數千個梯度下降步驟,并且多次重新開機,但是我們隻使用了3個步驟,沒有重新開機,大幅提高了效率。
有趣的是,對于固定的函數F,随機線性投影的表現優于神經網絡。這個實證結果符合壓縮感覺文獻中描述的随機投影的最優性,以及更通用的Johnson-Lindenstrauss定理。
更多結果如下:
表4:與 Spectral Normalised GANs的比較
圖2:利用随機線性投影(上)、訓練線性投影(中)和訓練神經網絡(下)的10個測量的重建
圖3:使用0(左)、3(中)和5(右)個梯度下降步驟進行潛在優化的CS-GAN樣本。采用0步驟的CS-GAN相當于原始GAN
圖4:在CIFAR訓練期間的Inception Score(越高越好)和FID分數(越低越好)
論文位址:https://arxiv.org/pdf/1905.06723.pdf
參考:
[1]形象易懂講解算法 II—— 壓縮感覺
https://zhuanlan.zhihu.com/p/22445302編輯:黃繼彥
校對:龔力