機器之心專欄
機器之心編輯部
神經網絡架構搜尋(NAS) 自 2016 年提出以來就廣受關注，很多工作通過設計搜尋空間，提升搜尋算法等提升 NAS 的精度。今天這篇文章主要研究如何将 NAS 用于資料缺失的情況，文中提出 data-free NAS，該架構僅需要一個預訓練模型，就可以自動進行網絡搜尋。目前該方法主要研究圖檔領域。
- 論文位址: https://arxiv.org/abs/2112.02086
- 代碼位址: https://github.com/liuzechun/Data-Free-NAS
Data-free NAS 的架構非常簡單，分為兩步，第一步用預訓練網絡模型生成資料，第二步用生成的資料和預測的标簽（label）來訓練 NAS。
而挑戰在于 NAS 需要利用生成的資料訓練和評估搜尋空間中數以百萬計的網絡架構的優劣，對他們進行排序。如果生成的資料不夠多樣，網絡就很容易過拟合，所有網絡都表現很好，就很難從中篩選出最優網絡結構。是以，如何提高生成資料的多樣性，使其能支援網絡搜尋的重任，就取決于生成算法的優劣了。
1. 圖檔生成算法
這篇文章不僅利用了損失函數計算導數來指導圖檔生成，還提出了循環生成語義更豐富的标簽（recursive label calibration）和區域更新方法（regional update）來提升生成資料的豐富度。
1.1 Loss function
最基礎的資料生成方式通過輸入一張全是白噪聲的圖檔到預訓練網絡中，通過計算輸出的 logits 和目标标簽的損失函數來計算導數，更新圖檔，并且添加正則化限制。
但這種方式生成的圖檔容易模式近似，多樣性不足以支撐 NAS。
1.2 recursivelabel calibration
是以作者提出循環标簽生成（recursive label calibration），主要基于的一個觀察：自然圖像作為預訓練模型的輸入時，模型輸出的預測是一個分布，最大值是目标類，并且有其他幾個峰值落在與之近似的類上。如下圖所示，一張自然圖像 “咖啡杯” 的預測包含 “咖啡杯” 和相關類“杯子”。
然而針對某一個标簽生成的圖檔往往容易過拟合，進而有極大的預測值在該标簽上，但無法發掘語義近似的标簽之間的聯系，比如下圖的 (b) 中，針對“咖啡杯” 類合成的圖像，預訓練模型僅預測該圖像為“咖啡杯”，使得圖檔過分強化咖啡杯的特征，且不像真實圖檔。
人們希望生成圖檔與真實圖檔盡可能接近，為了做到這點，可以先讓生成圖檔和真實圖檔經過預訓練網絡後的預測（logits）盡可能相近。但是真實的訓練資料與其 logits 無法獲得，是以，作者提出 Recursive Label Calibration，利用循環放大預訓練模型對生成圖像在語義近似類上的預測值，生成 soft label，再用 soft label 來指導圖檔生成。
從圖（c）中可以看出，使用 Recursive Label Calibration 合成的圖像。它會自動将 “杯子” 辨別為針對 “咖啡杯” 合成的圖像的相關類，并且生成圖像看起來也更自然。
1.3 regional update
此外，作者提出的區域更新（regional update），即在生成圖檔過程中，每次僅用導數更新圖檔的一個區域，比如針對于 ImageNet 資料集的生成資料僅更新 256×256 的圖檔範圍中大小為 224×224 的随機範圍。這樣保證每一個 224×224 的範圍都可以獨立成為一幅生成圖檔，進而配合後續網絡訓練中用到的随機裁剪（random crop）資料增強算法。
整體的生成算法如上圖所示：輸入一張白噪聲圖檔，在生成過程的每次疊代中，一個 224×224 區域是從 256×256 輸入中随機裁剪的，利用通過 loss 計算的導數更新所選區域，直到白噪聲收斂成合成圖檔。然後使用預訓練模型對合成圖像的預測作為軟标簽（soft label）來指導下一批從白噪聲到圖檔的生成，進而循環生成 soft-label 和與之對應的圖檔。
2. 可視化和對照實驗
這樣，生成的圖檔相比于僅僅用損失函數生成的圖檔來得更佳多樣化，也更接近真實圖檔：
同時，作者做了多組對比實驗，來分析生成圖檔對于 NAS 标定不同網絡結構好壞的準确性的影響。通過計算用生成圖檔訓練網絡的精度和用真實資料訓練的網絡精度之間的一緻性，作者分析得出，使用所提出的 recursive label calibration 和 regional update 可以大大提高一緻性，使得 NAS 更容易搜尋得到最優網絡：
3. Data-free NAS 實驗結果
最後，作者用生成圖檔和生成圖檔對應的預訓練網絡預測值來指導 NAS 訓練，結合三種常見的 NAS 方法，得到 data-free NAS，包括用基于導數的搜尋算法 DSRTS [1]，基于遺傳算法的 SPOS[2]，和基于強化學習算法的 ProxylessNAS[3]。
實驗結果表明，結合不同的搜尋算法，data-free NAS 都能搜尋出和用真實圖檔搜尋得到的結構效果相近甚至更好的網絡結構，表明了 data-free NAS 的可行性。
Data-free DARTS ：
Data-free SPOS ：
Data-free ProxylessNAS ：
更多結果和方法細節可以參考原論文。
參考文獻：
[1] Liu, H., Simonyan, K., Yang, Y., et al.: Darts: Differentiable architecture search. In: International Conference on Learning Representations (2019)
[2] Guo, Z., Zhang, X., Mu, H., Heng, W., Liu, Z., Wei, Y., Sun, J.: Single path one-shot neural architecture search with uniform sampling. arXiv preprint arXiv:1904.00420 (2019)
[3] Cai, H., Zhu, L., Han, S., et al.: Proxylessnas: Direct neural architecture search on target task and hardware. arXiv preprint arXiv:1812.00332 (2018)