摘要：在通用目标檢測算法，空洞卷積能有效地提升網絡的感受野，進而提升算法的性能。本次解讀的文章提出了一種空洞卷積變體及對應的空洞卷積搜尋方法，充分探索空洞卷積的潛力，進一步提升網絡模型的性能。
本文分享自華為雲社群《論文解讀系列十：空洞卷積架構搜尋》，原文作者：我想靜靜 。
空洞卷積是标準卷積神經網絡算子的一種變體，可以控制有效的感受野并處理對象的大尺度方差，而無需引入額外的計算。但是，在文獻中很少讨論針對不同的資料，如何設計調整空洞卷積使其得到更好的感受野，進而提升模型性能。為了充分挖掘其潛力，本文提出了一種新的空洞卷積變體，即inception (dilated)卷積，其中卷積在不同軸，通道和層之間具有獨立的空洞。
同時，本文提出了一種基于統計優化的簡單而高效的空洞搜尋算法（EDO，effective dilation search），自适應搜尋對訓練資料友好的空洞卷積配置方法。該搜尋方法以零成本方式運作，該方法極其快速地應用于大規模資料集。
方法
在不同任務中對于輸入圖像的大小和目标對象的不同，有效感受野（effictive reveptive field，ERF）的要求也有所不同。圖像分類輸入的尺寸比較小，目标檢測中輸入的size而比較大，目标的範圍也很大。即使對于固定網絡的同一任務，某一層卷積的最優解ERF也和标注卷積不一定一樣，于是為了适應不同ERF的要求，需要針對不同任務提供一種通用的ERF算法。
本文提出一種膨脹卷積的變體，Inception卷積，他包含多種膨脹模式如下圖：
Incetption 卷積提供了一個密集可能的ERF範圍，該文提供了一種高效的膨脹優化算法（EOD），其中超網絡的每層都是一個标準的卷積操作，該卷積包含了所有可能的膨脹模式。對每一層的選擇，通過最小化原始卷積層和與所選膨脹模式的卷積的期望誤差，使用一個預訓練的權值解決選擇問題。具體流程如下圖所示：
上圖為EDO的算法概述，以resnet50為例，我們先在訓練資料上訓練獲得一個bottleneck卷積核心為(2dmax + 1) × (2dmax + 1)的res50。這個例子裡，supernet的核心為5*5，是以dmax=2。然後對于卷積運算的每個filter的輸出，我們要計算與預期輸出的L1誤差，選擇最小的（這個例子裡是E=3）。最後重新安排filter使相同的空洞卷積排在一起，就成為了我們的inception convolution。
實驗結果
實證結果表明，本文方法在廣泛的Baseline測試中獲得了一緻的性能提升。例如，通過簡單地将ResNet-50主幹中的3x3标準卷積替換為Inception Conv，将Faster-RCNN在MS-COCO上的mAP從36.4％提高到39.2％。此外，在ResNet-101骨幹網中使用相同的替代方法，在自下而上的人體姿勢估計上将AP得分從COCO val2017的AP得分從60.2％大幅提高到68.5％。
點選關注，第一時間了解華為雲新鮮技術~