[NAS]NAS-FCOS

論文連結：NAS-FCOS: Fast Neural Architecture Search for Object Detection

官方代碼：https://github.com/Lausannen/NAS-FCOS

FCOS結構圖

基于FCOS，使用nas方法，提出nas-fcos

主要内容：

1、使用nas方法，搜尋FPN和head結構。

2、使用nas方法，探索FPN和head之間的關系，證明head中權重共享的重要性

3、nas-focs通用靈活，可以替換不同的backbone

3, 000 architectures using 28 GPU-days only

Problem Formulation

網絡g包含3個部分：

• b: backbone
• f: fpn
• h: head

搜尋f和h, 對于 f 搜尋 basic block，對于h搜尋sequential space.

Search Space

• 将FCOS視作encoder-decoder架構，backbone表示encoder，FPN與head表示decoder；
• FPN由一系列basic block (bbt)構成，對backbone提取特征C={C2, C3, C4, C5}、以及bbt輸出特征執行merge操作
• basic block (bbt)基本結構：

• aggregation : element-wise sum與 concatenation followed by a 1 × 1 convolution
• 連續7次bbt，最後三個bbt輸出的features，作為FPN的P3、P4與P5；對于沒有被使用的融合特征，累加到P3、P4與P5；P5再通過後續兩次降采樣獲得P6與P7；
• Head由連續6個Convolution構成，candidate ops除包含FPN ops之外，也包括基本的1x1與3x3 conv（搜尋空間）；用Group Norm替換Batch Norm；
• 候選op

  

Search Strategy

• 采用漸進式政策，先搜尋FPN，再搜尋head，減輕搜尋負擔；
• 搜尋、訓練時，固定backbone，并預先緩存backbone輸出特征C，提高搜尋效率；
• LSTM-based controller作為predictor，以目前配置序列與reward作為輸入，優化訓練predictor；predictor輸出下一時刻的架構配置；
• Evaluation metric

  

• 搜尋結構

  

Result