R-CNN閱讀重點
- Introduction
-
- R-CNN Detection System
- Network
- Module design
- Bounding-box regression
- Different object proposal transformations
- Visualizing learned features
- Innovation
- Results
-
- Test on VOC2007
- Test on VOC2010
- Test on ILSVRC2013
- Error analysis
R-CNN原論文位址 https://arxiv.org/pdf/1311.2524.pdf
Introduction
R-CNN在自下而上的候選區域上應用大型卷積神經網絡，以此來定位和分割目标。當标記的訓練資料稀缺時，R-CNN先對一個輔助任務進行有監督的預訓練，再進行域特定微調，并作非極大值抑制處理，論文裡在ISLVRC2012上監督預訓練，再在Pascal VOC上微調，這麼做使性能有比較好的提升。
R-CNN Detection System
rcnn的檢測流程如上圖所示，（１）先輸入一張圖檔，（２）通過選擇性搜尋（将圖檔劃分成多個子區域，然後通過顔色，紋理等進行合并疊代。）方法選取約2000個候選區域，然後将每個候選區域都縮放到２２７＊２２７的次元，（３）再輸入到卷積神經網絡中，得到一個固定長度的特征向量（4096維），（４）之後在将得到的2000個4096維特征向量輸入到特定類的線性支援向量機（有21個，Pascal VOC有20個類别＋背景）進行打分，并作非極大值抑制處理。
Network
R-CNN的網絡結構沿用AlexNet的結構，但在微調之後去掉了最後一個全連接配接層。
Module design
R-CNN子產品設計包括候選區域生成、特征提取、特定類的線性支援向量機。
Bounding-box regression
在經過誤差分析之後，為了減少定位錯誤，訓練了一個邊界框回歸器，提取pool5的特征預測一個新的邊界框。
回歸器訓練的輸入：一組(P, Q)訓練對，Ｐ是指候選區域的框，Ｑ是指真實框，Ｑ-hat是指新預測的邊界框。
回歸器的學習目标是P映射到Q的轉換，用ｄ*将轉換參數化，ｄ*是指從Ｐ映射到Ｑ-hat的轉換。
回歸器的損失函數如圖右上所示，計算的是t*和d*差的平方，t*其中t*是指從Ｐ映射到Ｑ的轉換。
Different object proposal transformations
關于縮放，論文中提了幾種方法，首先是論文中使用的暴力縮放（Ｄ），先給圖檔（Ａ）填充一些padding，然後直接縮放到２２７＊２２７，使得沒加padding縮放的邊界到加padding縮放的邊界是16個像素點，這種方法是各向異性縮放。還有各向相向縮放，先将圖檔填充成正方形再縮放到２２７＊２２７，這又分為用圖檔資訊填充（Ｂ）和用灰階填充（Ｃ）。
Visualizing learned features
論文中提出了一種将學到的特征可視化的方法，pool5的次元是６＊６＊２５６，在輸入的２２７＊２２７的候選區域上對應256個１９５＊１９５的感受野。
特征可視化步驟：
（１）在pool5中取一個特定的６＊６單元，
（２）計算每個候選區域到這個單元的激活值，
（３）按激活值從大到小的順序排序，并作非極大值抑制處理。
如上圖所示的示例結果，論文作者也由此得出了前５層卷基層提取的是基礎特征，後２層全連接配接層提取的是一些特定的特征。
Innovation
首先，cnn參數在所有類别中共享。
其次，cnn計算的特征向量是低維的，比之前的算法低２個數量級。
Results
Test on VOC2007
前３行是微調之前的結果，之後的４行是微調之後的結果，微調之前全連接配接層的存在并不是很必要，微調之後全連接配接層的必要性就顯露出來了。
Test on VOC2010
加了邊界框回歸後，精度提升了３、４個百分點。
Test on ILSVRC2013
R-CNN的檢測精度在當時處于領先的位置。
Error analysis
Loc：定位錯誤
Sim：相似類别混淆
Oth：不相似類别混淆
BG：背景誤檢
第一行是對animals的錯誤分析，第二行是對furniture的錯誤分析。微調之後不相似類别混淆和背景誤檢率明顯降低，加了邊界框之後定位錯誤則大幅減少，但是相似類别混淆也有所增加。
注：本頁面絕大多數圖檔來自原論文，小部分圖檔來自網絡部落格，引用本博文請注明出處。