[DeCAF]DeCAF: A Deep Convolutional Activation Featurefor Generic Visual Recognition

基本情況

ICML 2014的文章， arXiv:1310.1531 [cs.CV].主要通過實驗證明transfer learning的可行性.

Abstract

本文評估從大型固定的一組對象識别任務中以完全監督的方式訓練的深卷積網絡的激活提取的特征是否可以重新利用到新的通用任務.在很多情況下，由于沒有足夠的标注或者未标注的資料來正常地訓練一個深度結構用于新的任務（這會導緻過拟合），是以本文嘗試把提取的特征應用的其他任務，并可視化了聚類結果（這一部分不太明白），比較了不同網絡層次提取結果的性能，得到了炒作state-of-the-art的結果.

另外，釋出了開源深度學習工具”Decaf”.

Deep Convolution Activation Features

本文先依照AlexNet文章的方法訓練了一個CNN model，然後從網絡中提取了多種特征，評估這下這些特征在通用視覺任務中的效率.

這裡有兩個問題需要解決:

(1) 從CNN提取出的特征能夠泛化到其他資料集嗎？

(2) 這些特征關于深度表現如何?

下文針對這兩個問題，定量和定性、通過可視化語義聚類和針對baselines實驗比較的方法進行解決.

本文提到了遷移學習的哲學意義：訓練好的模型可以看做一個人從之前的視覺經驗中得到的先驗知識，這能夠幫助人更高效學習新的任務.

在文章接下來的部分，通過使用t-SNE算法，把高維特征空間映射到二維特征空間，并基于語義分類用有色點的形式在坐标系中畫出來，實作可視化.通過這種定性，并通過實驗結果，定量分析了Decaf5、Decaf6、Decaf7提取出的特征和正常方法在不同任務中的比較.

Discussion

本文證明了，通過在一個打的标注物體資料集上輔助訓練一個深度卷積架構，可以學習得到足夠的表示能力和泛化能力的特征，通過簡單的線性分類器就能實作很好的語義視覺判别任務，并且能夠超過那些基于手工标注的複雜的multi-kernel學習技術得到的state-of-the-art.

相關資料

• Decaf是caffe的前身，現在已經不在維護