[DeCAF]DeCAF: A Deep Convolutional Activation Featurefor Generic Visual Recognition

基本情况

ICML 2014的文章， arXiv:1310.1531 [cs.CV].主要通过实验证明transfer learning的可行性.

Abstract

本文评估从大型固定的一组对象识别任务中以完全监督的方式训练的深卷积网络的激活提取的特征是否可以重新利用到新的通用任务.在很多情况下，由于没有足够的标注或者未标注的数据来常规地训练一个深度结构用于新的任务（这会导致过拟合），因此本文尝试把提取的特征应用的其他任务，并可视化了聚类结果（这一部分不太明白），比较了不同网络层次提取结果的性能，得到了炒作state-of-the-art的结果.

另外，发布了开源深度学习工具”Decaf”.

Deep Convolution Activation Features

本文先依照AlexNet文章的方法训练了一个CNN model，然后从网络中提取了多种特征，评估这下这些特征在通用视觉任务中的效率.

这里有两个问题需要解决:

(1) 从CNN提取出的特征能够泛化到其他数据集吗？

(2) 这些特征关于深度表现如何?

下文针对这两个问题，定量和定性、通过可视化语义聚类和针对baselines实验比较的方法进行解决.

本文提到了迁移学习的哲学意义：训练好的模型可以看做一个人从之前的视觉经验中得到的先验知识，这能够帮助人更高效学习新的任务.

在文章接下来的部分，通过使用t-SNE算法，把高维特征空间映射到二维特征空间，并基于语义分类用有色点的形式在坐标系中画出来，实现可视化.通过这种定性，并通过实验结果，定量分析了Decaf5、Decaf6、Decaf7提取出的特征和常规方法在不同任务中的比较.

Discussion

本文证实了，通过在一个打的标注物体数据集上辅助训练一个深度卷积架构，可以学习得到足够的表示能力和泛化能力的特征，通过简单的线性分类器就能实现很好的语义视觉判别任务，并且能够超过那些基于手工标注的复杂的multi-kernel学习技术得到的state-of-the-art.

相关资料

• Decaf是caffe的前身，现在已经不在维护