天天看點

目标檢測/分類常用資料集和評價名額小彙集

【人工智能學習總結1】分類、目标檢測中的評價名額(一)

一:準确率 (Accuracy) 、錯誤率 (Error rate)

二:混淆矩陣 (Confusion Matrix)

三:召回率(Recall)、精确率(Precision)

四: P-R曲線、平均精度(Average-Precision,AP)、F名額

五:受試者工作特征曲線(Receiver Operating

Characteristic,ROC)、AUC(Area Under   Curve)、

      EER(Equal Error Rate)
           

六: 平均精度均值(Mean Average Precision,mAP)、

IOU(Intersection Over Union)

目标檢測入門(二):模型的評測與訓練技巧

Pascal VOC(Pascal Visual Object Classes)

自2005年起每年舉辦一次比賽,最開始隻有4類,到2007年擴充為20個類,共有兩個常用的版本:2007和2012。學術界常用5k的trainval2007和16k的trainval2012作為訓練集(07+12),test2007作為測試集,用10k的trainval2007+test2007和和16k的trainval2012作為訓練集(07++12),test2012作為測試集,分别彙報結果。

MS COCO(Common Objects in COntext)

目标檢測/分類常用資料集和評價名額小彙集

相比ImageNet,COCO更加偏好目标與其場景共同出現的圖檔,即non-iconic images。這樣的圖檔能夠反映視覺上的語義,更符合圖像了解的任務要求。而相對的iconic images則更适合淺語義的圖像分類等任務。

COCO的檢測任務共含有80個類,在2014年釋出的資料規模分train/val/test分别為80k/40k/40k,學術界較為通用的劃分是使用train和35k的val子集作為訓練集(trainval35k),使用剩餘的val作為測試集(minival),同時向官方的evaluation server送出結果(test-dev)。除此之外,COCO官方也保留一部分test資料作為比賽的評測集。

目标檢測/分類常用資料集和評價名額小彙集

在分布方面,COCO的每個類含有更多執行個體,分布也較為均衡(上圖a),每張圖檔包含更多類和更多的執行個體(上圖b和c,均為直方圖,每張圖檔平均分别含3.3個類和7.7個執行個體),相比Pascal VOC,COCO還含有更多的小物體(下圖,橫軸是物體占圖檔的比例)。

目标檢測/分類常用資料集和評價名額小彙集

深度學習的視覺領域下常用的資料集彙總

ImageNet

Imagenet資料集有1400多萬幅圖檔,涵蓋2萬多個類别;其中有超過百萬的圖檔有明确的類别标注和圖像中物體位置的标注,具體資訊如下:

1)Total number of non-empty synsets: 21841

2)Total number of images: 14,197,122

3)Number of images with bounding box annotations: 1,034,908

4)Number of synsets with SIFT features: 1000

5)Number of images with SIFT features: 1.2 million

COCO

目标檢測/分類常用資料集和評價名額小彙集

COCO(Common Objects in Context)是一個新的圖像識别、分割和圖像語義資料集,它有如下特點:

1)Object segmentation

2)Recognition in Context

3)Multiple objects per image

4)More than 300,000 images

5)More than 2 Million instances

6)80 object categories

7)5 captions per image

8)Keypoints on 100,000 people

PASCAL VOC

PASCAL VOC挑戰賽是視覺對象的分類識别和檢測的一個基準測試,提供了檢測算法和學習性能的标準圖像注釋資料集和标準的評估系統。PASCAL VOC圖檔集包括20個目錄:人類;動物(鳥、貓、牛、狗、馬、羊);交通工具(飛機、自行車、船、公共汽車、小轎車、機車、火車);室内(瓶子、椅子、餐桌、盆栽植物、沙發、電視)。PASCAL VOC挑戰賽在2012年後便不再舉辦,但其資料集圖像品質好,标注完備,非常适合用來測試算法性能。

CIFAR

目标檢測/分類常用資料集和評價名額小彙集

CIFAR-10包含10個類别,50,000個訓練圖像,彩色圖像大小:32x32,10,000個測試圖像。CIFAR-100與CIFAR-10類似,包含100個類,每類有600張圖檔,其中500張用于訓練,100張用于測試;這100個類分組成20個超類。圖像類别均有明确标注。CIFAR對于圖像分類算法測試來說是一個非常不錯的中小規模資料集。