1、論文研究了目标檢測領域中分類和回歸一緻性的經典問題，分類好的不一定回歸好，回歸好的不一定分類好，也即分類和回歸的相關性問題
2、論文的改進方法也比較簡單，直接在原有損失函數上增加回歸IOU和分類分數相關性的損失，但是這個改進和最新的MUSU和DW看起來基本是一樣的，可能比較出彩的是用在NMS-free上，但是講道理MUSU和DW也是可以用在NMS-free上的，隻是沒有實驗對比
3、論文中說新加的回歸和分類相關性損失函數隻在分類頭反向傳播，在回歸頭反向傳播會造成性能下降，論文沒有分析原因，猜想可能原因是回歸頭一半都訓練的比較好，關鍵是分類頭訓練的不好，相關性損失重點監督分類頭會提升性能
論文題目：
Correlation Loss: Enforcing Correlation between Classification and Localization
摘要
目标檢測器通常是通過分類和定位損失的權重和來訓練的。最近的研究(例如，用輔助頭預測IoU，廣義焦損失，秩和排序損失)表明，迫使這兩個損失項以非傳統的方式互相作用，可以産生有用的歸納偏置并提高性能。受這些工作的啟發，我們重點研究了分類和定位之間的相關性，主要有兩個貢獻:(1)分析了分類和定位任務之間的相關性對目标檢測器的影響。我們确定了為什麼相關性會影響各種基于nms和無nms的檢測器的性能，我們設計了評估相關性影響的措施，并使用它們來分析常見的檢測器。(ii)基于我們的觀察結果，例如，無nms檢測器也可以從相關性中受益，我們提出了一種新的插件損失函數correlation Loss，通過直接優化相關系數來提高各種目标檢測器的性能:例如，稀疏R-CNN上的correlation Loss，一種無nms的方法，在COCO上産生1.6的AP增益，在cityscape資料集上産生1.8的AP增益。我們在稀疏R-CNN上的最佳模型在沒有COCO測試時間增加的情況下達到了51.0 AP，達到了最先進的水準。
代碼:https://github.com/fehmikahraman/CorrLoss
1介紹
大多數目标檢測器在訓練過程中優化分類和定位損失的權重總和。最近的研究結果表明，當這兩個損失函數被迫以非傳統的方式互相作用時，性能會得到改善，如圖1所示。例如，訓練輔助頭來回歸正例的定位品質，例如中心度，IoU或掩碼IoU，已被證明是有用的(圖1(b))。其他方法在訓練過程中去除這些輔助頭部，直接在分類或定位任務中加強相關性;例如，平均LRP損失通過相對于分類分數(wrt.)對定位任務中的示例進行排序來對其進行權重(圖1(c))。使用定位品質作為分類的附加監督信号已經被廣泛采用(圖1(d))，主要有兩種方法:(i)基于分數的方法旨在回歸本地化品質在分類分數中，以及(ii)基于排名的方法強制分類器對置信分數wrt進行排名。
提高相關性似乎對各種目标檢測器的性能都有積極的影響，如圖2所示。然而，相關對目标探測器的影響還沒有得到深入的研究。我們在本文中填補了這一空白，并首先确定相關性在兩個層面上影響目标檢測器的性能:(i)圖像級相關性(image -level correlation)，即處理前單個圖像中檢測的分類分數與定位品質(即本文其餘部分的IoU)之間的相關性，這對提高NMS性能很重要;(ii)類級相關性(class -level correlation)，即處理後每個類在整個資料集上的相關性，與COCOstyle Average Precision (AP)相關。此外，我們定量地定義了每個級别的相關性，以便分析對象檢測器捕獲相關性的程度(例如，圖2(a)中的βcls)。然後，我們對兩種相關性水準進行了分析，并使用常見模型得出了重要的觀察結果。最後，為了更好地利用相關性，我們引入了一種更直接的機制來增強相關性:相關性損失，一個簡單的插件和與檢測器無關的損失項(圖1(e))，提高了包括無nms檢測器在内的各種目标檢測器的性能，與我們的分析一緻(圖2(b))。類似于新的損失函數，我們的相關損失在沒有輔助頭的情況下提高了性能，但與它們不同的是，它是一種簡單的插件技術，可以很容易地內建到任何對象檢測器中，無論是基于nms的還是無nms的。
我們的主要貢獻有:(1)我們确定了相關性如何影響基于nms和無nms的檢測器，并設計了定量測量來分析檢測器的wrt相關性。(2)分析了不同層次的相關對不同目标檢測器的影響。(3)我們提出相關損失作為插件損失函數來顯式優化相關性。由于其簡單性，我們的損失函數可以很容易地合并到各種各樣的目标檢測器中，并提高性能，例如，稀疏R-CNN高達1.6 AP和2.0AP75，這首次表明NMSfree檢測器也可以從相關性中受益。我們最好的模型的AP為51.0，達到了最先進的水準。
2背景及相關工作
目标檢測管道 我們将物體檢測器分組，他們對NMS的使用(圖3給出了概述和注釋):
1.NMS-based探測器 檢測不同尺度、位置和縱橫比的所有物體;大多數方法使用了大量的對象假設(例如，錨點，點)，這些假設被标記為積極的，也就是在訓練過程中，基于它們是否/如何比對GT盒子。在這種情況下，一個對象不受多個對象假設預測的限制，進而導緻重複。是以，在推理過程中，NMS在重疊超過預定IoU門檻值的檢測中選擇置信度得分最大的檢測，以避免重複檢測。
2. NMS-free探測器 一個新興的研究方向是消除做NMS的需要，簡化檢測管道。這是通過確定gt和檢測器之間的一對一比對來實作的，這将監督檢測器首先避免重複。
增強相關性的方法 確定相關性的一種常見方法是使用額外的輔助頭，由檢測的定位品質(如中心度)來監督或不确定性。在推理過程中，輔助頭部的預測與分類器的預測相結合，以提高檢測性能。最近的方法表明，可以去除輔助頭部，并且(i)回歸器可以優先考慮積極的例子或(ii)可以監督分類器以置信度評分優先考慮檢測。後者可以通過分類器對iou進行回歸來保證或通過訓練分類器對置信度評分進行排序。與這些方法不同，tood 在設計模型時主要考慮相關性，特别是檢測頭，而不是損失函數。
相關系數 相關系數衡量兩者之間“關系”的強度和方向，兩個集合X = {x1，…， xN}和Y = {y1，…， n}，不同的關系用不同的相關系數進行評估:(i)Pearson相關系數，用α(·，·)表示集合之間的線性關系，(ii) Spearman相關系數β(·，·)表示排序關系(iii)一緻性相關系數γ(·，·)為更嚴格的，測量值的相似性和最大化當xi = yi對于所有I∈1，…， N.全相關性系數的範圍為[−1，+1]，其中正/負相關性對應于增加/減少的關系，0表示X和Y之間沒有相關性。
比較總結 本文對目标檢測器中顯式相關分類和定位的效果進行了全面的識别和分析。與其他強制相關性的方法不同，其中一些方法僅在單個架構上進行了測試，我們通過直接優化相關系數提出了一種簡單的解決方案，該解決方案不需要輔助頭，并且易于适用于所有目标檢測器，無論是基于nms的還是非nms的。此外，我們是第一個在這種情況下研究無NMS探測器的。
3相關性對目标檢測器的影響
本節介紹了為什麼最大化相關性對于目标檢測器很重要，并介紹了評估目标檢測器wrt的方法，并對提高相關性的方法進行了分析。
3.1相關性如何影響目标檢測器
檢測器在兩個層面上受到相關性的影響(圖4):圖像級相關性。該相關水準對應于處理前單個圖像中檢測到的分類分數與IoUs之間的相關性，是以我們用Spearman相關系數2，β(·,·)，對圖像進行平均。将陽性檢測的bb值(^BIpre，圖3)與IoUI pre的相關gt值之間的I和IoUs表示待評估的圖像集，圖像級相關性測量如下:
最大化圖像級相關性對于基于NMS的檢測器非常重要，因為NMS旨在抑制重複，即當存在多個GT時，僅對每個GT保留單個檢測。特别是在重疊檢測中(如圖4(a)中檢測器輸出圖像中的深綠色和淺綠色檢測)，NMS會選擇得分較大的檢測，是以，如果這些重疊檢測的置信度得分與IoU之間存在正相關關系，則IoU最好的檢測(如圖4(a)中的深綠色檢測)将存活下來，進而提高檢測性能。
類級别的相關性 該相關水準表示分類分數與每個類别後處理後檢測結果的iou之間的相關性。由于類水準相關性與COCOstyle AP、APC相關，我們平均β(·,·)類别以與APC的計算一緻;
其中，C為資料集中類别的集合，IoUc post為類别C的真陽性bb的集合iou (^Bc post，圖3)。類級相關性影響所有檢測器的性能由于它直接關系到APC的性能測量本身。更具體地說，是單個類的APC定義為在10個不同的IoU門檻值，IoU∈{0.50,0.55，…， 0.95}，驗證真正的陽性，對于特定的門檻值IoU，檢測首先根據分類分數排序，然後計算每個檢測的精度和召回對。利用這些對，得到了精确召回率(PR)曲線，PR曲線下面積對應于單個AP值，APIoU。當真陽性之間的分類與定位相關性最大化時，相同檢測在較大IoU值下獲得的精度值也較大(如圖4(b)中橙色檢測的P75分别為1.00和0.20，呈正相關和負相關)。
3.2對象檢測器相關性分析
資料集和實作細節 除非另有規定;我們(i)采用廣泛使用的COCO資料集，在trainval35K (115K圖像)上訓練模型，在minival (5k圖像)上測試，在test-dev (20k圖像)上與SOTA進行比較，(ii)建立在mmdetection架構上， (iii)依賴基于ap的度量，并使用最優LRP (oLRP) ， βimg (Eq. 1)和βcls (Eq. 2)提供更多的見解，(iv)保持模型的标準配置，(v)使用帶有FPN的ResNet-50骨幹，(vi)在4個GPU (A100或V100型GPU)上訓練模型，每個GPU上有4個圖像(16批處理大小)。
分析設定 我們進行了實驗來分析圖像級(βimg -表1)和類級(βcls -表2)相關性的影響。對于這兩種分析，我們比較了三組方法，所有這些方法都被合并到共同的ATSS基線中(參見第2節對這些方法的讨論):(i) AP損失和Focal Loss作為不強制相關性的方法，(ii)使用輔助頭來強制相關性，以及(iii) Quality Focal Loss (QFL)， aLRP損失和Rank & Sort損失作為最近的損失函數來強制相關性。在我們的類級别分析中，我們還使用了不使用nms的方法來示範相關性對該方法的影響。
我們基于(i)它們基于ap的性能，(ii)我們提出的相關性度量(等式)來比較這些方法。最後(iii)下界/上界，AP+ 1c /AP−1c，通過修改與陽性檢測的GT類别相關的置信度分數的排序來最小化/最大化表1中的Eq. 1和表2中的Eq. 2。更具體地說，在表1中，給定s^Ipre和^BIpre(圖3)，我們收集了陽性檢測的GT類機率，并根據IoUs的排序順序(使用^BI pre計算)在圖像中的s^ I pre中改變了它們的排名，在表2中，我們對給定s^cpost和^Bcpost的真陽性進行了相同的分類操作(圖3)。在表1中，我們沒有修改陰性檢測的分數、陽性檢測的預測BBs和非gt類的分數，在表2中，我們沒有修改假陽性的分數和真陽性的預測BBs。注意，在(iii)中實作圖像級相關的上界也對應于完美地最小化RS Loss。
觀察 我們在表1和表2中觀察到:(1)我們在公式1和2中提出的度量可以一緻地衡量相關性的改善。在表1和表2中，(i)建議aLRP Loss和RS Loss來改善AP Loss和(ii) aux。提出了頭和QFL來改善焦損。在這兩個表中，所提出的方法在βimg和βcls方面都提高了它們的基線，這表明我們的方法可以分别一緻地評估圖像級和類級相關性。
(2)不含nms的探測器也可能從相關性中獲益。所有檢測器，包括無nms的檢測器，都可以利用類級相關性(比較APC和AP+1 C，可以看到表2中約10個點的差距)。盡管如此，現有的方法并沒有在無nms的檢測器上強制這種相關性。
(3)現有的增強相關性的方法還有很大的改進空間。考慮到βimg 2 [27.2%;33.8%](表1)和βcls 2 [37.5%;[47.0%](表2)，但仍有改進的餘地。
(4)雖然相關性的提高非常重要，但并不一定意味着性能的提高。例如，表1中的aLRP Loss相關性最大，但APC最低。例如，當方法沒有良好的回歸性能時，可能會出現這種情況。在極端情況下，假設檢測器産生完美的βimg，圖像級排名相關性，但所有正示例的iou都小于0.50，這意味着根本沒有TP。是以，提高相關性，同時在每個分支中保持良好的性能是至關重要的。
4 相關損失:一種新的目标檢測損失函數
Correlation (Corr.) Loss是一個簡單的插件損失函數，用于提高分類和定位任務的相關性。相關損失的獨特之處在于，它可以很容易地合并到任何對象檢測器中，無論是基于nms的還是無nmss的(參見觀察(2)-第3.2節)，并且在不影響模型大小、推理時間和對訓練時間的影響可以忽略不計的情況下提高性能(第5.4節)。此外，從基本的角度來看，Corr. Loss可以同時監督分類頭部和定位頭部，以獲得更好的相關性，而現有的方法通常隻關注單個頭部，如分類(圖1)。
定義 給定一個具有損失函數LOD的目标檢測器，我們的相關損失(Lcorr)簡單地使用權重超參數λcorr進行添加:
Lcorr為相關損失，定義為:
ρ(·,·)為相關系數;^s和^IoU是與批中正例相關的預測BBs的GT類和IoU的置信度分數。
實際使用 為了避免促進高相關性但低性能的瑣碎情況(觀察(4)章節3.2)，類似于QFL 和RS Loss，我們隻使用Lcorr wrt的梯度，也就是說，我們隻通過分類器反向傳播梯度。我們主要對ρ(·,·)，得到兩個版本的相關損失:(i)一緻性損失，定義為一緻性相關系數優化時的相關損失(ρ(·,·)= γ(·,·))，其目的是比對置信度得分與iou。(ii) Spearman相關系數優化時的Spearman損失為相關損失(ρ(·,·)= β(·,·))，進而強制對考慮iou的分類分數進行排序。為了在計算Spearman Loss時解決排序操作的不可微性問題，我們利用了Blondel等人的可微排序操作。當将我們的相關損失應用于使用疊代多階段損失函數的NMS-free方法時，我們将Lcorr納入每個階段。
5實驗評價
我們使用五種不同類型的對象檢測器(Sparse R-CNN為無nms, FoveaBox為無錨點，RetinaNet為基于錨點，ATSS和PAA使用輔助頭部)和一種執行個體分割方法YOLACT來評估COCO資料集上的Corr. Loss;(ii)為增益最大的方法(即Sparse R-CNN)提供額外的資料集(cityscape)。
5.1與不考慮相關性的方法比較
我們使用和不使用Corr訓練這五個對象檢測器和執行個體分割方法(表3和5)損失(如協和損失或斯皮爾曼損失)。
NMS-based探測器 表3顯示了NMS-based檢測器的~ 1.0APC增益:(i) Spearman Loss (λcorr = 0.1)使RetinaNet提高1.0APC和oLRP， (ii) Concordance Loss (λcorr = 0.2)使無錨點FoveaBox提高0.7APC， (iii) Concordance Loss (λcorr = 0.3)使ATSS和PAA提高~ 1APC和~ 1oLRP。
NMS-free探測器 我們在表3中的結果表明，稀疏R-CNN，一種不使用nms的方法，也可以從相關損失中受益:(i)一緻性(λcorr = 0.3)和斯皮爾曼損失(λcorr = 0.2)都改善了基線;(ii) Spearman Loss顯著提高APC，提高幅度可達1.6;(iii)正如假設的那樣，增益是由于具有較大IoUs的ap，例如，AP75提高了高達2.0，并且(iv)增益在更強的Sparse R-CNN設定中持續存在(附錄)。
Cityscapes資料集 為了檢視Corr. Loss在不同場景下的效果，我們在cityscape資料集(λcorr = 0.6)上使用Spearman Loss(表3中具有最佳基線增益的模型)訓練Sparse R-CNN，這是一個用于自動駕駛物體檢測的資料集。表4顯示(i) Spearman Loss也将cityscape上的基線稀疏R-CNN提高了1.8 AP， (ii)我們的收益主要來自于具有較大iou的AP，即AP75從37.6提高到40.8，提高了超過3個點。
執行個體分割 我們訓練YOLACT 作為執行個體分割方法，使用Corr. Loss和使用Spearman Loss觀察到的0.7掩膜AP增益(λcorr = 0.5 -表5)，意味着1.7%的相對增益。
5.2與加強相關方法的比較
表6比較了Corr. Loss和使用輔助QFL和RS Loss 在共同ATSS基線上的差異檢測性能 達到39.8APC無輔助頭，一緻性損失(表6)優于使用aux頭，它引入了額外的可學習參數(39.8 vs 39.3APC)，并與最近提出的相對複雜的損失函數達到同等的性能。
由于使用簡單，一緻性損失是對現有方法的補充:它與aux的apc為40.0，aux頭部(+0.7 APC)和40.2APC與RS損失(+0.3 APC)，不引入額外的可學習參數。
相關分析 為了提供更深入的了解，我們在表6中報告了βimg (Eq. 1)和βcls (Eq. 2):我們的一緻性損失(i)顯着提高了基線相關性，将βimg(從27.3%提高到31.6%)和βcls(從40.3%提高到45.2%)都提高了約5%，并且(ii)結果的相關性優于所有方法。βimg和βcls分别與QFL和RS Loss合用一次。這組結果證明了Concordance Loss在圖像級和類級上都提高了分類和定位任務之間的相關性。
5.3與SOTA的比較
在這裡，我們更喜歡稀疏R-CNN，因為它具有競争力的檢測性能和我們的巨大收益。我們使用DCNv2 訓練了36個epoch的“CorrSparse R-CNN”，并通過在[480,960]内随機調整短邊的大小進行多尺度訓練，類似于常見的做法。表7給出了COCO測試開發的結果.
基于NMS的方法 在常見的ResNet-101DCN骨幹網上，通過類似的資料增強，我們的Corr-Sparse R-CNN在13.7 fps(在V100 GPU上)産生49.6APC，優于最近基于nms的方法，所有這些方法也都增強了相關性，ResNeXt-101-DCN上，我們的Corr-Sparse RCNN以6.8 fps的速度提供51.0APC，超過了包括RS-Mask R-CNN+ (50.2APC, 6.4 fps)在内的所有方法，此外還使用mask和Carafe FPN 。
NMS-free方法 我們的Corr-Sparse R-CNN在ResNet-101-DCN上的性能優于(i) TSP R-CNN ，訓練量顯著減少，優于2APC以上;(ii) Sparse R-CNN在ResNeXt-101-DCN上優于(i) Deformable DETR ，後者是最近一種強大的無nms方法，優于ResNeXt-101-DCN上的~ 1APC。
5.4消融與超參數分析
優化不同的相關系數 Spearman Loss産生更好的定位性能，即最低的定位誤差wrt。oLRPLoc在所有實驗中都得到了最好的結果，但很少得到最好的oLRPFP或oLRPFN，這意味着它對分類的貢獻弱于Concordance Loss(見附錄中oLRP的組成部分)。我們也嘗試在ATSS和稀疏R-CNN上使用Pearson相關系數，但與使用Spearman或Concordance相比，它的表現更差(附錄)。
通過不同的頭部反向傳播 在稀疏R-CNN上，我們觀察到，當我們隻反向傳播定位頭(37:5 AP)或兩個頭(38:9 AP)時，性能會下降。是以，我們傾向于隻通過分類頭反向傳播梯度(39:3 AP)。
對訓練時間的影響 使用Spearman或Concordance Loss來訓練Sparse R-CNN，每次疊代計算6次損失，在V100 gpu上将疊代時間增加0.50秒到0.51秒，開銷可以忽略不計。
對λ的靈敏度 我們發現搜尋{0.1,0.2;0.3:0.4;0.5;0.6}足夠了，附錄給出了網格搜尋的實證結果。
5.5附加材料
本文附有附錄，其中包含(i)使用其更強設定的Corr.Loss對稀疏R-CNN的影響，(ii)表3中檢測器的oLRP分量，(iii)優化Pearson相關系數時的結果，(iv)我們的網格搜尋以調整λcorr。
6結論
在本文中，我們定義了評估目标檢測器相關性，分析了幾種方法，提出了相關損失作為輔助損失函數來增強目标檢測器的相關性。我們在六個探測器上進行了大量的實驗，結果表明相關損失不斷提高檢測和相關性能，達到SOTA結果。