再一次來拜讀一下大佬的論文，準确的是說基于X光的Benchmark（Dataset+Baseline），我們來看一下論文（藍色字型為小編的劃重點和總結，不在論文原文中；引用是補充的内容；想看翻譯的小夥伴可以直接看【原文翻譯】）。
【Paper】https://arxiv.org/pdf/1901.00303.pdf
【Dataset】https://github.com/MeioJane/SIXray
【摘要】整體來說，本篇論文提出了一個x射線的資料集，其中有1,059,231張圖像，含危險品六類，并提出了對于重疊圖像類别不平衡的處理方法CHR。
【原文翻譯】 在這篇文章裡，我們提出了一個用于在安全檢查中發現違禁物品的x射線圖像大規模的資料集并且附上了baseline。我們的資料集名為SIXray，由1,059,231張x射線圖像組成，其中6類8,929個違禁品是手工标注的。它對重疊圖像資料提出了全新的挑戰，同時與現有資料集具有相同的屬性，包括複雜但無意義的上下文和類不平衡。針對這些困難，我們提出了一種==類平衡分層求精(CHR)==方法。CHR假設每個輸入圖像都是從混合分布中采樣的，而深度網絡需要一個疊代過程來精确地推斷圖像内容。為了加速，我們插入反向連接配接到不同的網絡骨幹，提供高水準的視覺線索，以協助中級功能。此外，還設計了一個類平衡損失函數，以最大限度地減少易負樣本帶來的噪聲。我們用不同比例的陽性/陰性樣本對六射線上的CHR進行了評價。與baseline相比，CHR具有更好的區分對象的能力，尤其是使用中層特征，這提供了使用弱監督的方法進行精确對象定位的可能性。特别是，在教育訓練樣本數量較少的情況下，CHR的優勢更顯著，這表明其在真實世界安全檢查中的潛在應用。
【Introduction】資料集的規模；自然圖像和X射線圖像的區分； class-balanced hierarchical refinement (CHR)；總結了兩方面的工作；
【原文翻譯】 安全檢查在保護公共空間免受恐怖主義等安全威脅方面一直發揮着關鍵作用。随着大城市人口的增長和公共交通樞紐的人群密度的增加，在x射線掃描圖像中，快速、自動、準确地識别違禁物品越來越重要。近年來，深度學習的迅速發展，特别是卷積神經網絡，給圖像處理和視覺了解帶來了一種進化，包括在x射線圖像中發現和識别物體。不同于自然圖像和其他x射線掃描，安全檢查通常處理行李或行李箱，其中的物品是随機堆疊和嚴重重疊的。是以，在掃描的圖像中，感興趣的對象可能與任意的和無意義的雜亂混合在一起，是以即使是人工檢查人員也可以忽略它，如下圖所示。
為了為這一領域的研究提供公共基準，本文提出了一種名為安全檢查X射線的資料集，該資料集——SixRay，該資料集大于用于禁止物品發現的現有最大圖像集合(即，GDXray資料集，為GDXray資料集的100倍。SIXRay包含超過一百萬的X射線圖像，其中隻有少于1％的圖像具有正标簽(即，被禁止的項目被注釋)。它模仿了檢查專員通常旨在識别在非常低的頻率(例如1:000)中出現的被禁止的項目的真實環境場景。與僅包含簡單背景中的灰階圖像的GDXray資料集不同，我們的資料集更具挑戰性。雖然彩色x射線掃描器會将不同的顔色配置設定給不同的材料，但容器中的物體在比例、視角和樣式上往往會有相當大的差異，但禁止的物品可能會與任意數量和類型的安全物品混合和重疊，如上圖所示。
我們将這個問題轉化成優化問題，提供了一個資料集 D = ( x n , y n ∗ ) n = 1 N D={({x_n},{y_n^*})_{n=1}^N} D=(xn,yn∗)n=1N，目标是最小化ground-truth和預測值 ∣ y n ∗ − f ( x n ; θ ) ∣ 2 |y_n^*-f(x_n;\theta)|^2 ∣yn∗−f(xn;θ)∣2之間的期望損失函數。這裡的 x n x_n xn指的是圖像資料， y n ∗ y_n^* yn∗是一個C維的向量，每個索引訓示xn中是否存在特定的類。在此架構下，我們指出了自然圖像和x射線圖像的明顯差別。自然圖像 x n x_n xn通常隻包含一個類 c n c_n cn，是以可以從分布 P ( x ∣ c n ) P(x|c_n) P(x∣cn)中取樣。然而，x射線圖像通常由一組重疊圖像組成，這些圖像提供了多類标簽 y n ∗ y_n^∗ yn∗(C維)，可以用混合分布 x n = ∑ c y n , c ∗ x n . c x_n=\sum_c y_{n,c}^* x_{n.c} xn=∑cyn,c∗xn.c來表示，其中 x n ； c x_{n；c} xn；c是從隐藏分布 P ( x ∣ c ) P(x|c) P(x∣c)中取樣的，如下圖所示。
我們提出了一種基于深度神經網絡的方法來處理這種複雜的場景。其關鍵思想是将兩個資訊源結合起來，即使用中間層特征 x n x_n xn(通常是從混合分布中抽樣)來确定進階語義 y n y_n yn，并通過引用 y n y_n yn中包含的資訊反向過濾 x n x_n xn中的無關資訊。為此，我們将高層監控信号轉化為反向網絡連接配接。為了緩解資料的不平衡，我們引入了一個基于該層次結構的損失平衡項。這導緻了一個完整的pipeline，稱為類平衡分層求精(CHR)。在 Y n Y_n Yn未被觀察到的情況下，在優化過程中需要疊代過程，這在實際應用中是非常昂貴的。為了加快速度，我們關閉了疊代，以便在一個機關時間周期内處理更多的訓練資料。在測試階段，CHR融合了不同層的資訊，從不同階段到更高的識别精度，但仍具有較高的計算效率。
我們用不同比例的陽性/陰性樣品對六射線上的CHR進行了評價。在不同的基線(即不同的網絡主幹)上，CHR報告了更高的分類性能，證明了使用進階别線索來幫助中層特征的有效性。此外，我們還驗證了增加類平衡損失項的必要性，因為我們觀察到在較不均衡的訓練資料上有更大的改進。最後但并非最不重要的是，我們在測試集的邊界框級提供了違禁項的注釋，并将類激活映射(CAM)算法作為弱監督對象定位的基線。
這項工作的主要貢獻有兩方面：
(1)為今後在這一具有挑戰性的視覺任務中的研究提供了一個基準。
(2)提出了一種在層次結構中內建多層次視覺線索并實作類平衡的方法CHR。
【Related Work】分析了GDXray資料集和Chestxray資料集和SIXray資料集有什麼差別；兩種定位location的方法；
2.1. X-ray Images and Benchmarks
【原文翻譯】 X射線圖像是通過用x射線照射物體，并根據它們的光譜吸收率以僞顔色呈現出來的。是以，在x射線圖像中，由相同材料制成的物體被賦予非常相似的顔色，例如，金屬通常以藍色顯示，而不可穿透的物體通常以紅色表示。此外，x射線與自然圖像最顯著的差別在于物體重疊，因為x射線經常應用于某些物體可能會嚴重遮擋其他物體的場景中，例如在行李中，個人物品往往是随機堆放的。這種特性給計算機視覺算法帶來了新的挑戰，而傳統的困難仍然存在，如規模和視點方差、類内方差和類間相似性等，這在其他的目标定位基準(如pascalvoc[9]和ms-coco)中得到了廣泛的觀察。
研究人員設計了大量工作來解決這些困難，并探讨了這些困難之後的潛在商業價值。但不幸的是，很少有x射線資料被用于研究目的。一個最新釋出的benchmark——GDXray，包含三大類違禁品，包括槍、Shuriken（不知道該怎麼翻譯~百度說叫手裡劍）和刮胡刀刀片。然而，由于GDXray中的圖像具有較少的背景雜波和重疊，是以識别這些圖像和(或)檢測其中的對象變得相當容易。此外，相對較少的陰性樣本(不包含違禁物品的圖像)簡化了該算法在訓練和測試階段的使用。Chestxray8是一個用于醫學影像分析的大型胸片X線體。與我們的場景不同，這些圖像中的對象很少互相重疊。
2.2. Object Recognition and Localization
目辨別别的研究領域一直被深度學習方法所主導。随着大規模資料集的提供和強大的計算資源，研究人員能夠設計和優化非常深的神經網絡以分層的方式學習視覺模式。在每個圖像可能包含多個對象的場景中，通常有兩種類型的定位方法。第一個在圖像級别上工作，它為每個類生成一個得分，表示它的存在或不存在。第二個則是在對象級别上工作，為每個對象分别産生一個包圍框和一個類标簽。 前者經常遇到多對象分類和訓練資料不平衡的問題，是以，對二值交叉熵損失（BCE）進行了探索。另一方面，第二種方法是基于pipeline的，先提取圖像中的多個proposals，然後緻力于每一個proposal的類别。
本篇論文研究的是圖像級别的識别，因為缺少每個物體的注釋，我們的方法也具有定位物體的能力。這與弱監督對象定位研究有關，或者使用自上而下的類激活。 在多個執行個體學習架構中也進行了對象定位的研究，其中卷積濾波器表現為激活特征圖上感興趣區域的檢測器。
在X射線圖像中的物體識别的背景下，研究人員意識到這些圖像通常包含較少的紋理資訊，但形狀資訊更具有辨識力。是以，在視覺詞袋模型的領域，設計的有效性和高校的手工制作功能深入的進行了探讨。随着深度學習成為優化複雜功能的标準工具，研究人員開始講其應用于提取X射線圖像表示的抽象視覺特征或者優化X射線圖像上的預訓練模型，以便從自然圖像中學習到資訊。本篇文章主要關注的是第二種方法。
3. SIXray基準測試
3.1 資料采集
我們收集了一個名為安全檢查X射線（SIXray）的資料集，其中包含總共1,059,231個X射線圖像，并且比現有唯一同用途的公共資料集大100多倍，即the baggage group of the GDXray 資料集。這些圖像是從幾個地鐵站收集的，原始中繼資料表明存在或不存在違禁物品。有六種常見類别的違禁物品，即槍，刀，扳手，鉗子，剪刀和錘子。在我們的實驗中沒有使用僅有60個樣品的錘類。
這些對象的分布與現實世界場景一緻，與負樣本相比，正樣本少得多。表1中顯示了該資料集的統計資料。每個圖像都由安全檢查機器掃描，安全檢查機器為不同材料制成的對象配置設定不同的顔色。所有圖像均以JPEG格式存儲，平均大小為100K像素。
為了研究訓練資料不平衡帶來的影響，我們建構了該資料集的三個子集，并将它們分别命名為SIXray10，SIXray100和SIXray1000，數字表示負樣本與正樣本的比率。在SIXray10和SIXray100中，包括所有8,929個正圖像，并且正好有10×和100×負樣本圖像。 SIXRay100與現實場景的分布非常接近。為了最大限度地探索我們的算法處理資料不平衡的能力，我們通過随機選擇1,000個正圖像但将它們與所有1,050,302個負樣本圖像混合來建構SIXray1000資料集。每個子集進一步劃分為訓練集和測試集，前者包含80％的圖像，後者包含20％的圖像（訓練/測試圖像的比例為4：1）。
在整個資料集中，我們使用人類安全檢查員提供的圖像級注釋，即是否存在每種類型的違禁項目。此外，在測試集上，我們手動為每個違禁項添加一個邊界框，以評估對象定位的性能。
3.2 資料集屬性
SIXray資料集具有若幹屬性，這給視覺識别帶來了困難。首先，這些圖像主要是從個人行李箱上的X射線掃描獲得的，例如，袋子或手提箱，其中物體通常是随機堆疊的。當這些項目通過X射線掃描時，穿透屬性使得甚至可以看到圖像中的遮擋物體。這導緻了該資料集最重要的屬性，我們稱之為重疊。請注意，GDXray沒有這樣的挑戰，因為每個圖像中通常隻有一個物體。 其次，違禁物品可能出現在許多不同的尺度，角度，風格甚至亞型中，所有這些都會引起相當大的課内變異并增加識别的難度。第三，圖像可能會嚴重混亂，但幾乎不可能配置設定所有對象，特别是那些具有明确類别标簽的非禁止對象。是以，有來自一組開放對象的噪聲，這使得很難預測背景區域中出現的内容。第四個也是最後一個，如上所述，正樣本圖像（具有至少一個禁止項目）僅占據該資料集的一小部分。如果沒有特殊處理，訓練階段很容易偏向負樣本階段，因為簡單地猜測負面标簽會産生足夠高的準确度。這對訓練穩定性提出了挑戰。在下一節中，我們将介紹考慮這些屬性的方法，尤其是特定于此資料集的第一個和第四個屬性。
4.1 動機和方法
如在前一部分中所觀察到的，X射線圖像的顯着特征在于物體彼此重疊。請注意，重疊不同于後方對象不可見的遮擋。相反，由于X射線是可穿透的，是以在圖像中可以看到前後物體。這被稱為滲透假設，我們使用混合模型來制定這些資料。
讓資料集中出現C類可能的物體，索引集為{1,2，… ， C }。其中，C’類被認為是禁止的，例如，在SIXray資料集中，C’= 5.不失一般性，我們為它們配置設定1,2，…，C’的類索引。讓資料集D包含N個圖像。對于每個輸入圖像xn，我們的目标是為每個xn獲得一個C維向量yn，其中每個次元yn，c為0或1，其中1表示該圖像中存在指定的禁止物體，0反之亦然。請注意，yn *的真值僅存在于第一個C’次元，而其他次元則未被觀察到。
為了獲得xn的數學公式，我們假設它由C個子圖像xn，c組成，每個子圖像對應于指定的類c并且從條件分布Pc =P(x | c)中采樣。然後，根據滲透假設，每個圖像可以寫成：
(1) x n ≈ ∑ c = 1 C y n , c ⋅ x n , c , x n , c ～ P c x_n \approx \sum ^C_{c=1} y_{n,c} \cdot x_{n,c}, \quad x_{n,c}～P_c \tag1 xn≈c=1∑Cyn,c⋅xn,c,xn,c～Pc(1)
這個公式當然不準确，因為我們忽略了對象之間的重疊關系以及對象堆疊的順序，但它可以作為重疊影響圖像資料的近似公式。
我們的目标是學習判别函數 y n = f ( x n ; θ ) y_n = f(x_n;θ) yn=f(xn;θ)來預測圖像标簽。由于感興趣的對象可能以各種比例出現。為了識别并進一步檢測它，一種流行的選擇是結合多階段視覺資訊。這裡我們簡單地考慮從L個不同層提取的特征向量，其中第l個被表示為 x n ( l ) x_n^{(l)} xn(l)。正常解決方案是使用地面實況信号 y n ⋆ y_n^⋆ yn⋆作為監督來訓練每個層之外的分類器 y n ( l ) = h ( l ) ( x n ( l ) ; ξ n ( l ) ) y_n^{(l)}=h^{(l)}(x_n^{(l)};\xi_n^{(l)}) yn(l)=h(l)(xn(l);ξn(l)),在測試階段，我們将所有 y n ( l ) y_n^{(l)} yn(l)融合為最終輸出，即 y n = ∑ l = 1 L y n ( l ) y_n = \sum ^L_{l=1}y_n^{(l)} yn=∑l=1Lyn(l)。
然而，我們注意到該模型的顯着弱點，其來自滲透假設，即Eqn(1)，應用于中級特征。也就是說，每個 x n ( l ) x_n^{(l)} xn(l)是從不同類别采樣的子圖像的組合，包括那些不感興趣的項目，是以 h ( l ) ( x n ( l ) ; ξ n ( l ) ) h^{(l)}(x_n^{(l)};\xi_n^{(l)}) h(l)(xn(l);ξn(l))可以被分散。一個合理的想法是改進 以擺脫這些無關的資訊。這是通過函數 g l ( x n l , y n ; γ ( l ) ) g^{l}(x_n^{l},y_n;\gamma^{(l)}) gl(xnl,yn;γ(l))實作的，它與 x n ( l ) ; x_n^{(l)}; xn(l);共享相同的維數。對這些内容進行總結會産生以下優化問題：
上述公式定義了一種疊代模型，即使在訓練階段也無法觀察到 y n y_n yn。 标準的優化方法包括疊代，其中我們從D和任何 y n y_n yn采樣的 x n x_n xn開始（在訓練過程中，第一個 C ′ C' C′次元由地面實況和其他C - C’次元提供，可以是随機的初始化）。我們首先相應地計算每個l的 x n ( l ) x_n^{(l)} xn(l)，并用它來計算 y n ( l ) = h ( l ) ( x n ( l ) ; ξ n ( l ) ) y_n^{(l)}=h^{(l)}(x_n^{(l)};\xi_n^{(l)}) yn(l)=h(l)(xn(l);ξn(l))的第一個版本。在每一輪中，我們計算 y n y_n yn并用它來計算 g l ( x n l , y n ; γ ( l ) ) g^{l}(x_n^{l},y_n;\gamma^{(l)}) gl(xnl,yn;γ(l))，以便 x n ( l ) x_n^{(l)} xn(l)更新。
5.1 設定和baseline
我們使用所有三個子集，即SIXRay10，SIXRay100和SIXRay1000來評估不同的方法。在每個子集中，所有模型都在80％的訓練資料上進行訓練，并對剩餘的20％測試資料進行評估。這些資料分割是随機的，但對所有競争者都是一緻的。
我們評估圖像級别分類平均精度和目标定位精度，對于第二個目标，我們手動标記了測試圖像中帶有邊界框的所有違禁項目。對于圖像分類，我們将評估度量應用于PascalVOC圖像分類任務[9]，該任務分别對每個類進行處理 - 所有測試圖像按包含指定對象的置信度排序，并計算平均精度（mAP） 。對于對象定位，我們遵循[37]來計算指向定位的準确性。如果最大響應的像素落在指定對象的地面實況邊界框之一内，則計數命中，否則計算遺漏。是以，每個類具有由 計算的定位精度。對于這兩項任務，我們還會報告整體表現，即所有五個類别的平均表現。
我們研究了五種流行的網絡，包括34層，50層和101層的ResNets [13]，Inception-v3 [32]和121層的密集網。 我們按照慣例建立這些網絡，并使用L=3将chr應用于每個網絡，使用具有不同空間分辨率的三個池層（例如，在resnet中，28×28、14×14和7×7）作為特征。當然可以通過添加更多特征來增加L，但實際上我們發現L = 3足以提供補充資訊。
5.2 分類：定量結果
我們首先研究總體（平均超過五個類别）圖像分類結果，總結在表2中.CHR實作了超出所有網絡骨幹以及所有不同子集的一緻平均平均精度增益，即SIXray10，SIXray100和SIXray1000。
我們觀察到CHR在更深的網絡中工作得更好，這也在實驗中觀察到，例如，在Inception-v3和DenseNet之上，對SIXRay1000的絕對改進分别為8.22％和9.08％。
接下來我們分别觀察五種類型的物體。 CHR帶來的好處因類别而異。以DenseNet為例。當它的目标是尋找槍時，分類性能并未在所有子集中得到提升，而我們觀察到所有其他類别的顯着增益，特别是對于剪刀，精度提高了30％。我們可以在表1中看到，剪刀的訓練樣本是所有五個禁用項目中最少的，是以基線在訓練階段受到顯着偏差。 CHR通過引入分級信号進行監督，在很大程度上緩解了這種偏見。
最後，我們研究了不同子集上的資料不平衡問題。回想一下，負面正面圖像的比例分别為10,100和1000。從圖5中可以看出，性能增益随着資料不平衡而上升，正如5.4節所分析的那樣，資料不平衡來自我們對類平衡的特殊處理。
5.3 定位：定量結果
為了驗證CHR沒有過度調整到圖像分類，我們附加了類激活圖（CAM），一種用于對象定位的弱監督方法，在不同階段提取的特征之上。 CAM為每個類單獨生成一個熱圖，并在每個圖上生成一個熱圖。 我們首先将地圖重新縮放到原始圖像大小。 如果跨尺度的最大響應落在指定對象的地面實況邊界框之一内，則預測位置被認為是有效的定位。
表3總結了定位結果。 基于DenseNet的CHR在SIXray100上優于DenseNet 5.61％（50.31％對44.70％），對于SIXray1000優于9.26％（43.87％對34.61％）。
特别是對于SIXray1000的扳手，Inception-v3 + CHR的表現優于Inception-v3 16.04％（23.53％vs 7.49％）。 同樣，我們觀察到更深層網絡（産生更強大的特征）和更大的負過正比率的顯着準确度增益。 更多本地化結果如圖6所示。
5.4 消融研究
在這一部分，我們提供診斷實驗。這些實驗是在SIXRay的所有三個子集上進行的，它們具有不同的負面正樣本比率。首先，我們研究了層次細化的性能 - 反向連接配接，表4.可以看出自上而下的細化（ResNet34） + HR）在SIXRay100上将分類和定位精度提高1％和6.52％，在SIXRay1000上提高3.15％和2.13％。 （ResNet34 + HR）優于直接層次融合（ResNet34 + H）。原因在于所提供的資訊與正常網絡重疊，後一種選擇為低級别功能提供了更多資訊。
其次，我們研究了不同損失函數的影響，表4.在類平衡損失（ResNet34 + CH）中，SIXRay100的分類和定位精度分别提高了1.00％和3.77％，SIXRay1000分别提高了3.10％和3.44％ 。通過将層次細化與類平衡損失（ResNet34 + CHR）相結合，SIXRay100的分類和定位精度提高了2.37％和7.51％，比基線ResNet34，表4顯示了5.48％和5.11％，這顯示了重要性CHR對具有類不平衡的大規模資料集的影響。
注意，通過相對少量的額外計算來實作精度增益。例如，ResNet34需要7.68ms來處理每個測試圖像，ResNet34-CHR需要8.28ms，兩者都在Tesla V100 GPU上。是以，CHR使用7.81％的額外時間。
5.5 ILSVRC2012分類
最後，我們在大型圖像分類資料集ilsvrc2012上評估了chr。這是為了觀察chr如何歸納為自然圖像資料，前提是它在重疊圖像資料上獲得了顯著的精度。ILSVRC2012是ImageNet資料庫的一個流行子集，它有1000個類，每個類在WordNet中都有一個定義良好的概念。共提供1.3M的教育訓練圖像和50k的驗證圖像，這兩個圖像大緻均勻分布在所有類别。
我們遵循标準的訓練和測試流程，包括模型初始化、資料增強、學習速率衰減等政策。由于ILSVRC2012是一個平衡的資料集，是以我們關閉了為此目的設計的損失函數中的權重項。
基于resnet18的top1誤差為27.01%[13]，略低于基線0.87%（27.01%對27.88%）。此外，基于resnet50[13]的top1和top5錯誤率分别為22.00%和6.22%。分别比baseline低0.85%（22.00%對22.85%）和0.49%（6.22%對6.71%）。這種輕微但一緻的精度提高提供了雙重資訊。在我們的方法中，将進階監控帶到中級功能的反向連接配接并不與自然圖像沖突，盡管它與重疊的圖像資料對齊得更好。考慮到額外的計算成本幾乎可以忽略不計，是以有必要研究其在自然圖像領域的張力。
6. 結論
本文研究了X射線掃描圖像中的違禁物項發現問題，這是一個很有前途的工業應用，但在計算機視覺領域的研究卻很少。為了促進這一領域的研究，我們提出了Sixray，一個由100多萬張X射線圖像組成的大型資料集，所有這些圖像都是在現實場景中捕獲的，是以涵蓋了複雜的場景。我們手動注釋了六種類型和超過20000個禁止項，這至少是所有現有資料集的100倍。在方法論中，我們将X射線圖像表示為多個子圖像的重疊，是以從混合分布中取樣。基于對不相關資訊的過濾，提出了一種基于層次和疊代的中級特征優化算法。在實際應用中，我們關閉疊代，以一種近似但有效的方式優化網絡權重。為了解決正負類之間的資料不平衡問題，在層次結構的基礎上建立了一種新的損失函數。除了一些流行的網絡主幹外，我們的方法在分類和定位精度方面都能獲得一緻的收益，為所提議的任務建立了一個強大的基線。
未來的研究主要有兩個方向。首先，基于穿透假設的重疊圖像公式在許多方面都不準确——我們期待基于更好的實體模型的更有效的方法。第二，重疊圖像和自然圖像之間的聯系，例如物體遮擋，仍然不清楚——研究這個主題可能意味着一些方法可以将這些方法擴充到更廣泛的應用領域。
因為之前也接觸了一點兒X射線的内容，就把這篇論文放上來，除了是X射線相關的内容，也可以看做是資料集釋出的論文，翻譯僅供大家參考，不周之處還希望大佬們指出啦，給大家比心~