Densely Semantically Aligned Person Re-Identification
目前的問題及概述：
目前ReID如圖1中存在的問題：(a)不同的錄影機視點，(b)不同的姿态，©不完善的人檢測，(d)局部内的錯位，(e)雜亂的背景，(f)遮擋而造成的人的空間錯位。
本文通過對人即時資訊語義的估計，構造了一組語義密集對齊的局部圖像(dsap image)，其中相同的空間位置在不同的圖像中具有相同的語義。下圖說明了二維人物圖像與UV空間中基于規範表示之間的密集對應關系。人體表面被劃分為24個區域。每個區域都可以被扭曲成一個DSAP圖像，可以看到DSAP中對應人體的每一個部分的語義資訊是相同的，是以也避免了背景和遮擋對人物檢測的幹擾。
模型及loss：
本文設計了一個two-stream網絡，它由一個圖像分支(MF-Stream)和一個密集語義對齊引導分支(DSAG-Stream)組成。DSAG-Stream扮演一個調節器的角色來幫助訓練MF-Stream。引導MF-Stream從原始圖像中密集地學習語義對齊的特征。之後通過将dsag流與mf流進行相應的特征融合，并對融合後的特征進行學習來實作。
2.1DSAG-Stream:
基于密集語義對齊子產品，從輸入人圖像中構造24個語義密集對齊的部分圖像(DSAP-images)作為dsag分支的輸入，進入多分支子網絡(MB-Ns)學習局部特征圖譜，通過對特征的學習并進行語義對齊操作，将語義相近的特征進行合并，見圖4，從MB-Ns中得到8個獨立的feature map。
之後将得到的獨立的8個feature map輸入給head natwork，head natwork由兩個獨立的分支組成，分别關注全局和局部資訊。對于全局分支，得到輸出特征向量dG：
其中H(·)表示由若幹堆疊層組成的底層映射;P(·)表示平均空間池操作。對于局部分支，輸出特征向量dL是8個局部的特征向量dL，i經過映射後再級聯的結果：
最終，DSAG-Stream輸出global features dG和part-aware features dL
2.2 MF-Stream：
輸入原圖，經過backbone為Res-50的網絡進行特征提取，為了友善使用DSAG-Stream中的相關分支特征進行聯合學習，以feature map F作為輸入，使用與DSAG-Stream類似的heat network結構，提取到global features fG和part-aware features fL
2.3Two-Stream Fusion：
之後對兩個分支的局部和全局特征進行分别各自的聯合學習，通過相加得到總的局部特征ZL和總的全局特征ZG。
2.4 loss：
通過Triplet Loss作為Ranking Loss 縮小特征相近的樣本的距離，擴大特征差異大的樣本的距離，同時，通過CE loss作為identification loss進行分類任務。
實驗：
資料集：Market-1501，CUHK03，CUHK01，DukeMTMC-reID
與其他架構比較：
消融實驗：
總結：
本文的出發點是對于ReID任務的多角度，異背景，不完整，有遮擋的問題提出了DSAP這一思路，将人物部分進行分塊并通過語義資訊對齊進行整合，将DSAG和MF的two-stream網絡通過head network變為雙通道分别提取全局資訊和局部資訊，再分别相加提取特征，本文的創新點就是DSAG-stream有效的将每一個樣本的不同部分進行了語義對齊，有效的解決了多角度，異背景，不完整，有遮擋的樣本同類差異大的問題。