目标跟蹤綜述

01

目标跟蹤簡介

目标跟蹤是計算機視覺領域的一個重要問題，目前廣泛應用在體育賽事轉播、安防監控和無人機、無人車、機器人等領域。下面是一些應用的例子。

體育賽事轉播

田徑比賽

車輛跟蹤

‍

車輛跟蹤

02

目标跟蹤任務分類

了解了目标跟蹤的用途，我們接下來看目标跟蹤有哪些研究領域呢？目标跟蹤可以分為以下幾種任務

• 單目标跟蹤 - 給定一個目标，追蹤這個目标的位置。
• 多目标跟蹤 - 追蹤多個目标的位置
• Person Re-ID - 行人重識别，是利用計算機視覺技術判斷圖像或者視訊序列中是否存在特定行人的技術。廣泛被認為是一個圖像檢索的子問題。給定一個監控行人圖像，檢索跨裝置下的該行人圖像。旨在彌補固定的攝像頭的視覺局限，并可與行人檢測/行人跟蹤技術相結合。
• MTMCT - 多目标多攝像頭跟蹤（Multi-target Multi-camera Tracking），跟蹤多個攝像頭拍攝的多個人
• 姿态跟蹤 - 追蹤人的姿态

按照任務計算類型又可以分為以下2類。

• 線上跟蹤 - 線上跟蹤需要實時處理任務，通過過去和現在幀來跟蹤未來幀中物體的位置。  
• 離線跟蹤 - 離線跟蹤是離線處理任務，可以通過過去、現在和未來的幀來推斷物體的位置，是以準确率會線上跟蹤高。  

03

目标跟蹤的困難點

雖然目标追蹤的應用前景非常廣泛，但還是有一些問題限制了它的應用，我們看下有哪些問題呢？ 

• 形态變化 - 姿态變化是目标跟蹤中常見的幹擾問題。運動目标發生姿态變化時, 會導緻它的特征以及外觀模型發生改變, 容易導緻跟蹤失敗。例如:體育比賽中的運動員、馬路上的行人。
• 尺度變化 - 尺度的自适應也是目标跟蹤中的關鍵問題。當目标尺度縮小時, 由于跟蹤框不能自适應跟蹤, 會将很多背景資訊包含在内, 導緻目标模型的更新錯誤:當目标尺度增大時, 由于跟蹤框不能将目标完全包括在内, 跟蹤框内目标資訊不全, 也會導緻目标模型的更新錯誤。是以, 實作尺度自适應跟蹤是十分必要的。
• 遮擋與消失 - 目标在運動過程中可能出現被遮擋或者短暫的消失情況。當這種情況發生時, 跟蹤框容易将遮擋物以及背景資訊包含在跟蹤框内, 會導緻後續幀中的跟蹤目标漂移到遮擋物上面。若目标被完全遮擋時, 由于找不到目标的對應模型, 會導緻跟蹤失敗。
• 圖像模糊 - 光照強度變化, 目标快速運動, 低分辨率等情況會導緻圖像模型, 尤其是在運動目标與背景相似的情況下更為明顯。是以, 選擇有效的特征對目标和背景進行區分非常必要。

下圖是上述問題的一些執行個體。

光照以及模糊

形變以及遮擋

04

目标跟蹤方法

既然目标跟蹤領域有這麼多困難，那麼我們采用什麼樣的方法來進行目标跟蹤呢？目标跟蹤的方法按照模式劃分可以分為2類。

生成式模型 - 早期的工作主要集中于生成式模型跟蹤算法的研究, 如光流法[23-24]、粒子濾波[8]、Meanshift算法[9-10]、Camshift[11]算法等.此類方法首先建立目标模型或者提取目标特征, 在後續幀中進行相似特征搜尋.逐漸疊代實作目标定位.但是這類方法也存在明顯的缺點, 就是圖像的背景資訊沒有得到全面的利用.且目标本身的外觀變化有随機性和多樣性特點, 是以, 通過單一的數學模型描述待跟蹤目标具有很大的局限性.具體表現為在光照變化, 運動模糊, 分辨率低, 目标旋轉形變等情況下, 模型的建立會受到巨大的影響, 進而影響跟蹤的準确性; 模型的建立沒有有效地預測機制, 當出現目标遮擋情況時, 不能夠很好地解決。

鑒别式模型 - 鑒别式模型是指, 将目标模型和背景資訊同時考慮在内, 通過對比目标模型和背景資訊的差異, 将目标模型提取出來, 進而得到目前幀中的目标位置.文獻在對跟蹤算法的評估中發現[25], 通過将背景資訊引入跟蹤模型, 可以很好地實作目标跟蹤.是以鑒别式模型具有很大的優勢. 2000年以來, 人們逐漸嘗試使用經典的機器學習方法訓練分類器, 例如MIL[26]、TLD[27]、支援向量機[28]、結構化學習[29]、随機森林[30]、多執行個體學習[31]、度量學習[32]. 2010年, 文獻[12]首次将通信領域的相關濾波方法引入到目标跟蹤中.作為鑒别式方法的一種, 相關濾波無論在速度上還是準确率上, 都顯示出更優越的性能.然而, 相關濾波器用于目标跟蹤是在2014年之後.自2015年以後, 随着深度學習技術的廣泛應用, 人們開始将深度學習技術用于目标跟蹤。

按照時間順序，目标跟蹤的方法經曆了從經典算法到基于核相關濾波算法，再到基于深度學習的跟蹤算法的過程。 

• 經典跟蹤算法
• 基于核相關濾波的跟蹤算法
• 基于深度學習的跟蹤算法

05

經典跟蹤算法

早期的目标跟蹤算法主要是根據目标模組化或者對目标特征進行跟蹤。

1. 基于目标模型模組化的方法 通過對目标外觀模型進行模組化, 然後在之後的幀中找到目标.例如, 區域比對、特征點跟蹤、基于主動輪廓的跟蹤算法、光流法等.最常用的是特征比對法, 首先提取目标特征, 然後在後續的幀中找到最相似的特征進行目标定位, 常用的特征有: SIFT[3]特征、SURF[4]特征、Harris角點[5]等。 
2. 基于搜尋的方法 随着研究的深入, 人們發現基于目标模型模組化的方法[6]對整張圖檔進行處理, 實時性差.人們将預測算法加入跟蹤中, 在預測值附近進行目标搜尋, 減少了搜尋的範圍.常見一類的預測算法有Kalman[7]濾波、粒子濾波[8]方法.另一種減小搜尋範圍的方法是核心方法:運用最速下降法的原理, 向梯度下降方向對目标模闆逐漸疊代, 直到疊代到最優位置.諸如, Meanshift[9-10]、Camshift[11]算法  

光流法

光流法(Lucas-Kanade)的概念首先在1950年提出, 它是針對外觀模型對視訊序列中的像素進行操作.通過利用視訊序列在相鄰幀之間的像素關系, 尋找像素的位移變化來判斷目标的運動狀态, 實作對運動目标的跟蹤.但是, 光流法适用的範圍較小, 需要滿足三種假設:圖像的光照強度保持不變; 空間一緻性, 即每個像素在不同幀中相鄰點的位置不變, 這樣便于求得最終的運動矢量; 時間連續.光流法适用于目标運動相對于幀率是緩慢的, 也就是兩幀之間的目标位移不能太大。

Meanshift

Meanshift 方法是一種基于機率密度分布的跟蹤方法，使目标的搜尋一直沿着機率梯度上升的方向，疊代收斂到機率密度分布的局部峰值上。首先 Meanshift 會對目标進行模組化，比如利用目标的顔色分布來描述目标，然後計算目标在下一幀圖像上的機率分布，進而疊代得到局部最密集的區域。Meanshift 适用于目标的色彩模型和背景差異比較大的情形，早期也用于人臉跟蹤。由于 Meanshift 方法的快速計算，它的很多改進方法也一直适用至今。

粒子濾波

粒子濾波（Particle Filter）方法是一種基于粒子分布統計的方法。以跟蹤為例，首先對跟蹤目标進行模組化，并定義一種相似度度量确定粒子與目标的比對程度。在目标搜尋的過程中，它會按照一定的分布（比如均勻分布或高斯分布）撒一些粒子，統計這些粒子的相似度，确定目标可能的位置。在這些位置上，下一幀加入更多新的粒子，確定在更大機率上跟蹤上目标。Kalman Filter 常被用于描述目标的運動模型，它不對目标的特征模組化，而是對目标的運動模型進行了模組化，常用于估計目标在下一幀的位置。 

可以看到，傳統的目标跟蹤算法存在兩個緻命的缺陷:  

1. 沒有将背景資訊考慮在内, 導緻在目标遮擋, 光照變化以及運動模糊等幹擾下容易出現跟蹤失敗.  
2. 跟蹤算法執行速度慢(每秒10幀左右), 無法滿足實時性的要求.  

06

基于核相關濾波的跟蹤算法

接着，人們将通信領域的相關濾波(衡量兩個信号的相似程度)引入到了目标跟蹤中.一些基于相關濾波的跟蹤算法(MOSSE[12]、CSK[13]、KCF[14]、BACF[15]、SAMF[16])等, 也随之産生, 速度可以達到數百幀每秒, 可以廣泛地應用于實時跟蹤系統中.其中不乏一些跟蹤性能優良的跟蹤器, 諸如SAMF、BACF在OTB[17]資料集和VOT2015[18]競賽中取得優異成績。 

MOSSE

本文提出的相關濾波器（Correlation Filter）通過MOSSE（Minimum Output Sum of Squared Error (MOSSE) filter）算法實作，基本思想：越是相似的兩個目标相關值越大，也就是視訊幀中與初始化目标越相似，得到的相應也就越大。下圖所示通過對比UMACE,ASEF，MOSSE等相關濾波算法，使輸出目标中心最大化。

07

基于深度學習的跟蹤算法

随着深度學習方法的廣泛應用, 人們開始考慮将其應用到目标跟蹤中[71].人們開始使用深度特征并取得了很好的效果.之後, 人們開始考慮用深度學習建立全新的跟蹤架構, 進行目标跟蹤。

在大資料背景下，利用深度學習訓練網絡模型，得到的卷積特征輸出表達能力更強。在目标跟蹤上，初期的應用方式是把網絡學習到的特征，直接應用到相關濾波或 Struck 的跟蹤架構裡面，進而得到更好的跟蹤結果，比如前面提到的 DeepSRDCF 方法。本質上卷積輸出得到的特征表達，更優于 HOG 或 CN 特征，這也是深度學習的優勢之一，但同時也帶來了計算量的增加。 

08

目标跟蹤方法總結

目标跟蹤的方法主要分為2大類，一類是相關濾波、一類是深度學習。 

1. 相比于光流法、Kalman、Meanshift等傳統算法，相關濾波類算法跟蹤速度更快，深度學習類方法精度高.
2. 具有多特征融合以及深度特征的追蹤器在跟蹤精度方面的效果更好.
3. 使用強大的分類器是實作良好跟蹤的基礎.
4. 尺度的自适應以及模型的更新機制也影響着跟蹤的精度.

09

資料集

主要的資料集資料對比如下

資料集對比

10

論文

1. Wenhan Luo, Junliang Xing, Anton Milan, Xiaoqin Zhang, Wei Liu, Xiaowei Zhao, Tae-Kyun Kim