《改進的內建平衡顔色和紋理特征的雙模壓縮跟蹤》
摘要：将跟蹤問題視為分析目标和背景資訊的分類問題的判别跟蹤方法可以實作最先進的性能。作為一個高性能判别器，壓縮跟蹤近來受到很多關注。然而，當物體遭受長時間遮擋，以及嚴重的外觀和光照變化時，很容易導緻跟蹤失敗。為解決這一問題，作者考慮平衡特征表示以及雙模分類器的構造，開發了基于CT（compressed tracking）的魯棒的跟蹤架構。首先，CT的原始測量矩陣作為主導紋理特征提取器。 為了獲得平衡的特征表示，通過考慮紋理和顔色特征來誘導補充測量矩陣。然後，分别通過使用先前樣本集和目前樣本集開發出兩個分類器（雙模式），并随後将它們組合成一個集合分類器以跟蹤目标，這可以幫助避免當目标遭受嚴重外觀變化和長期遮擋時産生的跟蹤失敗。此外，本文提出了一種分類器更新模式，以通過用集合分類器預測遮擋來防止未統計正樣本的遮擋問題。廣泛的實驗證明了本跟蹤架構在各種情況下的有效性。
1 Introduction
目标追蹤被廣泛用于智能系統，諸如智能交通系統，駕駛輔助以及人機互動。最近，許多跟蹤算法被提出，然而，開發出一個能夠在複雜環境下（比如，照明、形變、來自相似物體的幹擾，遮擋和旋轉）工作的魯棒跟蹤算法仍是一個具有挑戰性的工作。
目标跟蹤可以通過兩個主要架構實作，即生成模型和判别模型。與生成模型相比，判别模型通過将跟蹤問題等價為目标與背景的分類問題，可以達到最好的性能。一些判别模型使用boosting技術為跟蹤選擇大量的判别特征，這些判别模型包括多執行個體學習、線上adaboost、semi-boosting等等。然而，它們在遇到長時間遮擋和嚴重的外觀變化時，可能會跟蹤失敗，因為可能隻有部分對象資訊被合并到模型中。最近，許多判别模型将特征投射到低維空間以建構更穩健的特征表示，例如， 相關濾波器，稀疏編碼，低秩分解，壓縮感覺等。在這些模型中，壓縮追蹤（CT）使用随機投影和壓縮感覺來提取追蹤中的特征，展示其在實作強大的實時性能方面的優勢。
有了随機投影和壓縮感覺的支援，壓縮跟蹤建構一個稀疏測量矩陣R，R屬于Rn*m，用于投影高維多尺度特征，x屬于Rm，轉換到低維版本，v屬于Rn，n<<m。CT可以準确有效地跟蹤物體，但是，當目标存在嚴重的外觀改變或者長時間的遮擋時，會出現跟蹤失敗的情況。我們認為該壓縮跟蹤算法的性能可以通過考慮新的特征表示以及建構和更新分類器被進一步提升。
對于CT算法的改進，我們的主要貢獻有三。首先，我們提出增強測量矩陣以達到一個在顔色和紋理特征方面平衡的特征表示；第二，我們認為高性能的跟蹤器不應該隻捕捉短期變化，而應該容忍長時期的遮擋。受遷移學習算法的啟發，我們建構了兩個分屬于兩個樣本集的分類器。一個被命名為在t幀時刻選擇到的目前樣本集；另一個被命名為在0到t-1幀時刻選擇到的先前樣本集。這兩個分類器組合成一個內建跟蹤器，以适應短期外觀變化和長期遮擋；第三，我們通過使用內建跟蹤器明确地檢測遮擋來誘使模型更新跟蹤政策。當目标對象未被遮擋時，跟蹤資訊被添加到先前的訓練樣本集作為正樣本。若目标對象被嚴重遮擋，為了避免分類器錯誤更新，我們并不更新先前的訓練樣本集。當目标對象從遮擋中恢複時，恢複更新過程。利用這些改進，本文所提出的算法應該在困難情況下表現良好（例如由于照明和長期遮擋引起的劇烈變化）。
本文組織如下：第2部分簡單介紹了初始CT算法。第3部分描述我們提出的算法，特别的，3.1闡述了測量矩陣架構；3.2介紹了內建跟蹤器的架構；3.3介紹了更新政策。第4部分我們介紹了擴充實驗的細節，同時展示了所提算法的性能。最後，在第5部分是對所做工作的總結和展望。
2 Background
在壓縮感覺和随機投影的支援下，CT算法可以準确而有效地跟蹤目标。特别的，我們假設目标位置It-1=[x,y]T處的先前架構t-1被給出或檢測。我們的目标是估計架構t處對象的位置It。若我們知道t-1處的目标位置，就可以生成與對象相鄰的正樣本T p和遠離對象的負樣本T n。每個樣本表示具有高度h和寬度w的矩形圖像塊，其可以被轉換為特征向量v。這正樣本和負樣本的特征向量被用于訓練一個樸素貝葉斯分類器。當到了架構t時，跟蹤架構根據局部密集搜尋生成候選樣本。每一候選樣本也對應于一個向量v和一個由樸素貝葉斯分類器給出的分數。選擇具有最高分數的候選樣本作為t處的對象。疊代地操作該過程以進行線上跟蹤。
2.1 CT的特征表示
在随即投影和壓縮感覺的支援下，CT将每個樣本表示為一個多尺度高維向量x。其中x通過一個參考必要資訊随機建構的測量矩陣R投影為低維向量v的形式。投影表示形式如公式（1）：
v=Rx （1）
rij代表測量矩陣R第i行第j列的元素。R很稀疏。例如，當s=m/4時，R的每一行中不超過四個非零元素。圖1所示為R中元素分布。該方法的主要優點是在減小維數的同時保留了特征x的判别能力，這使得跟蹤算法高效準确。由于R的構造過程是資料獨立的并且在第一幀處是固定的，是以尺寸減小過程比傳統的尺寸減小方法（例如， 主成分分析）快得多。
盡管CT算法具有上述優點，當光照驟變或者存在長時間遮擋時，依然會導緻跟蹤失敗。我們在3.1節中介紹的壓縮特征v可以了解為顔色特征和紋理特征的組合。但是，當紋理特征在跟蹤中起主導作用時，CT仍然很容易跟蹤失敗。2.2 分類器更新
針對每一生成樣本，我們假定壓縮特征v=(v1,...,vn)T（v屬于Rn）的所有元素都服從獨立同分布。然後，我們建構樸素貝葉斯分類器如下：
3 平衡雙模目标跟蹤
下面三個小節分别介紹了我們提出的算法。3.1節介紹改進的測量矩陣Rc，Rc可以擷取跟蹤中的顔色和紋理特征；3.2節我們使用目前和先前的樣本集建構一個集合分類器，以解決潛在的長期遮擋問題；最後，在3.3節中介紹我們用于檢測遮擋的整體架構。
3.1 互補的平衡特征測量矩陣
文獻[16]指出，每行R的機率為29％，即 r i，僅包含所有正元素或所有負元素，以此得到對應的壓縮特征元素v i的灰階平均值。r i包含正負元素的機率為71％。是以，相應的v i可以被認為是紋理特征，因為它反映了圖像顔色資訊的差異。然而，在照明條件發生急劇變化時，紋理特征是不穩定的。為解決這一問題，我們對原始稀疏測量矩陣加以改進，形成一個互補的測量矩陣Rc，以使兩種特征保持平衡。
Rc定義如下：
3.2 用于跟蹤的合成分類器
文章[13]指出，分類器更新可以被描述為學習目前樣本中包含的知識的過程以修改分類器，這可以自然地被視為遷移學習問題。
具體而言，從先前樣本（來自先前幀的各種目标樣本）獲得的知識用于利用目前樣本來使分類器保持最新，進而得到更穩定的跟蹤器。為了實作這個想法，我們通過訓練兩個具有先前和目前訓練樣本的分類器來開發合成分類器，這類似于[17]中使用的方法，但是我們提供了改進的更新政策。具體來說，在第t幀，給出或檢測出對象位置。然後在第二部分，選擇幀t處的正樣本Tpc和負樣本Tnc，并将其命名為目前訓練樣本集Tc。将從0到t-1和Tnc的先前幀中選擇的正樣本Tpp組合為先前訓練樣本集Tp。 建構兩個訓練樣本的過程如圖3所示.Tpp的選擇将在3.3節中介紹。
這兩個訓練樣本集Tc和Tp被用于訓練兩個分類器，将這兩個分類器分别命名為Hc和Hp。然後，我們定義最終的強分類器H，H為兩個分類器Hc和Hc的權重之和，公式如下：
|…|表示樣本集中樣本的數量。有了內建分類器H，我們就可以在Hc的幫助下處理短期劇烈形變問題，以及在Hp的幫助下處理長期遮擋問題。
3.3 部分遮擋的跟蹤架構
跟蹤算法和許多其他跟蹤系統不能十分明确的考慮模型更新過程中遮擋問題。若目标被嚴重遮擋，模型更新時會引入錯誤的目标資訊（包括一些背景資訊），這将會導緻漂移。為解決這一問題，我們采用遷移學習的思想，在先前跟蹤的幀上使用特征來協助目前的模型更新。CT和本文算法的實驗結果如圖4所示。
文章[17]提出了相似的想法，但是，即使目标明顯被遮擋，該方法仍然包括先前訓練樣本集中的跟蹤目标。該方法将錯誤對象資訊引入正訓練樣本集，導緻錯誤累積。
我們提出使用合成分類器H來确切地檢測遮擋，以避免引入錯誤對象資訊。具體來說，在第t幀，針對檢測過程，N個候選樣本C = [1]，i = 1，...，N在幀t-1的對象位置處被密集采樣。每一候選樣本lt,i被表示為3.1小節中介紹的平衡特征vt,i。然後，如3.2節所述，将每個候選樣本的對象似然度O（l t，i）定義為H（v t，i）。選擇具有最大似然性的樣本作為幀t處的目标樣本并表示為l t。 如果O（l t）<0，我們認為發生了嚴重的遮擋。然後，我們跳過更新過程以避免将錯誤對象資訊帶入正訓練樣本。如果O（l t）>0,對于分類器更新過程，首先選擇目前訓練樣本集T c并用于更新分類器H c，這在第2節中已經介紹。我們所提的算法架構如圖5所示。
，