多目标跟蹤是視訊分析及監控領域中的基本問題之一，在視訊目标分析、場景剖析、行為事件了解、交通管理及安全防控等應用中，多目标跟蹤都是必須解決的關鍵課題。與單目标跟蹤僅針對指定的單個目标框進行跟蹤不同，多目标跟蹤緻力于對視訊中的所有感興趣目标進行自動提取，并通過時域關聯，得到其運動軌迹資訊。是以，多目标跟蹤更适合處理包含大量目标的複雜場景。
圖1：多目标跟蹤緻力于對視訊中的所有感興趣目标進行自動提取，并通過時域關聯，得到其運動軌迹資訊，是以更适合處理含有大量目标的複雜場景
然而，由于多目标在場景中的運動往往存在大量的互相遮擋與互動，給目标提取及關聯帶來了大量的幹擾，是以多目标跟蹤仍然面臨巨大的困難和挑戰。現有的研究大多隻專注于改進多目标跟蹤過程中的某一環節，缺少對多個環節的聯合模組化，是以，跟蹤效果仍然有較大的局限性。此外，現有的大多數多目标跟蹤方法複雜性較高，難以實作有效的實時處理。
近日，上海交通大學林巍峣副教授團隊和中興通訊的合作工作在多目标跟蹤領域取得突破，在保證明時處理的情況下，大幅提升了跟蹤效果，并在 mot challenge 測評中取得第一。
mot challenge 是國際多目标跟蹤領域最權威的測評平台，由阿德萊德大學、蘇黎世聯邦理工學院以及達姆施塔特工業大學聯合創辦，旨在評測多行人對象在複雜場景下進行同時檢測及跟蹤的算法性能，迄今為止參加測評的機構多達 60 多支，包括海康威視、商湯科技、nec 北美研究院、斯坦福大學、馬克斯普朗克研究所、紐約州立大學、蘇黎世聯邦理工學院、悉尼大學、倫敦瑪麗皇後大學等世界知名高校和研究所。
圖2：上海交通大學和中興通訊合作團隊獲得 mot 16 challenge 測評第一名。
mot challenge 主要包含 mot 15， mot 16，mot 17 三個測評集。其中，mot 17 主要測評多目标跟蹤子產品的性能，而 mot 15 和 16 兩個測評集允許對目标檢測、特征提取及跟蹤等多子產品的綜合效果進行測評，是以更有實戰性和挑戰性。本次，上海交通大學和中興通訊參加的 mot 16 challenge 測評，包含 7 段視角、場景、及長度各異的複雜視訊，不少視訊含有高密集目标及顯著遮擋，檢測和跟蹤的難度非常大。
上海交通大學和中興通訊的聯合研究團隊設計出了一種基于超平面比對的一體化多目标檢測與跟蹤算法。該方法将多目标跟蹤過程中的目标檢測、特征提取、關聯跟蹤等子產品有機地融入一個整體的架構進行聯合模組化，并通過各子產品間的資訊回報，有效地去除了跟蹤過程中的噪聲和幹擾。同時，為了進一步有效模組化多目标之間的互相關系，該方法進一步引入超平面來模組化各個目标局部軌迹片段間的時空關系，并通過超平面比對實作高精度的多目标跟蹤。
與現有多目标跟蹤算法普遍運作速度較慢不同，該算法采用了卷積資訊共用技術對算法進行加速，僅利用一次卷積操作，就可實作目标檢測、特征提取、及超平面建構等多個操作，可以實作實時的檢測與跟蹤。聯合團隊在中興通訊人工智能平台 usmartai 上進行了測試驗證，多目标跟蹤的處理速度達到 20 幀/秒以上。此外，該方法在 mot challenge 上測評的跟蹤準确度（multiple object tracking accuracy）達到了 71.3%，排名第一。
本次上海交通大學和中興通訊聯合研究團隊在多目标跟蹤方法上的突破，對于推動多目标分析的理論研究和實際應用，具有重要的意義。相關技術已用于中興通訊的部分産品中，相關論文的技術細節，也将在稍後發表。