基于DM8168高清視訊自動跟蹤子產品
AVT31是CASEVision公司最新的高清視訊自動跟蹤子產品，主要晶片為多核DSP TMS320DM8168和FPGA，視訊接口支援數字和模拟高清視訊接口,模拟接口支援RGB、YPbPr分量輸入,數字接口支援CameraLink，HDMI/DVI、SDI等數字視訊标準,最高分辨率支援[email protected]。AVT31是一款高性能低功耗小尺寸輕重量的嵌入式高清視訊自動跟蹤子產品，它提供了目标捕捉、自動跟蹤、多目标檢測和跟蹤、平台控制、OSD、圖像縮放平移旋轉、電子穩像、圖像增強、視訊融合、視訊壓縮存儲與網絡傳輸等強大功能，其開放式的系統結構，允許內建專門的特性和算法，使得其能夠滿足各種複雜的光電跟蹤應用。解決了光電跟蹤系統所需要的各種算法和技術問題，進而大大縮短了光電跟蹤系統的研制周期，并使系統性能和可靠性大大提高。
典型應用方案示意圖1，使用者使用自行設計的嵌入式主要子產品 + AVT31，建構自動視訊跟蹤系統。
典型應用方案示意圖2，使用者使用VTC81 + AVT31，建構自動視訊跟蹤系統。
典型應用方案示意圖3，使用者使用PC機 + AVT31，建構自動視訊跟蹤系統。
關鍵特征
- 突破傳統的視訊目标取差器的設計理念，融合捕獲和自動跟蹤兩種模式下的平台運動控制、傳感器視場和指向等諸多資訊對目标運動加以預測，使得跟蹤更加可靠平穩，并具有良好的普适性。是以，AVT31不是單純的視訊目标取差器，而是一個完整的自動視訊跟蹤系統解決方案。
- 内置多種圖像增強預處理算法：白熱、黑熱、雙極性、移動目标檢測等。
- 視訊捕獲：可根據目标的亮度、尺寸、外形比例、速度、運動方向等自動擷取目标。
- 視訊跟蹤：内置 質心、邊緣、多目标、相關、相位相關、場景鎖定等多種跟蹤算法，支援多目标自動檢測和多目标自動跟蹤；目标短暫丢失智能鎖定和重捕獲 算法。
- 可程式設計兩軸平台驅動控制（PID）；支援速率和位置控制。
- 算法的FPGA實作， 使得子產品具有極低的延遲：輸出偏差或平台運動參數延遲小于1幀時間，可同步輸出，也可即時輸出。輸出偏差的低延遲，大大提高系統動态性能，适合于快速目标的跟蹤 。
- 圖像處理功能： 基于場景鎖定的極低延遲實時電子穩像、圖像增強、視訊融合等算法 。
- 支援視訊壓縮、記錄、網絡傳輸等
- OSD功能，支援标準的和使用者自定義的字元和符号，如：跟蹤視窗、符号标記、瞄準線、狀态等等。
- 圖像平移、縮放和旋轉功能，以糾正傳感器安裝位置對視訊的影響。
- 支援固定視場、可切換視場、連續變化（ZOOM）視場的錄影機。
- 支援模拟RGB、YPbPr分量高清視訊輸入；支援CameraLink、HD-SDI、HDMI/DVI等高清數字視訊輸入。支援隔行/逐行視訊。最高分辨率可支援到[email protected]。
- 結構緊湊、功耗低。
原理框圖
外形圖
自動擷取目标
可根據目标的亮度、尺寸、外形比例、速度、運動方向等自動擷取目标。
跟蹤算法
質心跟蹤算法：這種跟蹤方式用于跟蹤有界目标，且目标與環境相比有明顯不同灰階等級，如空中飛機等。目标完全包含在鏡頭視場範圍内。
相關跟蹤算法：相關可用來跟蹤多種類型的目标，當跟蹤目标無邊界且動态不是很強時這種方式非常有效。典型應用于：目标在近距離的範圍，且目标擴充到鏡頭視場範圍外，如航行在大海中的一艘船。
相位相關算法：相位相關算法是非常通用的算法，既可以用來跟蹤無界目标也可以用來跟蹤有界目标。在複雜環境下（如地面的汽車）能給出一個好的效果。
多目标跟蹤算法：多目标跟蹤用于有界目标如飛機、地面汽車等。它們完全在跟蹤視窗内。對複雜環境裡的小目标跟蹤，本算法能給出一個較好的性能。
邊緣跟蹤算法：當跟蹤目标有一個或多個确定的邊緣而同時卻又具有不确定的邊緣，這時邊緣跟蹤是最有效的算法。典型如火箭發射，它有确定好的前邊緣，但尾邊緣由于噴氣而不定。
場景鎖定算法：該算法專門用于複雜場景的跟蹤。适合于空對地和地對地場景。這個算法跟蹤場景中的多個目标，然後依據每個點的運動，進而估計整個場景全局運動，場景中的目标和定位是自動選擇的。當存在跟蹤點移動到錄影機視場外時，新的跟蹤點能自動被辨別。瞄準點初始化到場景中的某個點，跟蹤啟動，同時定位瞄準線。在這種模式下，能連續跟蹤和報告場景裡的目标的位置。
組合跟蹤算法：顧名思義這種跟蹤方式是兩種具有互補特性的跟蹤算法的組合：相關類算法 + 質心類算法。它适合于目标尺寸、表面、特征改變很大的場景。
多目标跟蹤
多目标跟蹤算法可以跟蹤多于一個的目标，算法在跟蹤視窗範圍内，區分分離的目标，可跟蹤多達5個目标，目标的瞄準點是主要目标的質心，它通過捕獲目标符号來辨別，次要目标使用檢測目标标記來辨別。
低延遲
目标偏差或平台控制資訊的輸出于實時視訊的延遲時間小于或等于1場時間（PAL制場周期是20ms、NTSC制場周期是16.7ms），這種極低的延遲，使得控制系統的帶寬大大提高，提高系統的跟蹤精度和穩定性。偏差資訊或平台控制資訊的輸出可以有兩種方式：
- 在視訊消隐期同步輸出。
- 計算獲得偏差資訊或平台控制資訊後立刻輸出。
不同類型錄影機支援
典型視訊跟蹤系統的鏡頭可能是：熱成像傳感器（它帶有一個或多個固定視場）、帶ZOOM鏡頭的彩色CCD錄影機，或窄視場錄影機（一般用于定點觀察）。對于使用可變視場的多錄影機系統，AVT21提供了強大的支援，能實作視場變化時自動适應錄影機特性的變化，并保持視場和錄影機的切換不中斷自動跟蹤。
子產品支援多種視訊信号和标準：
- 隔行或逐行視訊
- 模拟高清視訊輸入：RGB或YPbPr分量
- 數字高清視訊輸入：CameraLink、HD-SDI、HDMI、DVI等
- 最大圖像尺寸：[email protected]
平台控制
AVT21控制平台運動有兩種模式：捕獲模式（也即手動控制平台）和自動跟蹤模式。
捕獲模式下的平台運動參數計算主要包括：對來自操作搖桿的運動資料進行死區、增益、操控特性形狀化等處理。 跟蹤模式下的平台運動參數計算主要包括：對目标偏差資料進行視場補償、增益調整、積分處理等。 平台運動控制算法是對來自兩種模式的運動需求，通過PID算法，以及平台死區和飽和控制，最終形成平台運動參數（速度、方向）的輸出。
視訊的旋轉平移縮放功能
圖像旋轉縮放平移用于補償錄影機的安裝位置，或者放大圖像。例如安裝在平台上的錄影機由于安裝造成圖像颠倒等。這時就可以使用這個功能把圖像旋轉180度就可以獲得符合習慣的圖像。
OSD
功能強大的OSD除了支援AVT31自身的一些狀态條、跟蹤視窗、靶心、目标标記等等資訊外，還支援使用者自定義的文本、圖形和符号等的輸出。OSD可以很友善地進行消隐和顯示控制。 有4個繪圖平面：跟蹤器文本、跟蹤器符号、使用者符号平面1、使用者符号平面
電子穩像 很多應用中，錄影機安裝在不穩定的平台上，如飛機、車、船等使用環境。且為了進行遠距離觀察，往往鏡頭視場小，這種情況下，輕微的機械振動會引起視訊比較大的抖動，進而影響視訊觀察探測，AVT31使用場景鎖定算法精确地測量場景的全局運動，實作電子穩像功能。
圖像增強
在煙、霧、霾、水氣、雨、雪、灰塵、昏暗等環境會使光電成像系統成像品質嚴重下降，圖像朦胧不清，目标難以辨識，嚴重影響監視和探測效果。圖像增強算法，顯著提升圖像視覺效果，使圖像變得清晰透亮，讓你看得更遠更清晰。
圖像融合算法
圖像融合技術是指将不同類型光電傳感器擷取的同一景物圖像進行幾何配準，然後采用一定的算法将各圖像中所含的資訊優勢或互補性有機結合起來，産生新的圖像，提高了光電系統的識别探測能力。 如圖，通過融合技術，将電視和熱像圖像融合到一起，使得在熱像視訊中能看到了燈光，而燈光等資訊對某些應用來說是非常重要的資訊。
應用執行個體
機載光電觀瞄系統 車載光電跟蹤系統 艦船光電跟蹤系統 火箭發射、飛機起降、實時炮彈自動視訊跟蹤系統 監視，如邊防監視跟蹤系統 炸彈等武器系統訓示器 武器系統評估 模拟器系統 軌迹分析 圖像比對 跟蹤系統自動校準 雷射系統對齊 目标空間測量 生物分析 其他應用場合的自動視訊跟蹤系統
關于高清視訊自動跟蹤的詳細介紹