天天看點

深度相機分類:TOF、RGB雙目、結構光 對比分析

目前的深度相機根據其工作原理可以分為三種:TOF、RGB雙目、結構光

一、RGB雙目

RGB雙目相機因為非常依賴純圖像特征比對,是以在光照較暗或者過度曝光的情況下效果都非常差,另外如果被測場景本身缺乏紋理,也很難進行特征提取和比對。你看看下面的圖就懂了。

深度相機分類:TOF、RGB雙目、結構光 對比分析

三種相機的參數對比:

深度相機分類:TOF、RGB雙目、結構光 對比分析

從分辨率、幀率、軟體複雜度、功耗等方面來考慮

(1)分辨率

    TOF方案深度圖分辨率很難提高,一般都達不到VGA(640x480)分辨率。比如Kinect2的TOF方案深度圖分辨率隻有512x424。而Google和聯想合作的PHAB2手機的後置TOF深度相機分辨率隻有224x171。TOF方案受實體器件的限制,分辨率很難做到接近VGA的,即使做到,也會和功耗呈指數倍增長。

    結構光的分辨率在較近使用範圍内,結構光方案的分辨率會大大高于TOF方案。比如目前結構光方案的深度圖最高可以做到1080p左右的分辨率了。

(2)幀率

    幀率的話,TOF方案可以達到非常高的幀率,差不多上百fps吧。結構光方案幀率會低點,典型的是30fps,不過這也基本夠用了。

(3)軟體複雜度

    結構光因為需要對編碼的結構光進行解碼,是以複雜度要比直接測距的TOF高一些。

(4)功耗

    TOF是雷射全面照射,而結構光是隻照射其中局部區域,比如PrimeSense的僞随機散斑圖案,隻覆寫了不到十分之一的空間。另外,TOF發射的是高頻調制脈沖,而結構光投射圖案并不需要高頻調制,是以結構光的功耗要比TOF低很多。還是以僞随機散斑結構光為例,結構光方案功耗隻有TOF的十分之一不到吧。

    下面是三種方案在分辨率,幀率,軟體複雜度和功耗方面的對比結果。

深度相機分類:TOF、RGB雙目、結構光 對比分析

 結構光方案還有一個優勢在于技術成熟,PrimeSense很早就把結構光技術用在kinect一代産品中了。目前結構光技術有如下幾種變種:一種是單目IR+投影紅外點陣,另外一種是雙目IR+投影紅外點陣,這樣相當于結構光+雙目立體融合了,深度測量效果會比前者好一些,比如Intel RealSense R200采用的就是雙目IR+投影紅外點陣,不足之處就是體積較大。而單目IR+投影紅外點陣的方案雖然體積較小,但是效果會差一點。

(5)計算複雜度

    計算方式也分幾種:一是直接用ASIC(專用內建電路)進行計算,成本稍微高一點,但是處理速度快,支援高幀率和高分辨率深度相機,關鍵是比通用晶片功耗低。二是DSP+軟體算法,成本跟用ASIC差不多,但支援不了高幀率高分辨率,功耗比ASIC稍高。三是直接用手機的AP(Application Processor)進行純軟體計算,這個不需要額外增加硬體成本,但是比較消耗AP的計算資源。同樣也不支援高幀率高分辨率,功耗比較大。

深度相機分類:TOF、RGB雙目、結構光 對比分析

  iPhone X的深度相機技術方案:結構光原理的深度相機。具體來說是:單目IR+投影紅外點陣+ASIC方案。該方案在深度分辨率、深度測量精度上有較大優勢,實時性處理和全天候工作也都有保障,功耗也相對較低,就是成本稍高了一些。

深度相機分類:TOF、RGB雙目、結構光 對比分析

 9月13日蘋果釋出了緻敬十周年的新機型iPhone X,其中前置原深感(TrueDepth)相機引起了極大的輿論關注。該相機的構成如下圖所示。從左到右,依次是紅外鏡頭、泛光感應元件、距離傳感器、環境光傳感器、揚聲器、麥克風、700萬像素攝像頭、點陣投影器。其中最有裡程碑意義的當屬紅外鏡頭 + 點陣投影器 + RGB攝像頭的組合。

繼續閱讀