【ipaper】Visual Odometry 和 Visual SLAM概述:第五部分

【ipaper】 An Overview to Visual Odometry and Visual SLAM: Applications to Mobile Robotics 第五部分

Localization

Stereo Vision Versus Monocular Vision

Stereo Visual Odometry

在雙目視覺中，在單個時間步長（

single time-step

）中通過三角測量重建3D資訊，同時觀察在空間上被已知基線距離分開的左右圖像的特征。在

Stereo VO

中，通過觀察兩個連續幀（

in both right and left images

）中的特征來估計運動。以下步驟概述了使用

3D to 2D

運動估計的

stereo VO

的常用過程：

• 1、在時間 I 中，提取并比對

  right frame

  FR(I) 和

  left frame

  FL(I) ，在3D中通過三角測量重構點（

  reconstruct points

  ）。
• 2、将這些功能與下一幀 FR（I + 1） 和 FL（I + 1） 中的相應功能相比對。
• 3、

  Estimate the transformation

  這個轉換（

  transformation

  ）給出了一個相機的圖像（左或者右邊）所觀察到的特征與将該轉換應用到了目前幀之後，前一幀重建的3D點之間的最小平方差（

  SSD

  ）(見公式二)：

公式二

• 4、使用

  RANSAC

  優化，僅基于内部點重新計算轉換。 （參見“

  Refining the Transformation Using ICP

  ”部分）
• 5、将獲得的變換與先前估計的全局變換連接配接起來。
• 6、在每一個疊代時間内，重複以上步驟。

Monocular Visual Odometry

對于通過三角測量在3D中重建特征點，需要在連續幀（時間分離幀）中觀察它們。在

monocular VO

中，需要在至少三個不同的幀中觀察特征點（觀察第一幀中的特征，重新觀察并在第二幀中三角形化為三維點，然後計算第三幀中的變換）。

monocular VO

的一個主要問題是尺度模糊問題。與雙目視覺系統不同，雙目視覺系統可以得到最開始的兩個幀的變換（旋轉和平移）而單目視覺中前兩個連續幀之間的變換并不能完全得到（比例未知），通常情況下将它設定為一個預定值。是以，重建的3D點以及對應的變換都是相對于前兩幀之間的初始預定義比例的。除非有關于3D結構或初始變換的附加資訊可用，否則無法獲得全局尺度。[89]講到，可以使用其他的傳感器（Imu，車輪編碼器，GPS）收集那些所需要的資訊。

monocular VO

和

stereo VO

的流程基本相似，但是

monocular VO

的特征點的三角測量發生在不同的時間（連續幀）

使用3D到2D運動估計的

monocular VO

的可能的過程在以下步驟中描述：

• 1、在

  time step

  I 中提取第一幀 FI 的特征，并且指定描述符。
• 2、提取下一幀 FI+1 的特征，并且指定描述符。
• 4、比對兩個連續幀之間的特征，使用5點算法（

  5-point algorithm

  ）[86]估計前兩幀之間的變換（使用預定義比例），并使用此變換對相應點進行三角測量（3D點将達到假設的比例）。
• 4、提取 接下來的 FI+2 幀的特征，将它與先前幀中提取的特征進行比對。
• 5、使用

  RANSAC

  優化比對并估計轉換，該轉換給出目前幀 FI + 2 中觀察到的特征與應用之後從前兩幀重建的重新投影3D點之間的最小平方差之和（SSD）（見方程2）。這個過程稱為透視N點（PnP）算法[74]。
• 6、使用估計的變換将

  FI + 1

  FI + 2

  之間的比對到的特征對三角化為3D點。
• 7、設定 I = I + 1 ，每次疊代從步驟4開始重複。

Visual Odometry Based on Optical Flow Methods

光流計算用作局部圖像運動的

替代測量

(

surrogate measurement

)。通過分析圖像平面中的運動對象的投影時空模式來計算光流，并且其在像素處的值指定該像素在連續圖像中移動了多少。

光流測量物體和觀察者之間的相對運動[47]，并且可用于估計移動機器人或相機相對于其環境的運動。

光流的計算基于強度一緻性（

Intensity Coherence assumption

）的假設,該假設表明投影在兩個連續圖像上的點的圖像亮度是（最嚴格的假設）常數或（最弱假設）幾乎恒定[7]。這種假設産生了衆所周知的光流限制：

光流限制

其中 Vx 和 Vy 是 x 和 y 光流分量。已經提出了許多使用運動限制方程來解決光流問題的算法（參見[115]以獲得目前方法的清單）。

計算出每個像素的2D位移 （u，v） 後，可以完全恢複3D錄影機運動。Irani等人.[60]描述了用于糾正相機的6DOF運動參數的等式，其包括三個平移 （Tx，Ty，Tz） 和三個旋轉分量 （Ωx，Ωy，Ωz）。他們的方法基于以下方程式：

公式六

其中 fc 是相機的焦距，（x，y） 是3D點 （X，Y，Z） 的圖像坐标。

假設深度Z是已知的，則存在六個未知數，并且至少需要三個點來完全限制變換。但是在許多情況下會添加額外的限制，例如在平面上移動，這樣會減少 DOF 和所需要的最少點數。

參考文獻

[7].Bab-Hadiashar, A., Suter, D.: Robust optic flow computation. Int. J. Comput. Vis. 29(1), 59–77 (1998)

[47].Gibson, J.: The Senses Considered as Perceptual Systems. Houghton Mifflin Co, Boston (1966)

[74].Lepetit, V., Moreno-Noguer, F., Fua, P.: EPNP: an accurate O(n) solution to the PnP problem. Int. J. Comput. Vis. 81(2), 155–166 (2009)

[86].Nister, D.: An efficient solution to the five-point relative pose problem. In: Proceedings of 2003 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, vol. 2, Part II, p. 195

[89].Nützi, G., Weiss, S., Scaramuzza, D., Siegwart, R.: Fusion of IMU and vision for absolute scale estimation in monocular slam. J. Intell. Robot. Syst. 61(1), 287–299 (2011)

[115].Xu, L., Jia, J., Matsushita, Y.: Motion detail preserving optical flow estimation. IEEE Trans. Pattern Anal. Mach. Intell. 34(9), 1744–1757 (2012)

[60]Irani, M., Rousso, B., Peleg, S.: Recovery of ego-motion using region alignment. IEEE Trans. Pattern Anal. Mach. Intell. 19(3), 268–272 (1997)

不足之處，敬請斧正; 若你覺得文章還不錯，請關注微信公衆号“SLAM 技術交流”繼續支援我們，筆芯：D。

相關推薦

【ipaper】 Visual Odometry 和Visual SLAM概述: 第四部分 【ipaper】 Visual Odometry 和Visual SLAM概述: 第三部分 【ipaper】 Visual Odometry 和Visual SLAM概述: 第二部分 【ipaper】 Visual Odometry 和Visual SLAM概述: 第一部分

如前面幾篇，Localization 已經講完了，下一篇開始講 Mapping，敬請期待吧 :D.