文章：Robust Place Recognition using an Imaging Lidar
作者：Tixiao Shan, Brendan Englot, Fabio Duarte, Carlo Ratti, and Daniela Rus
編譯：點雲PCL（ICRA 2021）
開源代碼：https://github.com/TixiaoShan/imaging_lidar_place_recognition
本文來自點雲PCL部落客的分享，未經作者允許請勿轉載，歡迎各位同學積極分享和交流。
摘要
我們提出了一種使用雷射雷達生成的強度圖進行魯棒、實時位置識别的方法，利用雷射雷達的投影點雲并獲得強度圖，該方法可以生成高分辨率的三維點雲強度圖。從圖像中提取ORB特征描述子，并将其編碼到一個詞袋向量中，用于識别點雲的向量插入到資料庫中，該資料庫由DBoW維護，用于快速位置識别查詢，通過比對視覺特征描述子進一步驗證傳回的候選對象，為了剔除比對的異常值，這裡使用PnP方法，該方法使用RANSAC最小化了視覺特征在歐幾裡德空間中的位置及其在二維圖像空間中的對應關系的重投影誤差。結合了基于相機和雷射雷達的位置識别方法的優點，我們的方法具有真正的旋轉不變性，能夠處理閉環檢測。在不同規模和環境下從不同平台收集的資料集上對所提出的方法進行了評估。
介紹
位置識别在許多移動機器人應用中扮演着非常重要的角色，例如解決綁架機器人問題、在已知地圖中定位機器人以及保持同步定位和建圖（SLAM）的準确性。在過去的二十年中，各種各樣的位置識别方法已經在使用相機、雷射雷達和其他感覺傳感器解決此類問題方面取得了巨大的成功。基于攝像頭的位置識别方法通常從紋理場景中提取視覺特征，并使用詞袋的方法找到候選位置，但是，這些方法會受到照明和視點變化的影響。另一方面，基于雷射雷達的位置識别方法（通常從點雲中提取局部或全局描述子）對此類變化具有不變性，雷射雷達的長探測範圍和寬孔徑允許捕捉環境中的許多結構細節。然而，在描述子提取過程中，這些細節常常被丢棄，這可能導緻在被重複結構附近時出現誤報檢測，由于低雷射雷達分辨率的普遍存在，基于相機的方法通常不能應用于雷射雷達資料，相反，由于缺乏結構資訊，基于雷射雷達的方法通常不能應用于圖像資料中。
然而，随着高分辨率雷射雷達的出現，例如Outster OS1-128和Velodyne VLS-128，開始彌補了基于相機和基于雷射雷達的位置識别方法之間的差距。我們将這種提供圖像品質3D掃描點雲的高分辨率雷射雷達稱為成像雷射雷達，基于這項技術的前景，我們提出了一種使用成像雷射雷達進行魯棒位置識别的方法。首先将具有強度資訊的高分辨率點雲投影到強度圖像上，然後，從強度圖像中提取ORB特征描述子，提取的描述符子轉換成一個單詞包（BoW）向量，這形成了原始點雲的緊湊表示，使用這些向量建立DBoW資料庫，并查詢以進行位置識别。如果找到了候選對象，将比對ORB描述子，以確定這兩個位置之間能夠比對足夠的特征。為了剔除比對的異常值，我們通過應用透視n點（PnP）随機樣本一緻性（RANSAC）将比對問題描述為一個優化問題。該方法的一個代表性示例如圖1所示。
我們的工作結合了錄影機和基于雷射雷達的位置識别方法的技術，其主要貢獻如下：
- 為成像雷射雷達設計的實時魯棒位置識别，據我們所知，第一個使用投影雷射雷達強度圖像進行位置識别的方法。
- 該方法對傳感器姿态變化具有不變性，可檢測正向閉環，甚至反向閉環。
- 我們的方法通過跨不同規模、平台和環境收集的資料得到了廣泛驗證。
相關工作
我們的工作借鑒了基于相機和基于雷射雷達的位置識别方法中使用的概念。由于其低硬體成本要求和在紋理豐富的環境中的魯棒性，基于攝像頭的方法已廣泛應用于各種SLAM架構中，用于閉環檢測，此類方法通常從圖像中提取視覺特征描述子，并使用DBoW在預先訓練的視覺詞彙表上将其轉換為詞袋向量。假設圖像之間存在視覺重疊，DBoW查詢資料庫并基于向量之間的相似性得分傳回回環詞袋的候選對象。由于DBoW中的閉環候選對象容易出現錯誤檢測，是以還可以引入額外的驗證步驟來剔除此類檢測，例如，可以引入了幾何驗證方法，對視覺特征進行三角化，以驗證候選對象。然而，基于相機的方法的檢測性能在很大程度上取決于環境外觀，如果重新通路某個地方時亮度和視點發生劇烈變化，則它們無法提供可靠的檢測。
基于雷射雷達的位置識别方法可以分為直接方法和基于描述子的方法。盡管直接法可以在雷射雷達的原始點雲上操作，而無需任何預處理，但其性能對點雲資料大小、初始對齊位姿和遮擋非常敏感，是以，我們将重點讨論基于描述子的方法，它可以提供改進的比對魯棒性，基于描述符子的方法可以分為局部描述子方法和全局描述子方法。
主要内容
本文針對成像雷射雷達提出的位置識别方法執行一系列處理步驟包括：強度圖像投影、特征提取、DBoW查詢、特征比對和PnP RANSAC。圖2顯示了每個流程步驟的示例。
圖2：本文方法的示範：（a）高分辨率點雲顔色變化表示強度變化；（b） 從點雲投影的強度圖像；（c） 提取的ORB特征（綠點）和從DBoW查詢傳回的一對候選對象；（d） 兩個候選對象之間比對的ORB描述子；（e） PnP RANSAC異常值剔除後比對的ORB描述符。
A.強度圖像
來自雷射雷達的強度資訊表示雷射束傳回的能量值，該能量值通常受物體表面反射率的影響，并且對環境光保持不變，當接收到3D點雲P時，我們将其投影到圓柱形強度圖像I上，I中的每個有效像素都可以與P中的一個點相關聯，像素的值由接收點的強度值确定，然後，我們将所有像素值标準化為介于0和255之間，這基本上将強度圖像視為灰階圖像，使我們能夠使用強度圖像對其進行處理，沒有關聯有效點的像素被指定為零值，三維點雲的示例如圖2（a）所示，其中顔色變化表示強度變化，得到的強度圖像如圖2（b）所示，其中亮像素和暗像素分别對應于高強度值和低強度值。
B.特征提取
接下來對強度圖像I執行特征提取，假設雷射雷達傳感器可能會經曆劇烈的方向變化，這大大擴充了我們方法的應用場景，而不是假設固定的傳感器安裝解決方案，我們選擇提取ORB特征，因為它們的效率和對旋轉變化的不變性，ORB特征描述子是通過首先提取快速角點特征，然後使用簡短描述子對其進行描述獲得，由于傳感器的運動，在強度圖像中觀察到的物體的比例是傳感器和物體之間距離的函數，同樣，物體的外觀方向也受傳感器方向的影響，為了提高在不同尺度和方向上的提取魯棒性，采用下采樣率為1.2的八倍圖像金字塔來獲得八個不同分辨率的強度圖像，在每個圖像中使用快速算法檢測ORB特征，通過計算以特征為中心的圓形區域中的強度變化來确定特征的方向，然後使用簡短算法将角點特征轉換為描述子。
C.DBoW查詢
我們利用DBoW将ORB特征描述符O轉換為一個詞袋向量，使用DBow中提出的視覺詞袋表，此時3D點雲現在可以使用稀疏的詞袋向量高效地表示，該向量用于使用DBoW建構資料庫，當接收到一個新的詞向量時，我們通過使用L1距離計算新向量和先前向量之間的相似度來查詢資料庫，如果兩個向量之間的相似性大于門檻值λ ，說明找到了潛在的閉環候選。
D.特征比對
通常，DBoW查詢中的候選項包含許多錯誤檢測，為了驗證檢測，比對Oi和Oj中的描述子，注意到比對Oi和Oj中的每個描述子不僅計算量大，而且常常導緻大量錯誤比對，為了提高比對成功率，根據Oi的角點得分将所有描述子按降序排列，選擇角點得分最大作為最優的結果。
E.PnP RANSAC
如果DBoW查詢傳回的候選項不正确，仍然可以特征比對的過程中獲得足夠的比對項，為了進一步驗證候選項，我們将驗證問題表述為PnP問題。PnP知道Oi中特征的3D位置和Oj中特征的2D圖像位置，進而最小化3D點及其2D對應的重投影誤差，并估計i和j之間的相對傳感器位姿。為了提高PnP的穩健性，在這裡使用RANSAC來剔除比對中的異常值。圖2（e）顯示了異常值剔除後的正确特征比對。
實驗
現在我們描述了一系列實驗來定量分析所提出的方法，本文使用的傳感器是Outster OS1-128成像雷射雷達，傳感器的水準和垂直視野為360度 和45度，傳感器在兩個方向上的分辨率均為0.35度。當它在10Hz下工作時，進而産生分辨率為1024×128的強度圖像，将提出的方法與SC、ISC和IRIS進行了比較，所有的方法都是在C++中實作的，并在配備英特爾I7 10710U 1.1GHz CPU的筆記本上執行。
圖3：每種方法檢測到的閉環，資料集的軌迹是紅色的，綠點和藍色表示回環的閉合比對，其中綠點表示回路的位置。
圖4（a）顯示了我們的方法檢測到的四個具有代表性的回環。對于每個檢測，頂行和底行圖像訓示在目前和以前時間捕獲的強度圖像，比對的ORB特征使用綠線連接配接，第二個示例顯示了當我們将傳感器繞其前進軸旋轉近90度時的檢測結果，第三個和第四個示例顯示了我們的方法，該方法在傳感器倒置的情況下檢測閉合回路，即繞其前軸旋轉180度。注意，在第四個示例中，我們的方法從懸挂在走廊上的海報中提取特征，以幫助檢測。
圖4：使用我們的方法的十二個代表性回環檢測示例，對于每個示例，頂行和底行圖像分别訓示在目前和以前時間捕獲的強度圖像，比對的ORB特征使用綠線連接配接。
圖5：所有方法的ROC曲線和AUC，通過将報告的環路閉合檢測與地面真值環路閉合進行比較，得到了結果。在所有方法中，所提出的方法在各種資料集上實作了最高的AUC。
對于每種方法，每個資料集上每個查詢的平均計算時間如表I的最後一列所示。
不同分辨率雷射雷達檢測結果如表所示。當使用較少的雷射雷達通道時，檢測成功率顯著降低，這是因為從低分辨率強度圖像中提取的ORB特征數量有限，DBoW查詢和特征比對的性能相應降低。我們的方法對可用的雷射雷達分辨率非常敏感，最适合與高分辨率成像雷射雷達一起使用。
總結
我們提出了一種使用成像雷射雷達進行位置識别的新方法，該方法在各種環境下都具有魯棒性。我們的方法結合了基于相機和雷射雷達的位置識别方法的優點，與基于相機的方法類似，從3D點雲投影的強度圖像中提取ORB特征描述符，使用DBoW來表示點雲，使用詞袋向量，并運作位置識别查詢，這類似于基于雷射雷達的全局描述子方法。當從查詢中接收到候選對象時，進行ORB描述子比對以驗證其合法性，再使用PnP RANSAC剔除比對描述符中的異常值，在不同尺度的室内和室外環境中收集的資料集上對所提出的方法進行了評估，結果表明，與其他基于雷射雷達的位置識别方法相比，該方法具有更高的精度和魯棒性。
本文僅做簡單分享介紹，詳情可檢視具體論文！