文章：OmniSLAM: Omnidirectional Localization and Dense Mapping for Wide-baseline Multi-camera Systems
作者：Changhee Won, Hochang Seok , Zhaopeng Cui , Marc Pollefeys , and Jongwoo Lim
翻譯：分享者
本文僅做學術分享，如有侵權，請聯系删除。
論文閱讀子產品将分享點雲處理，SLAM，三維視覺，高精地圖相關的文章。公衆号緻力于了解三維視覺領域相關内容的幹貨分享，歡迎各位加入我，我們一起每天一篇文章閱讀，開啟分享之旅,有興趣的可聯系微信[email protected]。
●論文摘要
本文提出了多魚眼相機的定位和稠密SLAM系統，該系統使用超大視角（FOV）魚眼相機，可以360°覆寫環境的立體環境。為了更實用、更精确的重建，首先引入改進的、輕量的深度神經網絡來進行全方位深度估計，它比現有的網絡更快、更精确。其次，将魚眼相機深度估計整合到視覺裡程表（VO）中，并添加一個循環閉合子產品以實作地圖全局一緻性。利用估計的深度圖，我們将關鍵點重新投影到另一個視圖上，進而得到一個更好、更有效的特征比對過程。最後，我們将魚眼相機深度圖和估計的姿态融合到TSDF中，得到三維地圖。評估了方法在具有真值和資料集上的性能，大量的實驗表明，該系統在合成和真實環境中都能産生良好的重建效果。
上圖：輸入具有挑戰性的室内環境的示例圖像。下圖：一棟複式建築的稠密重建圖，帶有估計的軌迹。軌迹的顔色代表高度值。
● 相關工作與介紹
主要貢獻總結如下：
（i） 提出了一種輕量化和改進的網絡魚眼相機的深度估計。網絡的精度、參數個數、運作時間等都比以前的版本有了很大的提高，使本系統更加實用。
（ii）通過将深度圖內建到ROVO（魯棒的視覺裡程計）中，并增加回環閉合子產品，建構了一個魯棒的全向視覺SLAM系統。在具有挑戰性的室内和大型室外環境中，估算的軌迹精度比以前的版本有所提高。
（iii）提出了一個完整的全方位定位和稠密地圖系統，并在合成環境和真實的室内外環境中進行了大量的實驗，結果表明我們的系統能夠為各種場景生成重建良好的三維稠密地圖
系統的流程圖。首先使用給定的魚眼圖像估計深度圖和位姿。如果可用，深度圖将內建到視覺裡程計中。将輸出深度圖和位姿融合到TSDF中，以建構3D地圖。在後處理過程中，利用回環子產品修正後的姿态建立全局一緻的地圖。
● 内容精華
A、 全深度估計
采用端到端網絡OmniMVS，并在此基礎上提出了Light-weighted OmniMVS。
B、視覺SLAM
定位也是三維稠密SLAM的重要組成部分，根據提出的ROVO[14]對全向立體魚眼相機系統的姿态進行了穩健估計。在文章中，ROVO有四個步驟：魚眼相機的投影、跟蹤和比對、姿态估計和聯合優化。首先，将輸入的魚眼圖像進行視覺矯正，在投影圖像中檢測到球的特征。其次，利用KLT對檢測到的球體特征進行光流跟蹤，并在相鄰錄影機之間進行特征比對。然後，跟蹤上的特征被三角化到每個對應的3D點。第三，利用2D-3D特征對應關系，利用多視點P3P-RANSAC初始化姿态，并通過pose only bundle平差（BA）進行優化。最後，利用局部光束平差（LBA）同時對估計的姿态和觀測到的三維點進行優化。
C. 基于TSDF稠密地圖
為了獲得全局的3D地圖，将估計的全深度圖和姿态融合到TSDF中。
● 實驗
稠密地圖結果的評估。頂部：完整性，底部：準确性。圖例中顯示了每種方法的平均比率。我們使用OmniMVS[15]、OmniMVS+和Tiny+作為深度；GT軌迹、ROVO[14]和ROVO+用于姿勢。
我們對Wangsimni資料集是否有閉環檢測的影響對比。與檢測到的回路閉合的軌迹比較結果。
資料集的稠密SLAM結果。
（a）光照強烈的環境下。綠色代表GT地圖。我們的ROVO+減少了估計姿态的漂移誤差。
（b） 車庫環境下。綠色表示前攝像頭的估計軌迹
Wangsimni資料集的定性結果。左圖：在衛星圖像上垂直投影的估計軌迹。右：對應的稠密映射結果。我們将直方圖均衡化應用于頂點顔色的可視化。
●總結
本文提出了一種适用于多魚眼相機的定位與稠密地圖的SLAM系統。該方法在參數較少的情況下，快速、準确地估計出全方位深度圖。然後将輸出深度圖內建到視覺裡程計中，提出的視覺SLAM子產品實作了較好的姿态估計性能。實驗表明，該系統能夠生成良好的合成環境和真實環境三維地圖。