文章：Multi-modal curb detection and filtering
作者：Sandipan Das , Navid Mahabadi , Saikat Chatterjee , Maurice Fallon
編譯：點雲PCL
來源：arXiv 2022
本文僅做學術分享，如有侵權，請聯系删除。歡迎各位加入免費知識星球，擷取PDF論文，歡迎轉發朋友圈。内容如有錯誤歡迎評論留言，未經作者允許請勿轉載，歡迎各位同學積極分享和交流。
摘要
穩定可靠的道路路沿先驗資訊對于自動駕駛車輛導航是至關重要，本文提出了一種基于相機語義資訊和稠密的雷射雷達點雲融合的魯棒路沿檢測和濾波技術。通過融合多個雷射雷達擷取的點雲資料，以實作穩健的特征檢測。攝像頭語義資訊是基于改進的EfficientNet架構，該架構使用從車載魚眼攝像頭擷取的标記資料進行訓練，在使用魚眼模型投影到圖像空間後，使用L2範數分析将點雲與最近的路沿段相關聯起來。然後，使用基于密度的無監督空間聚類對所選點雲進行聚類，以檢測不同的路沿區域，當在連續幀中檢測到新路沿點時，它們将使用時間可達性限制與現有路沿簇相關聯，如果未找到可達性限制，則從這些新點形成新的路沿群集，這確定了我們可以檢測由多條車道組成的路段中存在的多個路沿，如果它們位于傳感器的視野範圍内。最後，将Delaunay濾波應用于離群點的去除，并将其性能與傳統的基于RANSAC的濾波進行了比較。使用包含從商業地圖供應商處獲得的地面真實限制點的高精地圖，對提出的解決方案進行客觀評估，該系統已被證明能夠在複雜的城市道路場景中檢測任何方向的路沿，包括直線道路、曲線道路和與交通島的交叉口。
主要貢獻
穩健的環境感覺是自動駕駛的一個基本方面，對道路安全和效率非常重要，并會影響路徑規劃、控制和定位等技術問題。高度動态的駕駛環境會給自動駕駛車輛帶來嚴重的安全挑戰。對象（靜止或移動）以及道路構造可能會更改道路的幾何圖形，并影響定位和路徑規劃性能下降。路沿是界定道路邊界，并為車輛導航提供有用資訊；是以，準确地檢測和跟蹤它們非常重要。在過去幾年中，已經提出了許多方法來使用單個傳感器或傳感器模式的組合來檢測和提取路沿特征，大多數路緣檢測系統使用雷射雷達和相機，雷射雷達傳感器經常用于檢測路沿特征，因為路沿本身具有幾何特征，還提出了基于視覺的處理技術，由于雷射雷達和視覺具有不同的故障模式，傳感器融合近年來變得很流行，它利用了兩種傳感器的最佳特性-相機圖像的語義資訊和雷射雷達的深度資訊。
圖1：頂部：資料采集車的路線，底部：使用提出的方法（藍點）和商業地圖供應商提供的地面真實路緣特征（綠點）檢測路沿特征
本文的工作屬于相機的語義資訊與雷射雷達深度的融合技術，在圖1中展示了我們提出的方法的結果。具體貢獻：
- 使用無監督DBSCAN聚類檢測和關聯多個路沿。
- 使用基于Delaunay的過濾方法去除異常值，與基于RANSAC的多項式拟合回歸限制相比，該方法需要更少的參數調整。
主要内容
傳感器的事先标定是傳感器融合的基本前提，此外，我們用特征關聯的融合技術的一個重要特征是：對雷射雷達點雲進行運動校正和變換，以便與可用相機幀的時間戳處記錄的資料等效，這有助于所有傳感器的資料都需要正确的時間同步。
圖2：位于采集車輛周圍的兩個前雷射雷達和四個攝像頭的FoV示意圖。然而，我們的實驗隻使用了兩個前置攝像頭，車輛基架B位于後軸的中心，雷射雷達的傳感器架構為LL和LR，分别代表左前和右前雷射雷達。GNSS的IMU架構表示為I
A，傳感器配置和參考幀
資料采集車由兩個雷射雷達和兩個攝像頭組成。傳感器的參考坐标系和視野（FoV）如圖2所示。車輛基架B位于車輛後軸的中心。雷射雷達和攝像頭的傳感器讀數在底架B中分别表示為LB k和CB k，其中k表示傳感器在車輛中的位置。例如，LL和LR表示左前和右前雷射雷達幀，來自GNSS的位姿資訊在UTM在世界幀中釋出，GNSS的IMU幀I如圖2所示，所有傳感器間轉換都是使用之前的校準參數執行。
B、 雷射雷達點雲的語義關聯
通過将投影後點雲與分割後的相機圖像語義資訊相關聯來提取雷射雷達的語義特征，利用訓練好的 Efficient-Net 模型進行圖像分割。
1） 語義分割的 Efficient-Net ：自AlexNet赢得2012年ImageNet競賽以來，卷積神經網絡（ConvNet）已越來越多地被用作圖像分割任務的标準，雖然更高的精度對于自動駕駛應用至關重要，但我們已經達到了使用ConvNets進行圖像分割任務的硬體記憶體限制。是以，進一步提高精度需要更高的效率。EfficientNet的作者指出，可以通過仔細平衡網絡深度、寬度和分辨率來實作模型縮放，進而在固定的計算資源量下獲得更好的性能。在此基礎上，我們使用了一種改進的EfficientNet體系結構進行語義分割。
表一：EfficientNet-B0基線網絡架構
EfficientNet架構如表I所示，為了将網絡輸出采樣到其原始輸入分辨率，解碼器架構中使用了雙線性插值，為了實作穩健性，我們在多種場景（城市駕駛、雪地條件、郊區）上訓練了EfficientNet模型，總體訓練準确率79.10%，平均IoU為0.495，對于路沿等級，精度為67.20%，IoU為0.557，樣本幀上的分割結果可以在圖3a中可視化。
圖3：與雷射雷達點雲的語義關聯圖示
2） 路沿語義與雷射雷達深度的關聯：安裝在我們平台上的攝像頭有魚眼鏡頭，是以，我們通過在圖像空間中對融合的lidar點進行魚眼投影來提取路沿點，并在±3像素的範圍内選擇更靠近路緣像素的點雲，最後，将路沿點重新投影回基架B坐标系下，圖3顯示了從語義關聯中提取路沿的結果。
C、 無監督聚類和濾波
由于各種原因，例如日志的同步品質、校準參數或相機投影模型，點雲關聯技術可能會給我們帶來噪聲點雲，為了去除異常值，可以根據路沿的幾何結構進行過濾，然而，由于我們事先不知道路沿的預定義數量，是以很難對提取的路沿點應用多項式拟合，為了克服這個問題，我們首先找到一組無監督聚類，并根據空間密度将新檢測到的路沿點關聯到相關聚類中。
1） 疊代聚類關聯：我們疊代選擇提取的路沿點雲，并應用無監督的空間聚類，簇的邊界點是距離簇質心最遠的點，如果新簇中邊界點的L2範數小于舊簇邊界點的預定義門檻值，則合并簇，此操作有助于識别路沿段的數量。圖4顯示了我們使用DBSCAN進行聚類的結果。
圖4：使用DBSCAN随機顔色的疊代特征點聚類表示檢測到的不同聚類結果
2） Delaunay濾波：
Delaunay四面體的Voronoi子圖是通過從計算的中心過濾大半徑的外接球體來計算的，這将删除點體積外的四面體并删除異常值，Voronoi子圖中連接配接起點和終點的最短歐氏路徑為我們提供了中軸，靠近中軸的點為我們提供了與路沿相對應的濾波點雲，該過程的圖示如圖5所示
圖5：使用Delaunay濾波的路沿點雲
實驗
A、 資料集
我們從Scania州一個裝有兩個雷射雷達和兩個前置攝像頭的自動公交站台收集資料，路線長度為1.5公裡，地面實況（GT）路沿特征由地圖供應商提供，所有傳感資料均采用PTP（精密時間協定）同步，并轉換為ROSPAGS進行評估，我們通過手動選擇相應的GT路沿點來評估生成的路路沿點，用于關聯的點雲選擇工具是使用open3d開發的，由于手動關聯是一個繁瑣的過程，我們還提出了一種自動評估叢集的機制，聚類算法在scikit learn軟體包中離線評估。
B、 手動分段關聯和評估
我們将地圖供應商的GT點分段關聯，為了評估效果，我們将多項式拟合到GT點，然後，我們從多項式中采樣點，并将其與Delaunay過濾點和RANSAC過濾點關聯，如圖6所示，我們計算評估名額的規範化L2範數（基于所選點數）。
圖6：通過應用RANSAC（藍色點）和Delaunay濾波（紅色點）提取路沿點
C、 自動分段關聯和評估
為了自動評估生成的路沿點，我們測量每個簇段的 Chamfer 距離（CD）。Chamfer 距離的定義為
我們還評估了不同無監督聚類算法的效果，包括 Agglomerative Clustering , BIRCH , DBSCAN 和 OPTICS，表II中報告了我們評估的CD和檢測到的過濾路沿點數量。
我們觀察到，對于手動和自動分段關聯，Delaunay過濾比基于RANSAC的通用過濾更接近GT點，因為Delaunay過濾的L2範數和CD低于RANSAC。我們還觀察到，與RANSAC相比，Delaunay濾波選擇的内部點較少。如圖6所示，入口與GT點更接近。我們得出結論，基于密度的無監督分段聚類算法最适合基于計算的CD拟合任意數量的路沿。
總結
本文提出了一種基于三維Delaunay四面體的多模态路沿檢測和建圖算法，我們示範了使用我們的聚類方法檢測任意數量的路沿，評估表明Delaunay濾波在抑制異常值去除方面優于傳統的基于RANSAC的濾波方法，為了進一步擴充這項工作，我們将研究在不同噪聲條件下中軸産生的不穩定性，我們還想将語義關聯擴充到其他基礎設施功能，如道路線、紅綠燈、人行道，我們正努力通過在反畸變的圖像上重新訓練語義分割模型，在開源資料集上測試我們的解決方案。