論文分享沙龍 2020第02期
分享人：中國礦業大學碩士生 郭睿
研究方向： 計算機視覺 | 3D點雲分割
論文标題：OccuSeg: Occupancy-aware 3D Instance Segmentation(感覺占用的3D執行個體分割)論文來源：ICCV 2020研究方向：3D點雲分割論文下載下傳：https://arxiv.org/pdf/2003.06537.pdf
1. 背景
3D執行個體分割，在機器人技術和增強現實技術中有多種應用，是當今的大需求。不同于2D圖像是環境的投影觀察，3D模型提供了場景的度量重建，沒有遮擋或比例模糊。在本文中，我們定義“三維占用大小”，即每個執行個體所占用的體素數。在此基礎上，提出了一種基于占位感覺的三維執行個體分割方案OccuSeg.
2. 方法
提出了一種基于占用感覺的三維執行個體分割方法OccuSeg。以三維幾何模型為輸入，逐點預測執行個體級語義資訊，如圖1所示。鑒于三次元量空間比基于2D圖像的投影觀察提供了更可靠的感覺，我們特别引入了3D占用信号，表示每個執行個體所占用的體素的數量。這樣的占位信号代表了每個3D執行個體的内在和基本屬性，顯示了處理三維設定下尺度、位置、紋理、光照和遮擋的模糊性的強大潛力。是以，我們将新的占用信号編碼到傳統的三維執行個體分割管道中，即學習階段，聚類階段。在我們的占位感覺方法中，學習和聚類階段都充分利用了占位信号的特征，進而在公共資料集上實作了競争性能。在地圖上的相當大的增益(約12.3)進一步證明了我們的占領意識方法在儲存執行個體的内在和基本性質在三維環境的優勢。
主要創新點:
- 提出了一種基于占用感覺的3D執行個體分割方案OccuSeg。它在三個公共資料集上實作了最先進的性能。
- 特别地，本文提出了一種新的占用信号，它可以預測每個執行個體中被占用的體素數。将特征與空間嵌入相結合，共同學習占用信号，用于引導聚類階段的3 d執行個體分割。
2.1 多任務學習
2.1.1 內建學習
我們主要觀察到的是，雖然空間嵌入是可感覺尺度的，并且有明确的實體解釋，比如從目前體素到其所屬執行個體的空間中心的偏移向量，但特征嵌入存在固有的模糊尺度，是以必須使用額外的代價函數進行規則化。
空間術語。第i個體素的空間嵌入di是一個回歸到對象中心的三維向量，使用以下空間術語進行監督:
功能項。特征嵌入si是通過判别損失函數來學習的，該函數包括三個項
協方差項的目的是學習每個執行個體的最優聚類區域。
得到聯合項：
2.1.2、入住率回歸
為了利用3D設定下的占用資訊，對于第c個執行個體中的第i個體素，我們預測為正的值oi表示目前執行個體占用的體素數量。然後，oi的平均值将作為目前執行個體的預測占用大小。為了更可靠的預測，我們回歸對數而不是原始值，并形成以下占用項
為了評估我們的占用預測政策的可行性，我們使用相對預測誤差Rc來衡量第c個執行個體的占用預測性能，
2.2、執行個體叢集
在本節中，基于上一階段的多表示學習，引入了一種基于圖的占位感覺聚類方案來解決推理過程中的三維執行個體分割問題。具體來說，我們采用自底向上的政策，使用高效的基于圖的分割方案将輸入的體素分組為超體素。與二維空間中的超像素表示相比，超體素表示可以更好地分離不同的執行個體，而三維空間中的執行個體邊界由于采用了幾何連續，更容易識别。
3. 實驗與分析
作者在ScanNetV2、S3DIS和SceneNN資料集上做了廣泛的實驗
4. 總結
提出了一種基于占用感覺的三維執行個體分割方法OccuSeg。主要有兩個創新點：提出了一種基于占用感覺的3D執行個體分割方案OccuSeg。它在三個公共資料集上實作了最先進的性能。提出了一種新的占用信号，它可以預測每個執行個體中被占用的體素數。将特征與空間嵌入相結合，共同學習占用信号，用于引導聚類階段的3d執行個體分割。在現有的資料集上均達到了state-of-art水準。
排版編 輯 ： 倪 文 鑫 綜合策劃：何 欣