天天看点

Cylinder3D:用于激光雷达点云数据分割的3D卷积网络(CVPR2021)

Cylinder3D:用于激光雷达点云数据分割的3D卷积网络(CVPR2021)

摘要

Cylinder3D:用于激光雷达点云数据分割的3D卷积网络(CVPR2021)

目前主流的激光分割的方法通常将点云投影到2D空间,然后利用2D卷积进行处理,这必定会丧失3D的拓扑与几何特征,一种有效的弥补则是采用3D体素化与3D卷积网络,然而在室外场景的点云数据下效果一般,其中很重要的因素就是稀疏性与变化的点密度。因此本文提出了一种用于室外点云分割的新构架,使用圆柱形划分与非对称3D卷积网络来保留3D几何及其固有的特性。另外还引入了基于单独三维点的改正模块,以减轻基于体素有损标签编码的干扰。本文方法占据SemanticKITTI的榜单,在nuScenes数据集上的效果优于现存方法,除此之外所提出的3D结构对激光全景分割与目标检测任务具有很好的泛化能力。

Cylinder3D:用于激光雷达点云数据分割的3D卷积网络(CVPR2021)

主要贡献

Cylinder3D:用于激光雷达点云数据分割的3D卷积网络(CVPR2021)
  1. 将室外激光雷达分割的重点从二维投影重新定位到3D结构,并进一步研究室外点云的固有特性(难点);
  2. 提出了一种新架构,通过柱形分区和非对称3D卷积网络,尽可能的保留3D几何模型,解决由于稀疏性与密度不均带来的问题。
Cylinder3D:用于激光雷达点云数据分割的3D卷积网络(CVPR2021)

方法流程

Cylinder3D:用于激光雷达点云数据分割的3D卷积网络(CVPR2021)
Cylinder3D:用于激光雷达点云数据分割的3D卷积网络(CVPR2021)

本文流程如上图所示,首先利用MLP提取每一个激光点的特征,这些特征通过柱形分区重新分配,利用非对称3D卷积网络生成体素化的结果,最后引入一个基于点的模块来改进输出。主要包括了三种网络模块:非对称下采样(AD)、非对称上采样(AU)以及基于维度分解的上下文建模(DDCM)。

Cylinder3D:用于激光雷达点云数据分割的3D卷积网络(CVPR2021)

上图显示了不同距离下柱形划分与立方体划分方式非空格网的统计分布情况,在一些较远的距离下柱形划分仍然能够很好的对空间进行划分。

Cylinder3D:用于激光雷达点云数据分割的3D卷积网络(CVPR2021)

上图为柱形分区的流程图,我们首先将笛卡尔坐标转换到柱形坐标系中,然后依据柱形分区将点特征整合到结构化表达中去。

Cylinder3D:用于激光雷达点云数据分割的3D卷积网络(CVPR2021)

上图展示了非对称残差模块,使用两个非对称核在水平和竖直方向进行卷积

Cylinder3D:用于激光雷达点云数据分割的3D卷积网络(CVPR2021)

无论是立方体还是柱体,有损的空间分区必定带来误分类编码,如上图所示,因此本文引入点对点的改正模块,首先将体素级别的特征投影到相应的点上,融合3D卷积前后的特征来优化结果。

Cylinder3D:用于激光雷达点云数据分割的3D卷积网络(CVPR2021)

实验结果

Cylinder3D:用于激光雷达点云数据分割的3D卷积网络(CVPR2021)
Cylinder3D:用于激光雷达点云数据分割的3D卷积网络(CVPR2021)
Cylinder3D:用于激光雷达点云数据分割的3D卷积网络(CVPR2021)

上表显示了在semanticKITTI和nuScenes数据集下的激光点云分割结果,针对一些稀疏的地物点云,本文方法能够很好的解决稀疏性与密度不均问题。

Cylinder3D:用于激光雷达点云数据分割的3D卷积网络(CVPR2021)

上表为各模块的消融实验

Cylinder3D:用于激光雷达点云数据分割的3D卷积网络(CVPR2021)
Cylinder3D:用于激光雷达点云数据分割的3D卷积网络(CVPR2021)

另外本文测试了不同种非对称残差模块,结果表明了水平与垂直卷积的有效性,高程信息的引入也提高了算法对稀疏性的处理能力。

Cylinder3D:用于激光雷达点云数据分割的3D卷积网络(CVPR2021)

为验证网络的泛化能力,本文增加了激光全景分割与三维目标检测的对比实验,在semanticKITTI的全景分割结果如上表所示,可以看出本文方法在某些指标上能够达到甚至超过SOTA。

Cylinder3D:用于激光雷达点云数据分割的3D卷积网络(CVPR2021)

本文通过改变3D检测网络的某些模块来验证柱形分区与非对称三维卷积的优势,在nuScenes上的结果表明了本文所提出模型的有效性。