天天看点

中科院自动化所分享----深度学习在3D点云处理的探索Brief3D representationspoint clouddatasetschallengesBrief review

Brief

 这里是视频连接,很新的一个分享,B站上还有很多类似的分享会,微软亚洲研究院的分享会也很有价值。这篇博客主要的内容是对此次分享的内容做一个简单的记录,对入门的自己了解这方面有一个不错的引导。

3D representations

  • multi-view
  • voxel
  • mesh ---->GNN
  • image+deapth
  • point-cloud----> gnn+cnn

point cloud

  • raw data
  • 3D shape
  • simple representation
  • open problem

datasets

  • princeton Modenet(1 k)
  • shapenet (2k)
  • partnet (CVPR19 很新,标注很新,新提出来,好没开始开发,而上述两个数据集已经精度很高了)
  • Stanford 3D indoor scence (8K,CVPR 16)
  • semantic 3D (ISPRS17 ,4 BILLION)
  • ScanNet (seg+det,CVPR17)
  • KITTI
  • nuScence(CVPR19,自动驾驶)

challenges

  • unordered —>置换排列不变性
  • rigid transform ---->刚性变换鲁棒性
  • large-scale data ---->高效性

Brief review

PointNet family

pointnet

中科院自动化所分享----深度学习在3D点云处理的探索Brief3D representationspoint clouddatasetschallengesBrief review
  • shared MLP+max pool(置换不变性) +T-NET(刚性变换铝棒性)
  • 没有局部范式,CNN是有局部的,因此后续出现局部特征提取的

pointnet++

中科院自动化所分享----深度学习在3D点云处理的探索Brief3D representationspoint clouddatasetschallengesBrief review
  • sampleing +grouping +Pointnet
首先是采样一些点,然后把这个点为中心选取一个局部,然后在对这些局部领域采用一个共享的pointnet 得到其特征表示,这个共享的pointnet就像是CNN的卷积核(体会共享的含义!!)

F-pointnet

中科院自动化所分享----深度学习在3D点云处理的探索Brief3D representationspoint clouddatasetschallengesBrief review

flowNet 3D,CVPR19(光流估计)

中科院自动化所分享----深度学习在3D点云处理的探索Brief3D representationspoint clouddatasetschallengesBrief review
  • set cov layer (类似pointnet++)+pointnet+upcov layer

Regular processing

voxelNet

中科院自动化所分享----深度学习在3D点云处理的探索Brief3D representationspoint clouddatasetschallengesBrief review

SPLATNet(CVPR18)

中科院自动化所分享----深度学习在3D点云处理的探索Brief3D representationspoint clouddatasetschallengesBrief review
中科院自动化所分享----深度学习在3D点云处理的探索Brief3D representationspoint clouddatasetschallengesBrief review
  • 双边卷积+高维晶格空间+哈希

PCNN (SIGGRAPH 18)!

中科院自动化所分享----深度学习在3D点云处理的探索Brief3D representationspoint clouddatasetschallengesBrief review
  • 没有损失的投影到grid空间
  • 理论性很强。

PointCNN (NIPS18)!!

中科院自动化所分享----深度学习在3D点云处理的探索Brief3D representationspoint clouddatasetschallengesBrief review
中科院自动化所分享----深度学习在3D点云处理的探索Brief3D representationspoint clouddatasetschallengesBrief review
  • end to end(优雅)
  • 卡房变换矩阵???(同时加权和置换,把输入的点云变成一个规范的表示,后许直接进行卷积)
  • 局部特征+升维特征

PointSIFT (arXiv18)!!

中科院自动化所分享----深度学习在3D点云处理的探索Brief3D representationspoint clouddatasetschallengesBrief review
中科院自动化所分享----深度学习在3D点云处理的探索Brief3D representationspoint clouddatasetschallengesBrief review

对每一个中心点,选择一个领域点。

沿着轴编码,按照顺序对后面的每一个轴进行特征卷积

scale-awared

SO-NET(cvpr18)!!

中科院自动化所分享----深度学习在3D点云处理的探索Brief3D representationspoint clouddatasetschallengesBrief review
中科院自动化所分享----深度学习在3D点云处理的探索Brief3D representationspoint clouddatasetschallengesBrief review
  • 自组织映射
  • 关键点
特征点映射

pointwise CNN(CVPR18)!!!

【图】

暴力规则化

Kd-Tree(ICCV17)

中科院自动化所分享----深度学习在3D点云处理的探索Brief3D representationspoint clouddatasetschallengesBrief review

encoder+decoder

FCPN(ECCV18) !

中科院自动化所分享----深度学习在3D点云处理的探索Brief3D representationspoint clouddatasetschallengesBrief review
  • 处理大量的点云,全卷积的范式
  • 3D grid+pointnet+3D CNN(和voxel很像)

graph-based modeing

DGCNN(TOG19)

中科院自动化所分享----深度学习在3D点云处理的探索Brief3D representationspoint clouddatasetschallengesBrief review
  • 边缘卷积,动态图网络

GCNN (MM18)

中科院自动化所分享----深度学习在3D点云处理的探索Brief3D representationspoint clouddatasetschallengesBrief review

Gan for point cloud (ICLR19) !!

【图】

Spectral graph conv

中科院自动化所分享----深度学习在3D点云处理的探索Brief3D representationspoint clouddatasetschallengesBrief review

谱域做卷积

superpoint Graphy(CVPR18) !!!!

中科院自动化所分享----深度学习在3D点云处理的探索Brief3D representationspoint clouddatasetschallengesBrief review
  • minimal partition +GCN

oversegmentation (CVPR18)!

上文的改进

Deep GCN(ICCV19)!!!

中科院自动化所分享----深度学习在3D点云处理的探索Brief3D representationspoint clouddatasetschallengesBrief review
  • 残差引入Graph learning

Convolution kernel

KC-NET(CVPR18)!!

中科院自动化所分享----深度学习在3D点云处理的探索Brief3D representationspoint clouddatasetschallengesBrief review
  • 定义核,不同的核对局部有不同的响应。

KPConv (arixv19) !!

中科院自动化所分享----深度学习在3D点云处理的探索Brief3D representationspoint clouddatasetschallengesBrief review

MCCNN

  • 蒙特卡洛卷积
  • 处理密度不一致的问题

PointConv(CVPR19)!

GeoCNN(CVPR19)!!

Tangent Conv(CVPR18)!!

  • 投影+插值

ACNN(CVPR19) !!

  • 环形卷积

pointWEB(CVPR19)

  • 不仅仅局部,每一个点也会探究和所有点之间的关系

Robutness

rigid transformation

  • data augmentation
  • align
T-net

sampling density

  • multi-sacle
  • 蒙特卡洛引入

一些研究(旋转不变性)

Sphenrical CNNS(ICLR 18 best paper)

CluesterNet (CVPR19)!!
  • 直接构造一组旋转不变性的工作

RS-CNN(CVPR19) !!!

DensePoint (ICCV19)

等把pointpillars的实验和改进搞定了再继续跟