点击上方“CVer”，选择加"星标"或“置顶”
重磅干货，第一时间送达
本文转载自：机器之心 参与：杜伟
近年来，3D 计算机视觉和人工智能两个领域都取得了飞快的发展，但二者之间如何实现有效的结合还有很长的路要走。基于此，英伟达于今日推出了 Kaolin PyTorch 库，借助于这个库，只需几步即可将 3D 模型迁移至神经网络的应用范畴。
此外，Kaolin 库还可以大大降低为深度学习准备 3D 模型的工作量，代码可由 300 行锐 减到仅仅 5 行。 作为一个旨在加速 3D 深度学习研究的 PyTorch 库，Kaolin 为用于深度学习系统中的可微 3D 模块提供了高效的实现。 Kaolin 不仅能够加载和预处理流行的 3D 数据集，而且具有操作网格、点云、符号距离函数和体素栅格(voxel grid)的本地功能，因而可以减少编写不必要的样本代码。 Kaolin 库包含渲染(rendering)、高光(lighting)、暗影(shading)和视图合成(view warping)等几种不同的图形模块。 此外，Kaolin 库还支持一系列用于无缝衔接评价(seamless evaluation)的损失函数和评价度量，并提供可视化功能来渲染 3D 效果。 重要的是，英伟达创建了包含诸多当前最优 3D 深度学习架构的 model zoo，从而作为未来研究的起点。 此类工具可以使得机器人、自动驾驶、医学成像和虚拟现实等诸多领域的研究者获益。 随着人们对 3D 模型的兴趣日益高涨，英伟达的 Kaolin 库可以在该领域产生重大影响。 在线存储库(repo)现已拥有很多 3D 数据集，这在一定程度上得益于世界各地所使用的、能够捕获 3D 图像的约 3000 万个深度摄像头。
GitHub 地址：https://github.com/NVIDIAGameWorks/kaolin/
那么 Kaolin 库的具体展示效果是怎样的呢？ 英伟达给出了以下几个实际应用示例：
在 3D 场景中，通过分类功能来识别对象(图中识别出了椅子)。
3D 组件分割功能可以自动识别 3D 模型的不同组件，这使得「装备」动画角色或自定义模型以生成对象变体更加容易(图左的 3D 模型在图右穿上了衣服、鞋子等)。
图像到 3D(Image to 3D)功能可以根据训练的神经网络识别出的图像来构建 3D 模型(图右生成了椅子的 3D 模型)。 目前，英伟达推出的 beta 版 Kaolin 库包含几项处理功能，用于网格、体素、符号距离函数和点云上的 3D 深度学习。 加载的几个流行的数据集(如 ShapeNet、ModelNet 和 SHREC)支持开箱即用。 此外，英伟达还实现了几种 3D 迁移和转换操作。 Kaolin 库支持的 3D 任务如下：
- 可微渲染器(神经网格渲染器、软光栅化器(Soft Rasterizer)、基于可微插值的渲染器以及模块化和可扩展的抽象可微渲染器规范)；
- 基于单张图像的网格重建(如 Pixel2Mesh、GEOMetrics、OccupancyNets 等)；
- 点云分类和分割(PointNet、PoinNet++、DGCNN 等)；
- 网格分类和分割；
- 体素栅格的 3D 超分辨；
- 基本的图像处理(如高光、暗影等)。
Kaolin 库的安装与使用 支持的平台 Kaolin 已经获得了 Linux 平台的官方支持，并已在 Ubuntu 18 上进行构建和测试。 Windows 和 Mac 平台上也应考虑展开试验性的支持。 安装步骤 英伟达推荐用户在虚拟环境中安装 Kaolin 库(如利用 conda 或 virtualenv 创建的虚拟环境)。 Kaolin 要求 Python 版本在 3.6 以上，并且目前在构建时需要启用 CUDA 的机器(即需要安装 nvcc)。 首先创建一个虚拟环境。 下例展示了如何为创建安装 Kaolin 库所需要的 conda 虚拟环境：
$ conda create --name kaolin python=3.6 $ conda activate kaolin
接着安装相关依赖(numpy 和 torch)。 注意，设置文件并不能自动安装这两种依赖。
conda install numpy
然后安装 Pytorch，这样就可以安装 Kaolin 库了。 最后根据 repo 的根目录(即包含 README 文件的目录)，运行：
$ python setup.py install
在安装过程中，packman 包管理器将 nv-usd 包下载到~/packman-repo/中，后者包含阅读和编写通用场景描述(Universal Scene Description,USD)文件的必要包。 验证安装 为了验证是否安装完成 Kaolin 库，用户可以启动 python 解释器，并执行以下命令：
>>>import kaolin as kal>>> print(kal.__version)
创建文档 为深入研究 Kaolin 库，用户可以创建文档。 根据 repo 的根目录(即包含 README 文件的目录)，执行以下命令：
$ cd docs $ sphinx-build . _build
运行单元测试 为运行单元测试，用户可根据 repo 的根目录(即包含 README 文件的目录)执行以下命令：
$ pytest tests/
Kaolin 库的主要功能模块 repo： 支持的 3D 资产表征包括三角网格、四边形网格、体素栅格、点云和符号距离函数； 转换： 支持所有流行 3D 表征的转换； 实现的模型包括：
- DGCNN (https://arxiv.org/abs/1801.07829v1)
- DIB-R (https://arxiv.org/abs/1908.01210)
- GEOMetrics (https://arxiv.org/abs/1901.11461)
- Image2Mesh (https://arxiv.org/abs/1711.10669)
- Occupancy Network (https://arxiv.org/abs/1812.03828)
- Pixel2Mesh (https://arxiv.org/abs/1804.01654)
- PointNet (https://arxiv.org/abs/1612.00593)
- PointNet++ (https://arxiv.org/abs/1706.02413)
- MeshEncoder: A simple mesh encoder architecture.
- GraphResNet: MeshEncoder with residual connections.
- OccupancyNetworks (https://arxiv.org/abs/1812.03828)
- 其他
图形： 库为构建可微渲染器提供了灵活的模块化框架，使得单个组件易于实现替换。 此外，Kaolin 库还提供了以下可微渲染器的实现：
- DIB-R (https://arxiv.org/abs/1908.01210)
- SoftRas (https://arxiv.org/abs/1904.01786)
- Neural 3D Mesh Renderer (https://arxiv.org/abs/1711.07566)
度量：实现的度量和损失函数如下：
- Mesh: Triangle Distance, Chamfer Distance, Edge Length regularization, Laplacian regularization, Point to Surface distance, Normal consistency
- Point Cloud: Sided Distance, Chamfer Distance, Directed Distance
- Voxel Grid: Intersection Over Union (3D IoU), F-Score
参考链接： https://news.developer.nvidia.com/kaolin-library-research-3d/?ncid=so-twit-97892#cid=nr01_so-twit_en-us
重磅！CVer学术交流群已成立
扫码添加CVer助手，可申请加入CVer-目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪&去雾&去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索等群。一定要备注：研究方向+地点+学校/公司+昵称(如目标检测+上海+上交+卡卡)
▲长按加群
▲长按关注我们
麻烦给我一个在看！