近年来，深度学习技术在语音识别和图像处理领等领域取得了突出的成果，然而在三维几何处理领域的突破相对较少。其中一个本质的困难在于在三维几何处理领域缺乏像二维图像一样规则的定义域和特征。中科院计算所的高林等人长期从事三维几何处理的研究工作，相继提出了两种适于深度学习的三维模型特征[1][2]。基于这些特征，谈清扬同学与高林博士等人经过联合攻关，系统的提出了三维模型的变形分析方法。三维模型的变形可以分为全局变形和局部变形。以人体三维模型的变形为例，人的身高、体重的变化引起的变形是全局的；人的肢体动作的变化引起的变形是局部的。这两种类型的变形反映了三维模型的主要变形模式。针对全局变形，他们结合RIMD特征[1]与变分自编码器提出了一个新型的网络（MeshVAE）对三维模型的全局变形进行分析；针对局部变形，他们通过使用稀疏性描述变形的局部性，在卷积网络上定义稀疏性来对三维模型的局部变形进行分析。这些工作分别发表在CVPR 2018与AAAI 2018上。
得益于“中国科学院大学生创新实践训练计划”，国科大的优秀本科生可以进入各个研究所进行实习，谈清扬同学就是在该计划（基于RGBD相机的人体运动捕获，项目负责人是夏时洪研究员与高林副研究员）的支持下进入中科院计算所进行客座研究。 基于研究所在领域内领先的研究基础和研究所内专家的指导，谈清扬同学针对当前深度学习的热点和难点问题开展研究。具体而言，对三维模型变形分析问题开展了系统的研究，并取得了一系列的研究成果。这对于本科生来言非常难得，也体现了国科大“高水平的科学研究中培养高质量人才”的本科生培养体制成效显著。
论文：基于变分自编码器的网格变形分析
摘要
随着三维模型库规模的飞速发展，如何对三维模型进行分析成为重要的研究课题。在本文中，我们使用深度神经网络对三维模型的变形数据库进行分析。这些数据库包含了大尺度与非线性的三维模型变形。我们的首次提出了一种基于变分自编码器的网络结构对三维模型变形数据库进行分析，探索其本质的变形隐空间。该网络易于训练，并且需要的训练模型较少。此外，我们将该模型进行了推广，使得通过对先验分布进行调整来得到反映模型主要变形的特征。大量实验结果表明，我们的方法可以学习到变形模型库的本质的分布并能在其他应用中生成具有竞争力的结果，其中包括三维模型生成，三维模型插值，三维模型数据库嵌入和浏览。基于该网络，在这些应用中我们的方法都优于经典的方法。
上图中显示了基于本文的方法可以生成高质量的三维模型。第一样显示了基于MeshVAE随机生成的高质量的三维模型。第二行显示了基于 Conditional MeshVAE生成的高质量的三维模型，给定性别女和BMI指数29.8可以生成满足这些指标的高质量的三维模型。
上图显示了基于本文的方法可以生成高质量的三维模型插值的结果。 第一行是是使用RIMD特征[1]直接线性插值的结果，第二行是经典的数据驱动的模型插值方法的结果[3], 第三行是本文的结果。可以看出在对具有大尺度变形的模型进行插值时，上面两行的结果有自交或者不自然的结果出现，而本文的方法的结果是自然合理的。
上图显示了基于本文的方法可以有效的对三维模型库进行低维嵌入与可视化。该数据库中包含了具有不同的动作以及形态的三维人体模型。使用本文中的方法可以获得一个维度中获得超过一维的变形模式。当使用二维进行可视化时，本文中的方法可以有效的将模型根据不同的形态区别开来，并且使得具有相同动作的模型距离的比较近，并且没有大量的空白并浪费空间。而已有的方法，如PCA，NPE，t-SNE, 存在浪费可视化空间，以及不能对模型进行有效区分的缺点。
Reference：
[1] Lin Gao, Yu-Kun Lai, Dun Liang, Shu-Yu Chen, Shihong Xia. Efficient and Flexible Deformation Representation for Data-Driven Surface Modeling. ACM Transactions on Graphics. 2016, 35(5), 158:1--158:17
[2] Lin Gao, Yu-Kun Lai, Jie Yang, Ling-Xiao Zhang, Leif Kobbelt, Shihong Xia. Sparse Data Driven Mesh Deformation. 2017, arXiv:1709.01250
[3] Lin Gao, Shu-Yu Chen, Yu-Kun Lai, Shihong Xia. Data-Driven Shape Interpolation and Morphing Editing. Computer Graphics Forum, 2017, 36(8), 19-31
原文发布时间为：2018-04-2
本文作者：闻菲
本文来自云栖社区合作伙伴新智元，了解相关信息可以关注“AI_era”微信公众号