一种基于三维几何特征的刚体目标分割方法

每天一分钟，带你读遍机器人顶级会议文章

标题：Embedding 3D Geometric Features for Rigid Object Part Segmentation

作者：Yafei Song，Xiaowu Chen，Jia Li，Qinping Zhao

来源：International Conference on Computer Vision (ICCV 2017)

播音员：zzq

编译：陈世浪 周平(61)

欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申请授权

摘要

目标分割是计算机视觉中一个具有挑战性和基础性的问题。目标分割的困难主要是由于不同的视角、姿态和拓扑结构引起的。这些困难的主要原因是一个特定的对象是一个三维模型，而不是一个二维图形。因此，我们推测不仅二维的外观特征有作用，而且三维的几何特征同样是有用的。

考虑到这一点，作者提出了双通道的FCN方法。一个名为AppNet的通道是从输入图像提取二维外观特征。另一个名为GeoNet的通道则是提取三维几何特征。但是，输入仅仅只是一个图像。为此，作者设计了一个名为VolNet的网络，这种网络基于二维卷积神经网络并从三维体重提取三维的几何特征。作者之后采用了教师-学生策略，VolNet教GeoNet如何从图像中提取三维几何特征。为了完成这个教学过程，作者使用三维模型来合成训练数据。每个训练脚本由图像及其相应的体素构成。作者进一步提出了一种基于视角的体素化算法来实现对齐。

实验结果验证了作者的猜想和提出的二通道CNN、VolNet。

图1 算法框架

图2 算法效果对比图

Abstract

Object part segmentation is a challenging and fundamental problem in computer vision. Its difficulties may be caused by the varying viewpoints, poses, and topological structures, which can be attributed to an essential reason, i.e., a specific object is a 3D model rather than a 2D figure.Therefore, we conjecture that not only 2D appearance features but also 3D geometric features could be helpful.

With this in mind, we propose a 2-stream FCN. One stream, named AppNet, is to extract 2D appearance features from the input image. The other stream, named GeoNet, is to extract 3D geometric features. However, the problem is that the input is just an image. To this end, we design a 2D-convolution based CNN structure to extract 3D geometric features from 3D volume, which is named VolNet. Then a teacher-student strategy is adopted and VolNet teaches GeoNet how to extract 3D geometric features from an image. To perform this teaching process, we synthesize training data using 3D models. Each training sample consists of an image and its corresponding volume. A perspective voxelization algorithm is further proposed to align them.

Experimental results verify our conjecture and the effectiveness of both the proposed 2-stream CNN and VolNet.

如果你对本文感兴趣，想要下载完整文章进行阅读，可以关注【泡泡机器人SLAM】公众号（paopaorobot_slam）。

欢迎来到泡泡论坛，这里有大牛为你解答关于SLAM的任何疑惑。

有想问的问题，或者想刷帖回答问题，泡泡论坛欢迎你！

泡泡论坛：http://paopaorobot.org/forums/

泡泡机器人SLAM的原创内容均由泡泡机器人的成员花费大量心血制作而成，希望大家珍惜我们的劳动成果，转载请务必注明出自【泡泡机器人SLAM】微信公众号，否则侵权必究！同时，我们也欢迎各位转载到自己的朋友圈，让更多的人能进入到SLAM这个领域中，让我们共同为推进中国的SLAM事业而努力！