【泡泡一分钟】语义信息多视图表面细化

每天一分钟，带你读遍机器人顶级会议文章

标题：Semantically Informed Multiview Surface Refinement

作者：Maros Blaha, Mathias Rothermel, Martin R. Oswald, Torsten Sattler, Audrey Richard, Jan D. Wegner, Marc Pollefeys, Konrad Schindler

来源：International Conference on Computer Vision (ICCV 2017)

编译：杨雨生

审核：颜青松  陈世浪

欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申请授权

摘要

 作者提出了一种方法，来联合细化三维表面网格的几何信息及语义分割。作者的方法交替更新形状和语义标签。在几何细化的步骤，网格随着变分能量最小化发生变形，使得他能够同时最大化光学一致性，以及在一组标定好的图片中，最大化语义分割的兼容性。特定标签的形状考虑了三维空间中几何形状与语义标签之间的相互关系。在语义分割的步骤，网格上的标签根据马尔可夫随机场（MRF）的推理进行更新，因此他们与输入图像中的语义分割相兼容。此外，该步骤包括之前对于不同语义种类的表面形状的假设。这种先验的假设会导致语义信息与形状信息之间紧密的耦合，语义信息将会对形状的更新产生影响，反之亦然。具体来说，作者引入的先验包括，（1） 自适应平滑，取决于类标签；（2）各类之间的边界清晰；（3）与表面方向相一致的语义标签。作者进行了一系列基于真实和合成数据的实验，来验证这种基于网格的重建。作者与最先进的基于体素的语义三维重建算法进行了比较，也与纯粹的几何网格细化算法进行了比较，证明了所提出的方法不仅可以生成更好的三维几何结构，也能实现更好的语义分割。

如上图所示，最左侧是原图，中间是输入的模型，最右侧是作者结合几何及语义信息后生成的结果。

上图是作者的一些实验，用黑圈圈出来的部分是提升效果明显的部位。

Abstract    

        Wepresent a method to jointly refine the geometry and semantic segmentation of 3Dsurface meshes. Our method alternates between updating the shape and thesemantic labels. In the geometry refinement step, the mesh is deformed withvariational energy minimization, such that it simultaneously maximizesphoto-consistency and the compatibility of the semantic segmentations across aset of calibrated images. Label-specific shape priors account for interactionsbetween the geometry and the semantic labels in 3D. In the semanticsegmentation step, the labels on the mesh are updated with MRF inference, suchthat they are compatible with the semantic segmentations in the input images.Also, this step includes prior assumptions about the surface shape of differentsemantic classes. The priors induce a tight coupling, where semanticinformation influences the shape update and vice versa. Specifically, weintroduce priors that favor (i) adaptive smoothing, depending on the classlabel; (ii) straightness of class boundaries; and (iii) semantic labels thatare consistent with the surface orientation. The novel mesh-basedreconstruction is evaluated in a series of experiments with real and syntheticdata. We compare both to state-of-the-art, voxel-based semantic 3Dreconstruction, and to purely geometric mesh refinement, and demonstrate thatthe proposed scheme yields improved 3D geometry as well as an improved semanticsegmentation.

如果你对本文感兴趣，想要下载完整文章进行阅读，可以关注【泡泡机器人SLAM】公众号（paopaorobot_slam）。

欢迎来到泡泡论坛，这里有大牛为你解答关于SLAM的任何疑惑。

有想问的问题，或者想刷帖回答问题，泡泡论坛欢迎你！

泡泡网站：www.paopaorobot.org

泡泡论坛：http://paopaorobot.org/forums/

泡泡机器人SLAM的原创内容均由泡泡机器人的成员花费大量心血制作而成，希望大家珍惜我们的劳动成果，转载请务必注明出自【泡泡机器人SLAM】微信公众号，否则侵权必究！同时，我们也欢迎各位转载到自己的朋友圈，让更多的人能进入到SLAM这个领域中，让我们共同为推进中国的SLAM事业而努力！

商业合作及转载请联系liufuqiang_robot@hotmail.com