【泡泡点云时空】联合分割点云中的实例和语义

泡泡点云时空，带你精读点云领域顶级会议文章

标题：Associatively Segmenting Instances and Semantics in Point Clouds

作者：Xinlong Wang, Shu Liu, Xiaoyong Shen, Chunhua Shen, Jiaya Jia

来源：arxiv

编译：易彤

审核：徐二帅，吕佳俊

欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申请授权

摘要

    3D点云精确直观地描述了现实场景。目前如何在这种信息丰富的3D场景中分割不同元素的研究很少。本文首先介绍一种简单灵活的框架来同时分割点云中的实例和语义，然后提出两种方法使两个任务相互促进。即通过学习语义感知的点级实例嵌入，使实例分割受益于语义分割；同时，融合属于同一实例的点的语义特征，使每个点的语义预测更加准确。我们的方法在3D实例分割方面效果大大优于目前最先进的方法，在3D语义分割方面效果也有较大的提升。相关代码见：https://github.com/WXinlong/ASIS

主要贡献

1. 提出了一种快速有效的同时进行3D点云实例分割和语义分割的基线模型；

2. 提出了一个联合分割（ASIS）的框架，它将实例分割和语义分割紧密联系起来。具体来说，提出了这两种分割的合作关系——语义感知用于实例分割和实例融合用于语义分割，使这两个任务互相协作；

3. 利用ASIS，对包含语义感知的实例分割和实例融合的语义分割的模型在S3DI数据集上进行端到端训练，其性能优于最先进的3D实例分割方法，同时3D语义分割任务的性能也有显著提升。此外，我们在shapenet数据集上的实验表明，ASIS也有利于部件分割。

系统流程

损失函数：

Lvar:使属于同一实例的嵌入向量接近向量的平均值，例如实例的中心。

Ldist:使属于不同实例的嵌入向量相互排斥远离。

Lreg：约束项，用于保持嵌入向量有界。

ASIS模块示意图：

主要结果

在S3DIS数据集上的实例分割结果：

在S3DIS数据集上的语义分割结果：

计算速度和性能的比较：

S3DIS数据集上的分割结果：

部件分割结果：

Abstract

        A 3D point cloud describes the real scene precisely and intuitively. To date how to segment diversified elements in such an informative 3D scene is rarely discussed. In this paper, we first introduce a simple and flexible framework to segment instances and semantics in point clouds

simultaneously. Then, we propose two approaches which make the two tasks take advantage of each other, leading to a win-win situation. Specifically, we make instance segmentation benefit from semantic segmentation through learning semantic-aware point-level instance embedding. Meanwhile, semantic features of the points belonging to the same instance are fused together to make more accurate per-point semantic predictions. Our method largely outperforms the state-of-the-art method in 3D instance segmentation along with a significant improvement in 3D semantic segmentation. Code has been made available at:

https://github.com/WXinlong/ASIS.

如果你对本文感兴趣，想要下载完整文章进行阅读，可以关注【泡泡机器人SLAM】公众号。

欢迎来到泡泡论坛，这里有大牛为你解答关于SLAM的任何疑惑。

有想问的问题，或者想刷帖回答问题，泡泡论坛欢迎你！

泡泡网站：www.paopaorobot.org

泡泡论坛：http://paopaorobot.org/forums/

泡泡机器人SLAM的原创内容均由泡泡机器人的成员花费大量心血制作而成，希望大家珍惜我们的劳动成果，转载请务必注明出自【泡泡机器人SLAM】微信公众号，否则侵权必究！同时，我们也欢迎各位转载到自己的朋友圈，让更多的人能进入到SLAM这个领域中，让我们共同为推进中国的SLAM事业而努力！

商业合作及转载请联系liufuqiang_robot@hotmail.com