In this paper, we propose PointRCNN for 3D object detection from raw point cloud. The whole framework is composed of two stages: stage-1 for the bottom-up 3D proposal generation and stage-2 for refining proposals in the canonical coordinates to obtain the final detection results. Instead of generating proposals from RGB image or projecting point cloud to bird's view or voxels as previous methods do, our stage-1 sub-network directly generates a small number of high-quality 3D proposals from point cloud in a bottom-up manner via segmenting the point cloud of whole scene into foreground points and background. The stage-2 sub-network transforms the pooled points of each proposal to canonical coordinates to learn better local spatial features, which is combined with global semantic features of each point learned in stage-1 for accurate box refinement and confidence prediction. Extensive experiments on the 3D detection benchmark of KITTI dataset show that our proposed architecture outperforms state-of-the-art methods with remarkable margins by using only point cloud as input.


翻译:在本文中,我们提议从原始云层中检测3D对象,整个框架由两个阶段组成:自下而上3D建议生成的第1阶段和精炼运河坐标中的建议以获得最后检测结果的第2阶段。我们不象以前的方法那样从RGB图像或投影点云到鸟的视野或氧化物中产生建议,而是通过将整个场点云分为地表点和背景,从点云中直接产生少量高质量的3D建议。第2阶段子网络将每个建议的集合点转换成能够坐标以学习更好的当地空间特征,这与第1阶段中学习的每个点的全球语义特征相结合,用于精确的箱式改进和信心预测。关于KITTI数据集的3D探测基准的广泛实验表明,我们提议的架构仅使用点云作为投入,就显著的边缘值而言,超越了最先进的标准方法。

7
下载
关闭预览

相关内容

根据激光测量原理得到的点云,包括三维坐标(XYZ)和激光反射强度(Intensity)。 根据摄影测量原理得到的点云,包括三维坐标(XYZ)和颜色信息(RGB)。 结合激光测量和摄影测量原理得到点云,包括三维坐标(XYZ)、激光反射强度(Intensity)和颜色信息(RGB)。 在获取物体表面每个采样点的空间坐标后,得到的是一个点的集合,称之为“点云”(Point Cloud)
3D目标检测进展综述
专知会员服务
185+阅读 · 2020年4月24日
CVPR2020 | 商汤-港中文等提出PV-RCNN:3D目标检测新网络
专知会员服务
43+阅读 · 2020年4月17日
【泡泡汇总】CVPR2019 SLAM Paperlist
泡泡机器人SLAM
14+阅读 · 2019年6月12日
CVPR2019 | Stereo R-CNN 3D 目标检测
极市平台
27+阅读 · 2019年3月10日
Single-Shot Object Detection with Enriched Semantics
统计学习与视觉计算组
14+阅读 · 2018年8月29日
论文笔记之Feature Selective Networks for Object Detection
统计学习与视觉计算组
21+阅读 · 2018年7月26日
从R-CNN到Mask R-CNN
机器学习研究会
25+阅读 · 2017年11月13日
【推荐】YOLO实时目标检测(6fps)
机器学习研究会
20+阅读 · 2017年11月5日
Arxiv
11+阅读 · 2019年4月15日
Arxiv
10+阅读 · 2019年1月24日
Deep Learning for Generic Object Detection: A Survey
Arxiv
13+阅读 · 2018年9月6日
Arxiv
4+阅读 · 2018年3月19日
VIP会员
相关VIP内容
3D目标检测进展综述
专知会员服务
185+阅读 · 2020年4月24日
CVPR2020 | 商汤-港中文等提出PV-RCNN:3D目标检测新网络
专知会员服务
43+阅读 · 2020年4月17日
相关资讯
Top
微信扫码咨询专知VIP会员