【泡泡点云时空】跟踪与三角测量中一种通过兴趣点网络进行多视图2D/3D刚性配准的方法

2019 年 7 月 8 日 泡泡机器人SLAM

泡泡点云时空,带你精读点云领域顶级会议文章

标题:Multiview 2D/3D Rigid Registration via a Point-Of-Interest Network for Tracking and Triangulation

作者:Haofu Liao*, Wei-An Lin*, Jiarui Zhang, Jingdan Zhang, Jiebo Luo, S. Kevin Zhou

来源:arxiv 2019

编译:邹正

审核:徐二帅

欢迎个人转发朋友圈;其他机构或自媒体如需转载,后台留言申请授权

摘要

作者利用兴趣点网络提出了一种处理多视图二维/三维刚性配准的方法(POINT2),该方法能有效的应用于跟踪和三角测量中。POINT2通过跟踪一组兴趣点(POI),在干预前和干预内的图像之间建立一种二维的点对点对应关系。干预前三维位姿是通过三角测量层计算出来的。在POINT2中,由于POI跟踪器的框架是统一的,并且利用了三角测量层,这使得学习信息丰富的二维特征和计算三维姿态信息成为可能。在和现有方法的比较中,POINT2只需要一个单一的前传信息,就能够获得一个可靠的二维/三维配准。由于POI跟踪器具有平移不变性,POINT2对于初始化三维预干预图像的位姿效果更加健壮。通过更多的实验表明,本文提出的方法在准确性、健壮性和运行时间方面都比现有的基于学习的方法效果要好。此外,当进行初始位姿估计时,本文的方法还比最先进的基于优化的方法,在稳健性和速度方面要高十倍。

主要贡献

本文的主要贡献:

1.提出了一种新颖的基于学习的多视图二维/三维刚性配准方法,该方法在X射线和DRR之间寻找点与点之间的对应关系,使得配准的速度更快,配准结果更加稳健;

2.提出了一种新的POI跟踪网络,它是通过带有POI卷积的连体U网构建的。这种跟踪网络能够实现精细化的特征提取和有效的POI相似性度量,更重要的是它提供了一个旋转不变性的2维错位测量;

3.提出了一种POI跟踪器和三角测量图层的统一框架,它使得二维特征的端到端学习成为可能,还能够进行3维姿态的估计;

4.通过对大量的数据集进行实验表明,所提出的方法比最先进的基于学习的方法表现得更好。并且,当用作初始位姿估计器时,它的稳健性和速度比最先进得基于优化的方法提高了许多。

网络架构

图1 POINT2方法的概述,为了更好地进行可视化,我们将不同的色彩映射应用于DRR和X射线图像并调整其对比度。

图2 POINT网络的架构

图3 POINT2的整体框架

图4 不同POI选择方法的训练和验证损失

实验结果

图5 POI的跟踪结果。(a)X射线图像;(b-d)具有不同平面内偏移DRR图像;跟踪结果的热图都与X射线图像对齐并且看起来相似,显示了移位不变特性

表1.与其它配准方法性能的比较,包括二维/三维的配准结果

Abstract

We propose to tackle the multiview 2D/3D rigid registration problem via a Point-Of-Interest Network for Tracking and Triangulation (POINT2). POINT2learns to establish 2D point-to-point correspondences between the preand intra-intervention images by tracking a set of pointof-interests (POIs). The 3D pose of the pre-interventionvolume is then estimated through a triangulation layer. InPOINT2, the unified framework of the POI tracker and thetriangulation layer enables learning informative 2D features and estimating 3D pose jointly. In contrast to existingapproaches, POINT2 only requires a single forward-pass toachieve a reliable 2D/3D registration. As the POI trackeris shift-invariant, POINT2is more robust to the initial poseof the 3D pre-intervention image. Extensive experimentson a large-scale clinical cone-beam computed tomographydataset show that the proposed POINT2 method outperforms the existing learning-based method in terms of accuracy, robustness and running time. Furthermore, when usedas an initial pose estimator, our method also improves therobustness and speed of the state-of-the-art optimizationbased approaches by ten folds.

如果你对本文感兴趣,想要下载完整文章进行阅读,可以关注【泡泡机器人SLAM】公众号。

欢迎来到泡泡论坛,这里有大牛为你解答关于SLAM的任何疑惑。

有想问的问题,或者想刷帖回答问题,泡泡论坛欢迎你!

泡泡网站:www.paopaorobot.org

泡泡论坛:http://paopaorobot.org/forums/


泡泡机器人SLAM的原创内容均由泡泡机器人的成员花费大量心血制作而成,希望大家珍惜我们的劳动成果,转载请务必注明出自【泡泡机器人SLAM】微信公众号,否则侵权必究!同时,我们也欢迎各位转载到自己的朋友圈,让更多的人能进入到SLAM这个领域中,让我们共同为推进中国的SLAM事业而努力!

商业合作及转载请联系liufuqiang_robot@hotmail.com


登录查看更多
17

相关内容

根据激光测量原理得到的点云,包括三维坐标(XYZ)和激光反射强度(Intensity)。 根据摄影测量原理得到的点云,包括三维坐标(XYZ)和颜色信息(RGB)。 结合激光测量和摄影测量原理得到点云,包括三维坐标(XYZ)、激光反射强度(Intensity)和颜色信息(RGB)。 在获取物体表面每个采样点的空间坐标后,得到的是一个点的集合,称之为“点云”(Point Cloud)
高效医疗图像分析的统一表示
专知会员服务
33+阅读 · 2020年6月23日
【ICML2020】多视角对比图表示学习,Contrastive Multi-View GRL
专知会员服务
77+阅读 · 2020年6月11日
【开放书】SLAM 中的几何与学习方法,62页pdf
专知会员服务
107+阅读 · 2020年6月5日
基于视觉的三维重建关键技术研究综述
专知会员服务
152+阅读 · 2020年5月1日
专知会员服务
41+阅读 · 2020年2月20日
【泡泡点云时空】基于分割方法的物体六维姿态估计
泡泡机器人SLAM
18+阅读 · 2019年9月15日
【泡泡点云时空】PointConv: 3D点云的深度卷积网络
泡泡机器人SLAM
23+阅读 · 2019年6月12日
【泡泡点云时空】FlowNet3D:学习三维点云中的场景流
泡泡机器人SLAM
41+阅读 · 2019年5月19日
【泡泡点云时空】完美配准:具有平滑密度的3D点云配准
泡泡机器人SLAM
60+阅读 · 2019年5月16日
【泡泡图灵智库】基于几何一致性网络的摄像机运动估计
【泡泡点云时空】集成深度语义分割的3D点云配准
泡泡机器人SLAM
28+阅读 · 2018年11月24日
【泡泡一分钟】点密度适应性点云配准
泡泡机器人SLAM
16+阅读 · 2018年5月28日
Joint Monocular 3D Vehicle Detection and Tracking
Arxiv
8+阅读 · 2018年12月2日
Arxiv
6+阅读 · 2018年2月8日
VIP会员
相关资讯
【泡泡点云时空】基于分割方法的物体六维姿态估计
泡泡机器人SLAM
18+阅读 · 2019年9月15日
【泡泡点云时空】PointConv: 3D点云的深度卷积网络
泡泡机器人SLAM
23+阅读 · 2019年6月12日
【泡泡点云时空】FlowNet3D:学习三维点云中的场景流
泡泡机器人SLAM
41+阅读 · 2019年5月19日
【泡泡点云时空】完美配准:具有平滑密度的3D点云配准
泡泡机器人SLAM
60+阅读 · 2019年5月16日
【泡泡图灵智库】基于几何一致性网络的摄像机运动估计
【泡泡点云时空】集成深度语义分割的3D点云配准
泡泡机器人SLAM
28+阅读 · 2018年11月24日
【泡泡一分钟】点密度适应性点云配准
泡泡机器人SLAM
16+阅读 · 2018年5月28日
Top
微信扫码咨询专知VIP会员