【泡泡图灵智库】结构约束下的稠密平面惯性SLAM算法(ICRA-32)

会员服务 ·

【泡泡图灵智库】结构约束下的稠密平面惯性SLAM算法(ICRA-32)

2018 年 9 月 8 日 泡泡机器人SLAM

泡泡图灵智库，带你精读机器人顶级会议文章

标题：Dense Planar-Inertial SLAM with Structural Constraints

作者：Ming Hsiao, Eric Westman, and Michael Kaess

来源：ICRA 2018

播音员：王肃

编译：黄文超汤文俊

审核：汤文俊 黄文超

欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申请授权

摘要

大家好，今天为大家带来的文章是——Dense Planar-Inertial SLAM with Structural Constraints：结构约束下的稠密平面惯性SLAM算法，该文章发表于ICRA2018。

在本文中，作者开发了一种新的稠密平面惯性SLAM(DPI-SLAM)系统，从而可以使用手持RGB-D相机和一个惯性测量单元(IMU)来对大型室内环境进行3D重构。在一个完整的SLAM框架中，预积分的IMU测量数据和稠密的视觉里程计估计是松耦合的，和平面测量数据则是紧耦合的。运用结合贝叶斯树的增量平滑和建图方法（ISAM2），对相机位姿、速率、IMU偏差和全局因子图中的平面路标进行综合最优化。结合运用RGB-D和IMU数据得到的视觉里程计估计结果，该系统甚至可以在没有充足的平面特征或者视觉信息（如缺乏纹理特征的墙面）的情况下对传感器的位姿进行瞬时跟踪。在完全的概率性全局最优化中建立平面特征和IMU数据模型，能够减小导致其他SLAM算法环境重构结果失真的漂移误差。此外，在DPI-SLAM系统中加入邻近平面（如直角）之间的结构约束，可以进一步修复漂移误差和建图结果的失真。作者用大型室内数据集来检验DPI-SLAM系统，证明了它作为第一个平面惯性SLAM系统的优越性能。

主要贡献

本文工作致力于在基于环境平面特征的VSLAM算法中引入IMU数据，以使平面VSLAM算法更加有效和鲁棒。

主要贡献有：

1. 开发了一种新的稠密平面惯性SLAM系统，简称DPI-SLAM，该系统能够将IMU预积分用于全局一致最优化。

2. 基于iSAM2实现实时的DPI-SLAM。

3. 基于平面惯性SLAM框架，通过引入任意两个平面路标之间的结构约束，来修正漂移和失真。

算法流程

图1 DPI-SLAM算法的系统结构。系统分为三个部分：a) 里程计估计和图像帧标记；b) 局部深度融合；c) 在全局平面惯性SLAM中引入结构约束和回环检测。

如图1所示，在(a)中，对于特别选择的帧使用完整精确的RGB-D里程计算法来计算姿态(如图3-a中的实黑线)。其他帧只使用简化的方法粗略估计姿态(图3-a中的虚线)。在每个参考帧，当前的预积分IMU因子和VO因子会加入全局因子图中(图3-a到图3-c的箭头)进行联合优化。如果新一帧的姿态离前一个参考帧的姿态太远，该帧会被设为新的参考帧。新的关键帧的选择也是如此。

(b)在这一步，选择从第i个到第i+1个关键帧之间的融合帧进行深度融合形成第i个局部深度图像M

(c)是全局因子图。从每个关键帧的深度图像M中提取平面和相应的点簇，将他们关联到现有的地标平面上，然后把平面因子加入因子图，再在因子图中联合优化。

每当IMU状态被添加到因子图中时，使用iSAM2算法递增式地更新因子图，而当检测到闭环时，整个因子图会进行数次迭代直到收敛。

IMU预积分

IMU的15维状态向量如公式(1)所示。

两个连续参考图像帧之间的预积分旋转、速度和平移分别如公式(2)-(4)所示。

相应的误差函数如公式(5)-(7)所示。

RGB-D里程计

我们对IMU有两个假设：一是陀螺仪和加速度计的偏差在预积分过程中是连续的；二是在每次更新时，偏差状态只要求线性更新，所以IMU数据预积分的时间间隔应该不会太长。基于上述两个假设，我们可以不用在两个连续关键帧之间，而是选择在两个连续参考图像帧之间的时间间隔内进行IMU数据的预积分，从而改善里程计的估计。

如公式(8)-(9)所示，运用预积分的IMU数据来预测初始位姿能够有效促进里程计估计结果，特别是在快速旋转和弱纹理环境的情况下。

平面约束

图2 平面约束的基线

平面路标pi和相应的关键帧的IMU状态x之间的平面观测因子c，在全局优化中将平面特征与惯性测量轻度耦合。如图2所示，将平面路标的基线设置为x，所有连接于同一个平面路标的c也连接于同一个基线，这样的平面约束可以加快最优化的收敛速度。

图3 结构约束的基线

正交和平行是两个平面特征之间最常用的结构约束，所以在DPI-SLAM中引入这两种约束，从而有助于削弱旋转运动中漂移的不良影响。同时，如图3所示，每个结构约束因子s不仅连接着对应的两个平面路标，也连接着它们的基线，从而作为一个四元数因子，这样可以进一步加快最优化的收敛速度。

主要结果

图4 实验所用设备

将IMU（Microstrain 3DM-GX4-25）粘在RGB-D相机（ASUS Xtion Pro Live）的顶部，进行室内环境数据采集，Xtion采集的彩色图像和深度图像的分表率在30fps下是640×480，Microstrain的数据以1000Hz频率进行传输。运用LCM方法进行数据的在线传输或者采用先记录后重放的方式实时运行算法。

图5 没有回环检测条件下的对比实验结果

图5(a)为纯平面SLAM算法结果，图5(b)在其基础上增加了结构约束；图5(c)为平面惯性SLAM算法结果，但只在每两个关键帧之间进行IMU数据预先集成，图5(d)在其基础上增加了结构约束；图5(e)为DPI-SLAM算法结果，图5(f)所示在其基础上增加了结构约束。可以看出，DPI-SLAM算法效果最好，并且环境结构约束的增加对算法增强效果明显。

图6增加回环检测条件下的对比实验结果

图6(a)和图6(b)均为DPI-SLAM算法结果，图6(b)中引入了结构约束。可以看出，两者均完成了闭环，图6(a)用了30步迭代，而图6(b)在结构约束的作用下，只用了10步迭代。

图7 激光数据模型配准结果

将图6(b)中DPI-SLAM算法的3D重构模型用激光数据模型进行配准，并计算点到面的均方根误差和平均绝对误差，分别为0.069米和0.049米。同时，假设整个模型是30m×13m×3m，那么平均误差比率将低于0.7%。结果表明，DPI-SLAM算法精度较高。

Abstract

In this work, we develop a novel dense planarinertial SLAM (DPI-SLAM) system to reconstruct dense 3D models of large indoor environments using a hand-held RGB-D sensor and an inertial measurement unit (IMU). The preintegrated IMU measurements are loosely-coupled with the dense visual odometry (VO) estimation and tightly-coupled with the planar measurements in a full SLAM framework. The poses, velocities, and IMU biases are optimized together with the planar landmarks in a global factor graph using incremental smoothing and mapping with the Bayes Tree (iSAM2). With odometry estimation using both RGB-D and IMU data, our system can keep track of the poses of the sensors even without sufficient planes or visual information (e.g. textureless walls) temporarily. Modeling planes and IMU states in the fully probabilistic global optimization reduces the drift that distorts the reconstruction results of other SLAM algorithms. Moreover, structural constraints between nearby planes (e.g. right angles) are added into the DPI-SLAM system, which further recovers the drift and distortion. We test our DPI-SLAM on large indoor datasets and demonstrate its state-of-the-art performance as the first planar-inertial SLAM system.

如果你对本文感兴趣，想要下载完整文章进行阅读，可以关注【泡泡机器人SLAM】公众号。

点击阅读原文，即可获取本文下载链接。

欢迎来到泡泡论坛，这里有大牛为你解答关于SLAM的任何疑惑。

有想问的问题，或者想刷帖回答问题，泡泡论坛欢迎你！

泡泡网站：www.paopaorobot.org

泡泡论坛：http://paopaorobot.org/forums/