IROS2020 | 鲁棒全景视觉惯性导航系统ROVINS

点击上方“计算机视觉life”，选择“星标”

快速获得最新干货

本文由博主：いしょ 授权转载，二次转载请联系原作者

原文地址：https://blog.csdn.net/weixin_40224537/article/details/108616424

I. 摘要

视觉里程计的视觉传感器在快速运动或光照突变时很容易受到影响。在视觉感知变得不稳定时保持短期运动，惯性信息可以提高估计运动的质量。基于之前的工作-ROVO，本文介绍了一种能够将惯性信息无缝集成到全向视觉里程计算法中的全局视觉惯性里程计系统(RovINS)：(A)首先在姿态优化公式中加入来自惯性测量的软相对姿态约束，使得在所有视觉特征丢失时能够进行盲运动估计；(B)利用估计速度的预测结果对跟踪中的视觉特征进行初始化，使得特征跟踪对视觉干扰具有更强的鲁棒性。实验结果表明，所提出的Rovins算法的性能明显优于纯视觉算法。

II. 贡献

本文通过捕获运动速度快、光照变化大、拥挤度大的极具挑战性的测试序列，对所提出的Rovins算法的性能进行了评估。
利用运动捕获系统采集了地面真实钻机位姿数据，并进行了定性和定量比较，验证了算法性能的改进。

III. PRELIMINARIES

在ROVO中，使用4个超宽鱼眼摄像机进行运动估计。这些相机配备了220◦FV视场镜头，以最大限度地扩大重叠区域，以便对跟踪的特征进行立体匹配。与传统的单目或立体VO系统相比，ROVO表现出优越的性能，因为特征点一直保持在视野中，直到它们被其他对象遮挡或变得太远。但是，由于单纯依赖于视觉特征点，它仍然具有传统VO算法的局限性。将惯性运动约束融入到ROVO的优化框架中，提出的鲁棒全向视觉惯性导航系统(RovINS)进一步提高了传统VO或ROVO系统的运动估计性能

A. IMU Pre-Integration

B. Notation

世界路标点坐标系变换：

IV. ALGORITHM

假设相机内部参数和IMU-相机的外部参数被校准和给定，并且所有相机与IMU数据同步地捕捉图像，与摄像机时间同步。首先，将原始鱼眼图像变形为混合投影图像，并使用中点预积分传播来自IMU数据的运动。然后，在混合投影图像中进行特征检测和IMU辅助的视内特征跟踪。将来自IMU的传播旋转输入到IMU辅助特征跟踪器，用于预测当前帧中的特征位置。随后是视点间立体特征匹配，以找出相机之间的特征对应。一旦完成数据处理步骤，就检查相机和IMU是否被初始化。如果没有初始化，ROVO执行纯视觉的SFM来处理视觉-惯性对准。然后，使用非线性优化将系统初始化进行优化。

A. Measurement Processing

在整个算法中，对原始输入图像和IMU测量值进行连续处理。最初，原始图像被投影到混合投影图像中，用于特征提取、跟踪和匹配。利用混合投影图像可以最大限度地减少失真，最大限度地实现跨视图的特征匹配和跟踪。这些最初的步骤是特征跟踪从发现到消失的必要步骤。此外，从混合投影图像中提取ORB特征，作为视图内跟踪和视图间匹配的输入。同时，IMU测量值使用预积分方法进行传播。预积分计算前一帧图像的相对位姿变化及其在位姿协方差矩阵中的不确定性。对两个测量值进行处理后，利用预积分的IMU运动提高特征跟踪性能，然后进行跨视图的立体特征匹配。

B. Feature Tracking With Prediction

本文在初始化KLT跟踪器之前，利用预先集成的IMU姿态计算预测的特征位置。在本工作中，当三维特征点可用时，通过IMU传播的运动将三维特征点重新投影到当前图像平面上来完成特征位置预测。否则，如果特征还没有被配准，则只考虑传播的IMU的旋转来进行预测。

C. Vision-Inertial Initialization

松耦合。

1) Vision-Only SFM:

由于它观察的是所有方向，初始运动退化的可能性很小(例如，纯旋转);这种故障情况可以通过检查姿态inliers的数量(50)来过滤。当系统打开时，首先监测是否产生足够的运动(15个关键帧)，然后再进行视觉-惯性对准。

2) Visual-Inertial Alignment:

在本系统中，通过全方位的多视角立体设置，可以直接观察到度量尺度，使IMU和相机测量数据融合，无需考虑初始尺度估计和尺度更新。校准采用Hong（https://xueshu.baidu.com/usercenter/paper/show?paperid=1p5300k00d780a409h4a0vr0sv290912&site=xueshu_se））和Lim（https://xueshu.baidu.com/usercenter/paper/show?paperid=1p5300k00d780a409h4a0vr0sv290912&site=xueshu_se）方法。本文使用改进的编码仅估计了重力方向、初速度和IMU偏差。

D. Optimization-Based Visual-Inertial Odometry

初始化完成后，使用IMU预积分更新当前帧位姿，然后根据研究超宽FOV设置中的重投影误差或单位光线切向误差剔除离群点特征。

剔除离群值后，对当前帧和活动局部窗口W WW中的关键帧的状态向量θ θθ进行视觉和IMU优化。利用Ceres求解器对优化问题进行求解，得到优化状态。

ω 与3D路标被检查为内点的数量成正比。

2. IMU约束
   
   

   
   

专辑：计算机视觉方向简介

专辑：视觉SLAM入门

专辑：最新SLAM/三维视觉论文/开源

专辑：三维视觉/SLAM公开课

专辑：深度相机原理及应用

专辑：手机双摄头技术解析与应用

专辑：相机标定

专辑：全景相机

「从零开始学习SLAM」知识星球，现在加入立减30元，有效期1天半，到10月26日晚上23点截止，名额有限，先到先得。

星球里包含三维视觉、SLAM方向沉淀了2年多的干货，包括大量图文、视频教学视频、实习/校招/社招机会、笔试面试题目及解析、疑难解惑、领域内最新开源论文/代码/数据集等（详细介绍见后），还可以加入粉丝专属微信交流群/星球内部资料、每天只需几毛钱，即可快速触达我们优质技术社区，一起交流学习，不管是刚刚入门的新手，还是已经是行业的从业者，都能获益良多~

交流群

欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~

投稿、合作也欢迎联系：simiter@126.com

扫描关注视频号，看最新技术落地及开源方案视频秀 ↓