【TPAMI2022】激光雷达获取的稀疏深度补全综述

Transactions on Pattern Analysis and Machine Intelligence 发表题为“Deep Depth Completion from Extremely Sparse Data: A Survey”的综述文章。

论文链接： https://ieeexplore.ieee.org/document/9984942

本文全面调研了激光雷达获取的稀疏深度的补全问题。深度补全旨在从深度传感器捕获的稀疏深度图中进行矩阵补全，从而获取密集的像素级深度。它在自动驾驶、3D 重建、增强现实和机器人导航等各种应用中发挥着至关重要的作用。目前，基于深度学习的解决方案在该任务上取得了极大成功。在本文中，我们首次提供全面的文献综述，帮助读者更好地掌握研究趋势，清楚地了解当前的进展。我们从网络架构、损失函数、基准数据集和学习策略的设计方面调研相关研究，并对现有方法进行分类。此外，我们在两个广泛使用的基准数据集（包括室内和室外数据集）上对模型性能进行了定量比较。最后，我们讨论了先前工作的挑战，并为读者提供了对未来研究方向的一些见解。

本文通过对已有方法的层次分析和归纳，描述了基于深度学习的深度图补全技术的发展，让读者能够有一些直观的了解，并提供一些有价值的讨论。具体来说，我们回答了以下问题:

1. 目前能够实现高精度深度图补全的方法有哪些共同特点?
2. 与无RGB图像融合的方法相比，融合RGB图像方法的优点和缺点是什么?
3. 以往的研究大多同时使用了视觉数据和LiDAR数据，那么多模态数据融合最有效的策略是什么?
4. 目前面临的挑战是什么?

本文主要内容总结如下：

1. 本文为首篇深度补全综述。我们给出了一个深入和全面的文献调研，包括无RGB图像融合和有RGB图像融合的方法。
2. 我们提出了一个新的分类法来归纳已有方法，并可视化它们的主要特征，包括网络结构、损失函数和学习策略。
3. 本文涵盖了基于深度学习的深度补全方法的最新进展，并在基准数据集上进行了性能比较，为读者提供了最前沿的方法。
4. 本文提供了几个开放挑战和一些有价值的未来研究方向。