题目: Review: deep learning on 3D point clouds

简介:

点云是在三维度量空间中定义的点集。点云已经成为三维表示中最重要的数据格式之一。由于激光雷达等获取设备的可用性增加以及机器人、自动驾驶、增强和虚拟现实等领域的应用增加,它越来越受欢迎。深度学习现在是计算机视觉中最强大的数据处理工具,成为分类、分割和检测等任务的首选技术。深度学习技术主要应用于具有结构化网格的数据,而点云则是非结构化的。点云的无结构使得深度学习直接处理点云非常具有挑战性。早期的方法通过将点云预处理成结构化的网格格式来克服这一挑战,代价是计算成本的增加或深度信息的丢失。然而,最近许多先进的深度学习技术正在开发中,这些技术可以直接操作点云。这篇论文包含了对当前最先进的深度学习技术的调查,这些技术主要集中在点云数据上。我们首先简要地讨论了在点云上直接使用深度学习所面临的主要挑战,我们还简要地讨论了通过将点云预处理成结构化网格来克服这些挑战的早期方法。然后,我们回顾了各种先进的深度学习方法,直接处理点云的非结构化形式。我们介绍了流行的3D点云基准数据集。我们还进一步讨论了深度学习在当前流行的三维视觉任务中的应用,包括分类、分割和检测。

作者:

王程,福建省特支“双百计划”入选者、福建省科技创新领军人才、厦门大学计算机科学系教授、博士生导师、副院长。研究方向:三维视觉,空间大数据分析,激光雷达,虚拟/增强现实。个人主页:http://www.cwang93.net/#

成为VIP会员查看完整内容
0
31

相关内容

根据激光测量原理得到的点云,包括三维坐标(XYZ)和激光反射强度(Intensity)。 根据摄影测量原理得到的点云,包括三维坐标(XYZ)和颜色信息(RGB)。 结合激光测量和摄影测量原理得到点云,包括三维坐标(XYZ)、激光反射强度(Intensity)和颜色信息(RGB)。 在获取物体表面每个采样点的空间坐标后,得到的是一个点的集合,称之为“点云”(Point Cloud)

摘要: 目标检测算法应用广泛,一直是计算机视觉领域备受关注的研究热点。近年来,随着深度学习的发展,3D图像的目标检测研究取得了巨大的突破。与2D目标检测相比,3D目标检测结合了深度信息,能够提供目标的位置、方向和大小等空间场景信息,在自动驾驶和机器人领域发展迅速。文中首先对基于深度学习的2D目标检测算法进行概述;其次根据图像、激光雷达、多传感器等不同数据采集方式,分析目前具有代表性和开创性的3D目标检测算法;结合自动驾驶的应用场景,对比分析不同 3D 目标检测算法的性能、优势和局限性;最后总结了3D目标检测的应用意义以及待解决的问题,并对 3D 目标检测的发展方向和新的挑战进行了讨论和展望。

成为VIP会员查看完整内容
0
69

主题: A Review on Deep Learning Techniques for Video Prediction

摘要: 预测,预期和推理未来结果的能力是智能决策系统的关键组成部分。鉴于深度学习在计算机视觉中的成功,基于深度学习的视频预测已成为有前途的研究方向。视频预测被定义为一种自我监督的学习任务,它代表了一个表示学习的合适框架,因为它展示了提取自然视频中潜在模式的有意义的表示的潜在能力。视频序列预测的深度学习方法。我们首先定义视频预测的基础知识,以及强制性的背景概念和最常用的数据集。接下来,我们会仔细分析根据拟议的分类法组织的现有视频预测模型,突出显示它们的贡献及其在该领域的意义。数据集和方法的摘要均附有实验结果,有助于在定量基础上评估现有技术。通过得出一些一般性结论,确定开放研究挑战并指出未来的研究方向来对本文进行总结。

成为VIP会员查看完整内容
0
30

主题: Comprehensive Review of Deep Reinforcement Learning Methods and Applicationsin Economic

摘要: 深度强化学习(DRL)方法在经济学中的应用已成倍增加。 DRL通过从强化学习(RL)和深度学习(DL)的广泛功能来处理复杂的动态业务环境提供了广阔的机遇。 DRL的特点是可伸缩性,它有可能结合经济数据的噪声和非线性模式应用于高维问题。在这项工作中,我们首先考虑对经济学中各种应用中的DL,RL和深层RL方法进行简要回顾,以提供对最新技术水平的深入了解。此外,研究了应用于经济应用的DRL体系结构,以突出其复杂性,鲁棒性,准确性,性能,计算任务,风险约束和获利能力。调查结果表明,与传统算法相比,DRL可以提供更好的性能和更高的精度,同时在存在风险参数和不确定性不断增加的情况下面临实际的经济问题。

成为VIP会员查看完整内容
0
27

题目: A Survey on Deep Geometry Learning: From a Representation Perspective

摘 要:

目前,研究人员已经在利用深度学习处理二维图像方面取得了很大的成功。近年来,三维计算机视觉和几何深度学习越来越受到人们的重视。针对不同的应用,提出了许多先进的三维造型技术。与二维图像可以由像素的规则网格统一表示不同,三维图形具有多种表示,如深度和多视图图像、基于体素的表示、基于点的表示、基于网格的表示、隐式的表面表示等。然而,不同应用程序的性能在很大程度上取决于所使用的表示,并且没有一种惟一的表示可以适用于所有应用程序。因此,在本次调查中,我们从表象的角度回顾了三维几何深度学习的最新发展,总结了不同表象在不同应用中的优缺点。我们也提出现有的数据集在这些表示和进一步讨论未来的研究方向。

成为VIP会员查看完整内容
0
29

3D点云学习( Point Clouds)作为近年来的研究热点之一,受到了广泛关注,每年在各大会议上都有大量的相关文章发表。当前,点云上的深度学习变得越来越流行,人们提出了许多方法来解决这一领域的不同问题。国防科技大学郭裕兰老师课题组新出的这篇论文对近几年点云深度学习方法进行了全面综述,是第一篇全面涵盖多个重要点云相关任务的深度学习方法的综述论文,包括三维形状分类、三维目标检测与跟踪、三维点云分割等,并对点云深度学习的机制和策略进行全面的归纳和解读,帮助读者更好地了解当前的研究现状和思路。也提供了现有方法在几个可公开获得的数据集上的全面比较,最后也介绍了未来的研究方向。

【摘要】点云学习近年来受到越来越多的关注,因为它在许多领域都有广泛的应用,比如计算机视觉、自动驾驶和机器人技术。作为人工智能的主要技术之一,深度学习已经成功地用于解决各种二维视觉问题。然而,由于使用深度神经网络处理点云所面临的独特挑战,对点云的深度学习仍处于起步阶段。最近,点云上的深度学习变得越来越流行,人们提出了许多方法来解决这一领域的不同问题。为了激发未来的研究,本文对点云深度学习方法的最新进展进行了综述。它涵盖了三个主要任务,包括三维形状分类,三维目标检测和跟踪以及三维点云分割。我们还提供了一些可公开获得的数据集的比较结果,以及有见地的观察和启发性的未来研究方向。

引言

3D数据在不同的领域有许多应用,包括自动驾驶、机器人、遥感、医疗和设计行业[4]。近年来,深度学习技术在计算机视觉、语音识别、自然语言处理(NLP)、生物信息学等研究领域占据主导地位。但是,在三维点云上进行深度学习仍然面临数个重大挑战[5],例如数据集规模小,维数高和三维点云的非结构化性质。在此基础上,本文重点分析了用于处理三维点云的深度学习方法。

一些公开的数据集也被发布,例如ModelNet [6],ShapeNet [7],ScanNet [8],Semantic3D [9]和KITTI Vision Benchmark Suite [10]。这些数据集进一步推动了对三维点云的深度学习研究,提出了越来越多的方法来解决与点云处理相关的各种问题,包括三维形状分类、三维目标检测与跟踪、三维点云分割等。

这篇论文是第一个专门针对点云的深度学习方法的综述。此外,论文全面涵盖了分类,检测,跟踪和分割等不同应用。图1显示了三维点云的现有深度学习方法的分类。

图1:三维点云深度学习方法分类。

这项工作的主要贡献可以概括如下:

  • 1)据我们所知,这是第一篇全面涵盖多个重要点云相关任务的深度学习方法的综述论文,包括三维形状分类、三维目标检测与跟踪、三维点云分割等。

  • 2)相对于已有的综述[11],[12],我们特别关注三维点云的深度学习方法,而不是所有类型的三维数据。

  • 3)本文介绍了点云深度学习的最新进展。因此,它为读者提供了最先进的方法。

  • 4)提供了现有方法在几个可公开获得的数据集上的全面比较(例如,表1、2、3、4),并提供了简要的总结和深入的讨论。

本文的结构如下。第2节回顾了三维形状分类的方法。第3节概述了现有的三维目标检测和跟踪方法。第4节介绍了点云分割的方法,包括语义分割、实例分割和部件分割。最后,第5节总结了论文。

论文还在以下网址上提供了定期更新的项目页面:

https://github.com/QingyongHu/SoTA-Point-Cloud

图2:三维形状分类网络的时间顺序概览。

图3:PointNet的体系结构。

图4:点的局部邻居的连续和离散卷积的图解。(a)代表一个局部邻居;(b)和(c)分别表示三维连续卷积和离散卷积。

图5:基于图的网络的图解。

表1:在ModelNet10/40基准上比较三维形状分类结果。这里,我们只关注基于点的网络,“#params”表示相应模型的参数数量。“OA”表示总体精度,“mAcc”表示表中的平均精度。符号“-”表示结果不可用。

图6:按时间顺序概述的最相关的基于深度学习的三维目标检测方法。

图7:三类三维目标检测方法的典型网络。从上到下:(a)基于多视图,(b)基于分割,(c)基于视锥的方法。

表2:在KITTI测试三维检测基准上的三维目标检测结果对比。

表3:在KITTI test BEV检测基准上三维目标检测结果对比。

图8:按时间顺序概述了一些最相关的基于深度学习的点云语义分割方法。

图9:基于投影方法的中间表示图。

图10:PointNet++[27]框架的示意图。

图11:有代表性的三维点云实例分割方法的年代概述。

未来方向

表4展示了现有方法在公共基准测试上的结果,包括S3DIS[176]、Semantic3D[9]、ScanNet[102]、SemanticKITTI[177]。需要进一步研究的问题有:

  • 基于点的网络是最常被研究的方法。然而,点表示自然不具有显式的邻近信息,现有的大多数基于点的方法不得不借助于昂贵的邻近搜索机制(如KNN[52]或ball query [27])。这从本质上限制了这些方法的效率,因为邻居搜索机制既需要很高的计算成本,又需要不规则的内存访问[214]。

  • 从不平衡数据中学习仍然是点云分割中一个具有挑战性的问题。虽然有几种的方法取得了显著的综合成绩[42]、[170]、[182],但它们在类标很少的情况下表现仍然有限。例如,RandLA-Net[95]在Semantic3D的reduced-8子集上获得了76.0%的整体IoU,而在hardscape类上获得了41.1%的非常低的IoU。

  • 大多数现有的方法[5]、[27]、[52]、[170]、[171]都适用于小点云(如1m*1m,共4096个点)。在实际中,深度传感器获取的点云通常是巨大的、大规模的。因此,有必要进一步研究大规模点云的有效分割问题。

  • 已有少数文献[145]、[146]、[167]开始研究动态点云的时空信息。预期时空信息可以帮助提高后续任务的性能,如三维目标识别、分割和完成。

表4:S3DIS(包括Area5和6-fold cross validation)[176]、Semantic3D(包括semantic-8和reduced-8子集)[9]、ScanNet[8]和SemanticKITTI[177]数据集的语义分割结果对比。

结论

本文介绍了如今最先进的三维理解方法,包括三维形状分类,三维目标检测和跟踪,以及三维场景和目标分割。对这些方法进行了全面的分类和性能比较。介绍了各种方法的优缺点,并提出了今后的研究方向。

成为VIP会员查看完整内容
0
59

题目: A Survey of Deep Learning Applications to Autonomous Vehicle Control

摘要:

为自动驾驶车辆设计一个能够在所有驾驶场景中提供足够性能的控制器是一个挑战,因为它的环境非常复杂,而且无法在部署后可能遇到的各种场景中测试系统。然而,深度学习方法已经显示出巨大的潜力,不仅为复杂的非线性控制问题提供了出色的性能,而且还可以将以前学习的规则推广到新的场景中。基于这些原因,在车辆控制中使用深度学习变得越来越流行。虽然在这一领域取得了重要的进展,但这些工作尚未得到全面总结。本文调查了文献报道的广泛的研究工作,旨在通过深度学习的方法来控制车辆。虽然控制和感知之间存在重叠,但本文的重点是车辆控制,而不是更广泛的感知问题,包括语义分割和目标检测等任务。本文通过比较分析,明确了现有深度学习方法的优势和局限性,并从计算、体系结构选择、目标规范、泛化、验证和验证以及安全性等方面探讨了研究的挑战。总的来说,这项调查为智能交通系统相关的一个快速发展的领域带来了及时和热门的信息。

作者:

Sampo Kuutti是萨里大学汽车工程中心硕士研究生,研究兴趣是机器学习,强化学习,自动车辆。

Richard Bowden是英国萨里大学计算机视觉和机器学习教授,在伦敦大学获得计算机科学学士学位,利兹大学获得理学硕士学位,布鲁内尔大学获得计算机视觉博士学位。Richard Bowden教授领导视觉、语言和信号处理中心的认知视觉小组,他的研究中心是利用计算机视觉来定位、跟踪和理解人类。他是图像和视觉计算、IEEE模式分析和机器智能的副主编,是英国机器视觉协会(BMVA)执行委员会的成员。

成为VIP会员查看完整内容
0
13

教程题目:Learning from 3D (Point Cloud) Data

教程简介

在(3D)点云上学习对于自动驾驶、机器人感知、VR/AR、游戏和安全等广泛的新兴应用至关重要。由于激光雷达、3D相机和RGB-D等3D传感器的普及,这种需求最近有所增加。点云由成千上万个点组成,是对传统2D相机的补充。点云数据上的三维学习算法是一种全新的、令人兴奋的方法,可以解决三维分类、检测、语义分割和人脸识别等众多核心问题。本教程涵盖点云数据的需求、捕获数据的背景、3D表示、新兴应用程序、核心问题、最新的学习算法(例如,基于体素、基于点的算法等)和未来的研究机会。还将展示最近工作在几个三维基准,如ScanNet, KITTI等。

组织者:

徐宏民教授是一位活跃的研究人员,致力于大型图像/视频检索/挖掘、视觉识别和机器智能。他是国立台湾大学计算机科学与资讯工程学系的教授。他和他的团队获得了多媒体和计算机视觉研究领域的技术奖项,包括IBM research的Pat Goldberg Memorial最佳论文奖(2018),2017年ACM多媒体大会最佳新创意论文奖,IARPA变脸大赛第一名(CVPR 2018), 2011年ACM多媒体大挑战一等奖,2013/2014年度ACM多媒体大挑战多模态奖等。徐教授热衷于通过学术-产业合作和共同创办创业公司来实现对商业成果的先进研究。2014年,他是微软雷德蒙德研究院的访问科学家,2016-2017年,他在IBM TJ Watson研究中心休了一年的年假。他曾担任《IEEE视频技术电路与系统学报》(TCSVT)和《IEEE多媒体学报》(IEEE Multimedia Transactions on Video Technology)的副主编,并担任《IEEE多媒体杂志》(2010 - 2017)的编委。

成为VIP会员查看完整内容
0
14
小贴士
相关VIP内容
专知会员服务
69+阅读 · 2020年4月24日
相关论文
A Survey on Bayesian Deep Learning
Hao Wang,Dit-Yan Yeung
40+阅读 · 2020年7月2日
3D Deep Learning on Medical Images: A Review
Satya P. Singh,Lipo Wang,Sukrit Gupta,Haveesh Goli,Parasuraman Padmanabhan,Balázs Gulyás
8+阅读 · 2020年4月1日
Qingyong Hu,Bo Yang,Linhai Xie,Stefano Rosa,Yulan Guo,Zhihua Wang,Niki Trigoni,Andrew Markham
7+阅读 · 2019年11月25日
Monocular Plan View Networks for Autonomous Driving
Dequan Wang,Coline Devin,Qi-Zhi Cai,Philipp Krähenbühl,Trevor Darrell
5+阅读 · 2019年5月16日
Associatively Segmenting Instances and Semantics in Point Clouds
Xinlong Wang,Shu Liu,Xiaoyong Shen,Chunhua Shen,Jiaya Jia
4+阅读 · 2019年2月28日
Ziwei Zhang,Peng Cui,Wenwu Zhu
38+阅读 · 2018年12月11日
Antoine J. -P. Tixier
10+阅读 · 2018年8月30日
Seyed Sajad Mousavi,Michael Schukat,Enda Howley
12+阅读 · 2018年6月23日
Tadas Baltrušaitis,Chaitanya Ahuja,Louis-Philippe Morency
118+阅读 · 2017年8月1日
Top