【导读】图像分割(Image Segmentation)是计算机视觉的经典问题之一,受到了广泛关注,每年在各大会议上都有大量的相关文章发表。在前深度学习时代有大量的方法提出,比如分水岭、GraphCut等。随着深度学习的兴起,大量的算法提出如R-CNN、Mask-RCNN等。最近来自纽约大学、滑铁卢大学、UCLA等学者发布了深度学习图像分割最新综述论文,涵盖20页pdf168篇参考文献,调研了截止2019年提出的100多种分割算法,共分为10类方法。对近几年深度学习图像分割进行了全面综述,对现有的深度学习图像分割研究进行梳理使其系统化,并提出6方面挑战,帮助读者更好地了解当前的研究现状和思路。可作为相关领域从业者的必备参考文献。

题目:Image Segmentation Using Deep Learning: A Survey

作者:Shervin Minaee, Yuri Boykov, Fatih Porikli, Antonio Plaza, Nasser Kehtarnavaz, and Demetri Terzopoulos

摘要

图像分割是图像处理和计算机视觉领域的一个重要课题,其应用领域包括场景理解、医学图像分析、机器人感知、视频监控、增强现实和图像压缩等。研究者们提出了各种图像分割算法。最近,由于深度学习模型在广泛的视觉应用中取得了成功,已经有大量的工作致力于开发使用深度学习模型的图像分割方法。在本次综述中,我们全面回顾了撰写本文时的论文,涵盖了语义级和实例级分割的广泛先驱工作,包括全卷积像素标记网络、编码器-解码器架构、基于多尺度和金字塔的方法、递归网络、视觉注意力模型和在对抗环境下的生成模型。我们调研了这些深度学习模型的相似性、优势和挑战,研究了最广泛使用的数据集,报告了性能,并讨论了该领域未来的研究方向。

1. 引言

图像分割是许多视觉理解系统的重要组成部分。它涉及到将图像(或视频帧)分割成多个段或对象[1]。分割在[2]的广泛应用中起着核心作用,包括医学图像分析(如肿瘤边界提取和组织体积测量),自动驾驶车辆(如可导航的表面和行人检测),视频监控,增强现实等。从最早的阈值化[3]、基于直方图的分组、区域生长[4]、k-means聚类[5]、分水岭[6]等算法,到更先进的主动轮廓[7]、图割[8]、条件和马尔科夫随机域[9]、稀疏[10]-[11]等算法,文献中已经出现了许多图像分割算法。然而,在过去的几年里,深度学习(DL)网络已经产生了新一代的图像分割模型,其性能有了显著的提高——通常在流行的基准测试中获得了最高的准确率——致使许多人认为的该领域的范式转变。例如,图1展示了一个著名的深度学习模型DeepLabv3[12]的样本图像分割输出。

图像分割可以表示为带有语义标签的像素分类问题(语义分割)或单个对象的分割问题(实例分割)。语义分割是对所有图像像素进行一组对象类别(如人、车、树、天空)的像素级标记,因此通常比图像分类更难,因为后者预测整个图像的单个标签。实例分割进一步扩展了语义分割的范围,通过检测和描绘图像中每个感兴趣的对象(例如,对个人的分割)。

我们的调研涵盖了图像分割的最新文献,并讨论了到2019年提出的一百多种基于深度学习的分割方法。我们对这些方法的不同方面提供了全面的回顾和见解,包括培训数据、网络架构的选择、损失功能、培训策略以及它们的关键贡献。我们对所述方法的性能进行了比较总结,并讨论了基于深度学习的图像分割模型的几个挑战和未来可能的方向。

我们将基于深度学习的工作根据其主要技术贡献分为以下几类:

  • 完全卷积网络
  • 卷积模型与图形模型
  • Encoder-decoder基础模型
  • 基于多尺度和金字塔网络的模型
  • 基于R-CNN的模型(例如实例分割)
  • 扩展卷积模型和DeepLab家族
  • 基于递归神经网络的模型
  • 基于注意力的模型
  • 生成模型和对抗性训练
  • 具有活动轮廓模型的卷积模型
  • 其他模型

本综述论文的一些主要贡献可以总结如下:

本次综述涵盖了与分割问题相关的现有文献,并综述了截止2019年提出的100多种分割算法,共分为10类。

我们提供了一个全面的调研和使用深度学习的分割算法的不同方面的深度分析,包括训练数据,网络架构的选择,损失函数,训练策略,以及他们的关键贡献。

我们提供了一个概述约20个流行的图像分割数据集,分为2D, 2.5D (RGB-D),和3D图像。

我们提供了一个比较总结的性质和性能的审查方法的分割目的,在流行的基准上进行。

我们为基于深度学习的图像分割提出了一些挑战和潜在的未来方向。

该调研的其余部分组织如下: 第2节提供了流行的深度神经网络架构的概述,作为许多现代分割算法的主干。第3节全面概述了最重要的、最先进的、基于深度学习的细分模型,截至2019年已有100多个。我们也讨论了他们的长处和贡献超过以往的工作在这里。第四部分回顾了一些最流行的图像分割数据集及其特点。第5.1节回顾了评价基于深度学习的细分模型的流行指标。在5.2节中,我们报告了这些模型的定量结果和实验性能。在第6节中,我们将讨论基于深度学习的分割方法的主要挑战和未来的发展方向。最后,我们在第7节中提出我们的结论。

成为VIP会员查看完整内容
0
72

相关内容

机器学习的一个分支,它基于试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的一系列算法。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

智能视频监控(IVS)是当前计算机视觉和机器学习领域的一个活跃研究领域,为监控操作员和取证视频调查者提供了有用的工具。人的再识别(PReID)是IVS中最关键的问题之一,它包括识别一个人是否已经通过网络中的摄像机被观察到。PReID的解决方案有无数的应用,包括检索显示感兴趣的个体的视频序列,甚至在多个摄像机视图上进行行人跟踪。文献中已经提出了不同的技术来提高PReID的性能,最近研究人员利用了深度神经网络(DNNs),因为它在类似的视觉问题上具有令人信服的性能,而且在测试时执行速度也很快。鉴于再识别解决方案的重要性和广泛的应用范围,我们的目标是讨论在该领域开展的工作,并提出一项最先进的DNN模型用于这项任务的调查。我们提供了每个模型的描述以及它们在一组基准数据集上的评估。最后,我们对这些模型进行了详细的比较,并讨论了它们的局限性,为今后的研究提供了指导。

成为VIP会员查看完整内容
0
43

摘要: 目标检测算法应用广泛,一直是计算机视觉领域备受关注的研究热点。近年来,随着深度学习的发展,3D图像的目标检测研究取得了巨大的突破。与2D目标检测相比,3D目标检测结合了深度信息,能够提供目标的位置、方向和大小等空间场景信息,在自动驾驶和机器人领域发展迅速。文中首先对基于深度学习的2D目标检测算法进行概述;其次根据图像、激光雷达、多传感器等不同数据采集方式,分析目前具有代表性和开创性的3D目标检测算法;结合自动驾驶的应用场景,对比分析不同 3D 目标检测算法的性能、优势和局限性;最后总结了3D目标检测的应用意义以及待解决的问题,并对 3D 目标检测的发展方向和新的挑战进行了讨论和展望。

成为VIP会员查看完整内容
0
60

题目: Image Segmentation Using Deep Learning: A Survey

摘要:

图像分割是图像处理和计算机视觉领域的一个重要课题,其应用领域包括场景理解、医学图像分析、机器人感知、视频监控、增强现实和图像压缩等。文献中已经发展了各种图像分割算法。最近,由于深度学习模型在广泛的视觉应用中取得了成功,已经有大量的工作致力于开发使用深度学习模型的图像分割方法。在本次调查中,我们对撰写本文时的文献进行了全面的回顾,涵盖了语义和实例级分割的广泛的开创性著作,包括全卷积像素标记网络,编码器-解码器架构,多尺度和基于金字塔的方法,递归网络,视觉注意力模型,以及在对抗性环境下的生成模型。我们调查了这些深度学习模型的相似性、优势和挑战,研究了最广泛使用的数据集,报告了性能,并讨论了该领域未来的研究方向。

成为VIP会员查看完整内容
0
51

准确地估计一幅图像中物体的数量是一项具有挑战性而又有意义的工作,并已在城市规划和公共安全等诸多领域得到了应用。在各种对象计数任务中,人群计数因其对社会保障和发展的特殊意义而显得尤为突出。幸运的是,人群计数技术的发展可以推广到其他相关领域,如车辆计数和环境调查,如果不考虑他们的特点。因此,许多研究者致力于人群计数,涌现出许多优秀成果。在这些工作中,它们对人群计数的发展一定是有帮助的。然而,我们应该考虑的问题是,为什么它们对这项任务是有效的。由于时间和精力的限制,我们无法分析所有的算法。在本文中,我们调查了220+工作,对人群计数模型进行了全面、系统的研究,主要是基于CNN的密度图估计方法。最后,根据评价指标,我们在人群统计数据集中选取了表现最好的前三名,并对其优缺点进行了分析。通过我们的分析,我们希望对人群计数的未来发展做出合理的推断和预测,同时也可以为其他领域的对象计数问题提供可行的解决方案。我们提供了NWPU数据集验证集中一些主流算法的密度图和预测结果,以供比较和测试。同时,还提供了密度图生成和评价工具。所有的代码和评估结果在https://github.com/guangshuai/survey-forcrowd -counting上公开。

概述

在过去的几十年里,越来越多的研究社区将物体计数问题作为主要的研究方向,因此,许多作品被发表来计算图像或视频中物体的数量,这些作品跨越了各种各样的领域,如人群计数,细胞显微,树叶,环境调查。在所有这些领域中,人群计数是至关重要的,在一些人群场景中,如人群分析和视频监控中,人群计数对于构建更高层次的认知能力至关重要。随着世界人口的不断增长和随之而来的城市化,在许多场合,如游行、音乐会和体育场,人群迅速聚集。在这些场景中,人群计数对于社会安全和控制管理起着不可或缺的作用。

考虑到上述人群计数的特殊重要性,越来越多的研究人员尝试设计各种复杂的项目来解决人群计数的问题。特别是在过去的五年中,随着深度学习的出现,基于卷积神经网络(CNNs)的模型在各种计算机视觉任务中占据了压倒性的主导地位,包括人群计数。虽然不同的任务有其独特的属性,但也存在共同的特征,如结构特征和分布模式。幸运的是,人群计数技术可以通过特定的工具扩展到其他领域。因此,本文希望通过对人群计数任务的深度挖掘,特别是基于CNN的密度估计和人群计数模型,为其他任务提供合理的解决方案。我们的调查旨在涉及各个部分,从一些有趣的尚未探索的研究方向的算法分类。除了对现有的基于CNN的人群计数和密度估计模型、代表数据集和评价指标进行分类审查外,还研究了一些在很大程度上影响设计模型性能的因素和属性,如干扰因素和阴性样本。我们在NWPU数据集的验证集[wang2020nwpu]中提供了一些主流算法的密度图和预测结果进行对比和测试。同时,还提供了密度图生成和评价工具。所有的代码和评估结果在https://github.com/guangshuai/survey-forcrowd -counting上公开。

本文贡献:

  • 全面、系统地从各个方面进行综述。我们根据网络结构、监督形式、学习范式等几个分类对基于cnn的模型进行了分类。分类可以通过对基于cnn的方法的关键技术的深入了解来激励研究。

  • 基于属性的性能分析。在分析SOTA方法性能的基础上,分析了SOTA方法性能良好的原因和使用的技术。此外,我们还讨论了促使研究人员设计更有效算法的各种挑战因素。

  • 开放的问题和未来的方向。通过对模型设计、数据集收集和一些具有领域自适应或迁移学习的其他领域的推广等重要问题的研究,探索了未来一些有前景的研究方向。

成为VIP会员查看完整内容
0
24

【导读】医学图像配准( Medical Image Registration)作为近年来的研究热点之一,受到了广泛关注,每年在各大会议上都有大量的相关文章发表。当前,基于深度学习的医学图像配准变得越来越流行,人们提出了许多方法来解决这一领域的不同问题。美国埃默里大学医学院Xiaofeng Yang老师课题组新出的这篇论文对近几年医学图像配准深度学习方法进行了全面综述,根据其方法、特征和流行程度分为七类,对每个类别进行了详细的调研,强调了其重要的点及其相应挑战,帮助读者更好地了解当前的研究现状和思路,并且使用基准数据集对基于深度学习的肺和脑配准方法进行了全面比较,最后也介绍了未来的研究方向。

题目:Deep Learning in Medical Image Registration: A Review

作者:Yabo Fu, Yang Lei, Tonghe Wang, Walter J. Curran, Tian Liu, Xiaofeng Yang

【摘要】本文综述了基于深度学习的医学图像配准方法和基于深度学习的配准方法在医学领域的最新发展和应用。这些方法根据其方法、特征和流行程度分为七类。我们对每个类别进行了详细的审查,强调了重要的贡献和确定了具体的挑战。在详细检查每一类别之后,提出了简短的评价,以总结其成就和未来的潜力。我们使用基准数据集对基于深度学习的肺和脑配准方法进行了全面比较。最后,我们从各个方面对所有被引工作进行统计分析,揭示了基于深度学习的医学图像配准的普及和未来趋势。

引言

图像配准又称图像融合或图像匹配,是基于图像外观对两幅或多幅图像进行配准的过程。医学图像配准试图找到一个最佳的空间转换,以最好地对齐底层的解剖结构。医学图像配准在很多临床应用中都有使用,如image guidance [22,123,148,170],motiontracking [13,46,172],segmentation [44,57,174,171,173,176],dose accumulation [1,153],imagereconstruction [91]等。

医学图像配准是一个广泛的课题,可以从不同的角度进行分类。从输入图像的角度来看,挂号方式可以分为单峰挂号、多峰挂号、患者间挂号、患者内挂号(如当天挂号或当日挂号)。从变形模型的角度看,配准方法可分为刚性配准方法、仿射配准方法和可变形配准方法。从感兴趣区域(ROI)的角度来看,配准方法可以根据脑、肺等解剖部位进行分组。从图像对维数的角度来看,配准方法可分为3D到3D、3D到2D、2D到2D/3D。不同的应用程序和配准方式面临着不同的挑战。对于多模态图像配准,由于不同成像方式之间固有的外观差异,很难设计出准确的图像相似度度量。由于不同患者的基础解剖结构不同,因此患者之间的配准可能很棘手。由于代谢过程、排便、患者增/减体重等引起的图像外观变化,患者不同天数的住院配准具有挑战性。为了提供实时的图像制导,配准的计算效率至关重要。

人们提出了许多方法来应对上述挑战。目前比较流行的配准方法有optical flow [169,167]、demons [154]、ANTs[3]、HAMMER[131]、ELASTIX[75]等。尽管医学图像配准已被广泛研究,但它仍然是一个热门的研究主题。医学图像配准领域发展迅速,每年都有数百篇论文发表。近年来,基于深度学习的方法已经改变了医学图像处理研究的面貌,并在许多应用中取得了最新的成果[25、27、45、58、84、85、86、88、89、97、98、156、157、158、160、161]。然而,医学图像配准中的深度学习直到最近三到四年才得到广泛的研究。虽然已有多篇关于医学图像分析中深度学习的综述文献发表[73、93、96、105、106、121、132、182],但针对医学图像配准[60]中深度学习的综述文献较少。本文的目的是总结基于深度学习的医学图像配准方法的最新发展、挑战和趋势。通过这篇综述,我们旨在:

1)综述了基于深度学习的医学图像配准的最新进展。

2)突出贡献、确定挑战并概述未来趋势。

3)从不同角度提供最新出版物的详细统计数据。

在这篇文章中,将DL-based医学图像配准方法按其方法,特征和受欢迎程度分为七类,包括1)基于RL的方法,2)基于深度相似性的方法,3) 监督变换预测, 4)无监督变换预测, 5) 医学图像配准中的GAN, 6) 使用深度学习的配准验证,和7) 其他基于学习的方法。

图1. 医学图像配准中基于深度学习的七类方法综述

在每个类别中,我们提供了一个完整的表格,列出了所有属于该类别的被综述工作并总结了它们的重要特征。我们总共收集了150多篇与基于深度学习的医学图像配准密切相关的论文。这些工作大多发表于2016年至2019年之间。在图2中,出版物的数量通过堆叠柱状图来表示。论文的数量是按类别计算的。

从图2可以看出,人们对有监督变换预测(SupCNN)和无监督变换预测(UnsupCNN)的兴趣明显增加。与此同时,GAN逐渐受到欢迎。

图2. 基于深度学习的医学图像配准中出版的文章数量。虚线表示近年来人们对基于深度学习的配准方法越来越感兴趣。“ DeepSimilarity”是在传统配准框架中使用基于DL的相似性度量的类别。“ RegValidation”代表使用DL进行配准验证的类别。

表1. 基于深度相似性的方法概述

表2. RL在医学图像配准中的应用概况

表3. 监督变换预测方法综述

表4. 无监督变换预测方法综述

表5 GAN配准方法概述

表6使用深度学习的配准验证方法概述

表7其他基于深度学习的图像配准方法综述

表8 DIRLAB数据集中不同方法的目标配准误差(TRE)值比较,TRE单位:(mm), *:传统DIR方法

表9用于脑配准的基准数据集和评价指标

图4. 基于深度学习的图像配准方法各属性的百分比饼图。

挑战与机遇

对于有监督的基于深度学习的方法,最常见的挑战之一是缺乏具有已知转换的训练数据集。这个问题可以通过各种数据扩充方法来缓解。然而,数据增强方法可能会引入额外的误差,如不切实际的人工转换的偏差和在训练和测试阶段之间的图像域转移。

配准验证方法与配准方法同样重要。我们注意到2019年越来越多的论文关注配准验证。为了可靠地评价不同配准方法在不同参数配置下的性能,需要对配准验证方法进行更多的研究。

趋势

从被引文献的统计数据来看,对于快速图像配准,存在直接变换预测的明显趋势。到目前为止,有监督的和无监督的变换预测方法的研究几乎是相等的,这两种方法的发表数量都很接近。有监督方法和无监督方法各有优缺点。我们推测,在未来,更多的研究将集中在有监督和无监督相结合的方法上。由于GAN不仅可以用于引入额外的正则化,还可以用于图像域转换,从而实现多模态到单模态的图像配准,因此基于GAN的配准方法逐渐得到了广泛的应用。基于GAN的医学图像配准技术将稳步发展。由于配准问题的病态性,新的变换正则化技术一直是研究的热点。

成为VIP会员查看完整内容
0
25

题目: Understanding Deep Learning Techniques for Image Segmentation

简介: 机器学习已被大量基于深度学习的方法所淹没。各种类型的深度神经网络(例如卷积神经网络,递归网络,对抗网络,自动编码器等)有效地解决了许多具有挑战性的计算机视觉任务,例如在不受限制的环境中对对象进行检测,定位,识别和分割。尽管有很多关于对象检测或识别领域的分析研究,但相对于图像分割技术,出现了许多新的深度学习技术。本文从分析的角度探讨了图像分割的各种深度学习技术。这项工作的主要目的是提供对图像分割领域做出重大贡献的主要技术的直观理解。从一些传统的图像分割方法开始,本文进一步描述了深度学习对图像分割域的影响。此后,大多数主要的分割算法已按照专用于其独特贡献的段落进行了逻辑分类。

成为VIP会员查看完整内容
Understanding Deep Learning Techniques for Image Segmentation.pdf
0
64
小贴士
相关论文
Image Segmentation Using Deep Learning: A Survey
Shervin Minaee,Yuri Boykov,Fatih Porikli,Antonio Plaza,Nasser Kehtarnavaz,Demetri Terzopoulos
23+阅读 · 2020年1月15日
Object Detection in 20 Years: A Survey
Zhengxia Zou,Zhenwei Shi,Yuhong Guo,Jieping Ye
32+阅读 · 2019年5月13日
FocusNet: An attention-based Fully Convolutional Network for Medical Image Segmentation
Chaitanya Kaul,Suresh Manandhar,Nick Pears
4+阅读 · 2019年2月8日
Chunwei Tian,Yong Xu,Lunke Fei,Ke Yan
3+阅读 · 2018年10月11日
Scene Coordinate and Correspondence Learning for Image-Based Localization
Mai Bui,Shadi Albarqouni,Slobodan Ilic,Nassir Navab
3+阅读 · 2018年7月23日
Lin Yang,Yizhe Zhang,Zhuo Zhao,Hao Zheng,Peixian Liang,Michael T. C. Ying,Anil T. Ahuja,Danny Z. Chen
4+阅读 · 2018年6月2日
Marvin T. T. Teichmann,Roberto Cipolla
7+阅读 · 2018年5月15日
Holger R. Roth,Chen Shen,Hirohisa Oda,Masahiro Oda,Yuichiro Hayashi,Kazunari Misawa,Kensaku Mori
5+阅读 · 2018年3月23日
Holger R. Roth,Hirohisa Oda,Xiangrong Zhou,Natsuki Shimizu,Ying Yang,Yuichiro Hayashi,Masahiro Oda,Michitaka Fujiwara,Kazunari Misawa,Kensaku Mori
10+阅读 · 2018年3月20日
Ksenia Konyushkova,Raphael Sznitman,Pascal Fua
9+阅读 · 2018年1月16日
Top