题目: 3D Deep Learning on Medical Images: A Review

摘要:

机器学习,图形处理技术和医学成像数据的可用性的快速发展导致在医学领域深度学习模型的使用迅速增加。基于卷积神经网络(CNN)的体系结构的快速发展加剧了这种情况,医学成像社区采用了该体系结构来帮助临床医生进行疾病诊断。自2012年AlexNet取得巨大成功以来,CNNs越来越多地用于医学图像分析,以提高人类临床医生的效率。近年来,三维(3D)CNNs已用于医学图像分析。在本文中,追溯了3D CNN如何从其机器学习根源发展的历史,对3D CNN进行了简要的数学描述,并在将医学图像输入3D CNNs之前对其进行了必要的预处理。文中还回顾了使用3D CNNs(及其变体)在不同医学领域(例如分类,分割,检测和定位)的3D医学成像分析领域的重要研究。通过讨论与在医学成像领域中使用3D CNNs相关的挑战(以及通常使用深度学习模型)以及该领域可能的未来趋势来得出结论。

成为VIP会员查看完整内容
0
33

相关内容

主题: Video Super Resolution Based on Deep Learning: A comprehensive survey

摘要: 近年来,深度学习在图像识别,视频分析,自然语言处理和语音识别(包括视频超分辨率任务)领域取得了长足的进步。在这项调查中,我们全面研究了基于深度学习的28种最先进的视频超分辨率方法。众所周知,视频帧内信息的杠杆作用对于视频超分辨率很重要。因此,我们提出了一种分类法,并根据利用帧间信息的方法将这些方法分为六个子类别。此外,详细描述了所有方法的体系结构和实现细节(包括输入和输出,损失函数和学习率)。最后,我们总结并比较了它们在不同放大率下在一些基准数据集上的性能。我们还讨论了一些挑战,视频超分辨率社区的研究人员需要进一步解决这些挑战。因此,这项工作有望为视频超分辨率研究的未来发展做出贡献,并减轻现有和未来技术的可理解性和可移植性。

成为VIP会员查看完整内容
0
13

摘要

一个综合的人工智能系统不仅需要用不同的感官(如视觉和听觉)感知环境,还需要推断世界的条件(甚至因果)关系和相应的不确定性。在过去的十年里,我们看到了许多感知任务的重大进展,比如视觉对象识别和使用深度学习模型的语音识别。然而,对于更高层次的推理,具有贝叶斯特性的概率图模型仍然更加强大和灵活。近年来,贝叶斯深度学习作为一种将深度学习与贝叶斯模型紧密结合的统一的概率框架出现了。在这个总体框架中,利用深度学习对文本或图像的感知可以提高更高层次推理的性能,推理过程的反馈也可以增强文本或图像的感知。本文对贝叶斯深度学习进行了全面的介绍,并对其在推荐系统主题模型控制等方面的最新应用进行了综述。此外,我们还讨论了贝叶斯深度学习与其他相关课题如神经网络的贝叶斯处理之间的关系和区别。

介绍

在过去的十年中,深度学习在许多流行的感知任务中取得了显著的成功,包括视觉对象识别、文本理解和语音识别。这些任务对应于人工智能(AI)系统的看、读、听能力,它们无疑是人工智能有效感知环境所必不可少的。然而,要建立一个实用的、全面的人工智能系统,仅仅有感知能力是远远不够的。首先,它应该具备思维能力。

一个典型的例子是医学诊断,它远远超出了简单的感知:除了看到可见的症状(或CT上的医学图像)和听到患者的描述,医生还必须寻找所有症状之间的关系,最好推断出它们的病因。只有在那之后,医生才能给病人提供医疗建议。在这个例子中,虽然视觉和听觉的能力让医生能够从病人那里获得信息,但医生的思维能力才是关键。具体来说,这里的思维能力包括识别条件依赖、因果推理、逻辑演绎、处理不确定性等,显然超出了传统深度学习方法的能力。幸运的是,另一种机器学习范式,概率图形模型(PGM),在概率或因果推理和处理不确定性方面表现出色。问题在于,PGM在感知任务上不如深度学习模型好,而感知任务通常涉及大规模和高维信号(如图像和视频)。为了解决这个问题,将深度学习和PGM统一到一个有原则的概率框架中是一个自然的选择,在本文中我们称之为贝叶斯深度学习(BDL)。 在上面的例子中,感知任务包括感知病人的症状(例如,通过看到医学图像),而推理任务包括处理条件依赖性、因果推理、逻辑推理和不确定性。通过贝叶斯深度学习中有原则的整合,将感知任务和推理任务视为一个整体,可以相互借鉴。具体来说,能够看到医学图像有助于医生的诊断和推断。另一方面,诊断和推断反过来有助于理解医学图像。假设医生可能不确定医学图像中的黑点是什么,但如果她能够推断出症状和疾病的病因,就可以帮助她更好地判断黑点是不是肿瘤。 再以推荐系统为例。一个高精度的推荐系统需要(1)深入了解条目内容(如文档和电影中的内容),(2)仔细分析用户档案/偏好,(3)正确评价用户之间的相似度。深度学习的能力有效地处理密集的高维数据,如电影内容擅长第一子任务,而PGM专攻建模条件用户之间的依赖关系,项目和评分(参见图7为例,u, v,和R是用户潜在的向量,项目潜在的向量,和评级,分别)擅长其他两个。因此,将两者统一在一个统一的概率原则框架中,可以使我们在两个世界中都得到最好的结果。这种集成还带来了额外的好处,可以优雅地处理推荐过程中的不确定性。更重要的是,我们还可以推导出具体模型的贝叶斯处理方法,从而得到更具有鲁棒性的预测。

作为第三个例子,考虑根据从摄像机接收到的实时视频流来控制一个复杂的动态系统。该问题可以转化为迭代执行两项任务:对原始图像的感知和基于动态模型的控制。处理原始图像的感知任务可以通过深度学习来处理,而控制任务通常需要更复杂的模型,如隐马尔科夫模型和卡尔曼滤波器。由控制模型选择的动作可以依次影响接收的视频流,从而完成反馈回路。为了在感知任务和控制任务之间实现有效的迭代过程,我们需要信息在它们之间来回流动。感知组件将是控制组件估计其状态的基础,而带有动态模型的控制组件将能够预测未来的轨迹(图像)。因此,贝叶斯深度学习是解决这一问题的合适选择。值得注意的是,与推荐系统的例子类似,来自原始图像的噪声和控制过程中的不确定性都可以在这样的概率框架下自然地处理。 以上例子说明了BDL作为一种统一深度学习和PGM的原则方式的主要优势:感知任务与推理任务之间的信息交换、对高维数据的条件依赖以及对不确定性的有效建模。关于不确定性,值得注意的是,当BDL应用于复杂任务时,需要考虑三种参数不确定性:

  1. 神经网络参数的不确定性
  2. 指定任务参数的不确定性
  3. 感知组件和指定任务组件之间信息交换的不确定性

通过使用分布代替点估计来表示未知参数,BDL提供了一个很有前途的框架,以统一的方式处理这三种不确定性。值得注意的是,第三种不确定性只能在BDL这样的统一框架下处理;分别训练感知部分和任务特定部分相当于假设它们之间交换信息时没有不确定性。注意,神经网络通常是过参数化的,因此在有效处理如此大的参数空间中的不确定性时提出了额外的挑战。另一方面,图形模型往往更简洁,参数空间更小,提供了更好的可解释性。

除了上述优点之外,BDL内建的隐式正则化还带来了另一个好处。通过在隐藏单元、定义神经网络的参数或指定条件依赖性的模型参数上施加先验,BDL可以在一定程度上避免过拟合,尤其是在数据不足的情况下。通常,BDL模型由两个组件组成,一个是感知组件,它是某种类型神经网络的贝叶斯公式,另一个是任务特定组件,使用PGM描述不同隐藏或观察变量之间的关系。正则化对它们都很重要。神经网络通常过度参数化,因此需要适当地正则化。正则化技术如权值衰减和丢失被证明是有效地改善神经网络的性能,他们都有贝叶斯解释。在任务特定组件方面,专家知识或先验信息作为一种正规化,可以在数据缺乏时通过施加先验来指导模型。 在将BDL应用于实际任务时,也存在一些挑战。(1)首先,设计一个具有合理时间复杂度的高效的神经网络贝叶斯公式并非易事。这一行是由[42,72,80]开创的,但是由于缺乏可伸缩性,它没有被广泛采用。幸运的是,这个方向的一些最新进展似乎为贝叶斯神经网络的实际应用提供了一些启示。(2)第二个挑战是如何确保感知组件和任务特定组件之间有效的信息交换。理想情况下,一阶和二阶信息(例如,平均值和方差)应该能够在两个组件之间来回流动。一种自然的方法是将感知组件表示为PGM,并将其与特定任务的PGM无缝连接,如[24,118,121]中所做的那样。 本综述提供了对BDL的全面概述,以及各种应用程序的具体模型。综述的其余部分组织如下:在第2节中,我们将回顾一些基本的深度学习模型。第3节介绍PGM的主要概念和技术。这两部分作为BDL的基础,下一节第4节将演示统一BDL框架的基本原理,并详细说明实现其感知组件和特定于任务的组件的各种选择。第5节回顾了应用于不同领域的BDL模型,如推荐系统、主题模型和控制,分别展示了BDL在监督学习、非监督学习和一般表示学习中的工作方式。第6部分讨论了未来的研究问题,并对全文进行了总结。

结论和未来工作

BDL致力于将PGM和NN的优点有机地整合在一个原则概率框架中。在这项综述中,我们确定了这种趋势,并回顾了最近的工作。BDL模型由感知组件和任务特定组件组成;因此,我们分别描述了过去几年开发的两个组件的不同实例,并详细讨论了不同的变体。为了学习BDL中的参数,人们提出了从块坐标下降、贝叶斯条件密度滤波、随机梯度恒温器到随机梯度变分贝叶斯等多种类型的算法。 BDL从PGM的成功和最近在深度学习方面有前景的进展中获得了灵感和人气。由于许多现实世界的任务既涉及高维信号(如图像和视频)的有效感知,又涉及随机变量的概率推理,因此BDL成为利用神经网络的感知能力和PGM的(条件和因果)推理能力的自然选择。在过去的几年中,BDL在推荐系统、主题模型、随机最优控制、计算机视觉、自然语言处理、医疗保健等各个领域都有成功的应用。在未来,我们不仅可以对现有的应用进行更深入的研究,还可以对更复杂的任务进行探索。此外,最近在高效BNN (BDL的感知组件)方面的进展也为进一步提高BDL的可扩展性奠定了基础。

成为VIP会员查看完整内容
0
115

题目: Image Segmentation Using Deep Learning: A Survey

摘要:

图像分割是图像处理和计算机视觉领域的一个重要课题,其应用领域包括场景理解、医学图像分析、机器人感知、视频监控、增强现实和图像压缩等。文献中已经发展了各种图像分割算法。最近,由于深度学习模型在广泛的视觉应用中取得了成功,已经有大量的工作致力于开发使用深度学习模型的图像分割方法。在本次调查中,我们对撰写本文时的文献进行了全面的回顾,涵盖了语义和实例级分割的广泛的开创性著作,包括全卷积像素标记网络,编码器-解码器架构,多尺度和基于金字塔的方法,递归网络,视觉注意力模型,以及在对抗性环境下的生成模型。我们调查了这些深度学习模型的相似性、优势和挑战,研究了最广泛使用的数据集,报告了性能,并讨论了该领域未来的研究方向。

成为VIP会员查看完整内容
0
53

随着机器学习、图形处理技术和医学成像数据的迅速发展,机器学习模型在医学领域的使用也迅速增加。基于卷积神经网络(CNN)架构的快速发展加剧了这一问题,医学成像社区采用这种架构来帮助临床医生进行疾病诊断。自2012年AlexNet取得巨大成功以来,CNNs越来越多地被用于医学图像分析,以提高临床医生的工作效率。近年来,三维(3D) CNNs已被用于医学图像分析。在这篇文章中,我们追溯了3D CNN的发展历史,从它的机器学习的根源,简单的数学描述3D CNN和医学图像在输入到3D CNNs之前的预处理步骤。我们回顾了在不同医学领域,如分类、分割、检测和定位,使用三维CNNs(及其变体)进行三维医学成像分析的重要研究。最后,我们讨论了在医学成像领域使用3D CNNs的挑战(以及使用深度学习模型)和该领域可能的未来趋势。

成为VIP会员查看完整内容
0
34

The rapid advancements in machine learning, graphics processing technologies and availability of medical imaging data has led to a rapid increase in use of machine learning models in the medical domain. This was exacerbated by the rapid advancements in convolutional neural network (CNN) based architectures, which were adopted by the medical imaging community to assist clinicians in disease diagnosis. Since the grand success of AlexNet in 2012, CNNs have been increasingly used in medical image analysis to improve the efficiency of human clinicians. In recent years, three-dimensional (3D) CNNs have been employed for analysis of medical images. In this paper, we trace the history of how the 3D CNN was developed from its machine learning roots, brief mathematical description of 3D CNN and the preprocessing steps required for medical images before feeding them to 3D CNNs. We review the significant research in the field of 3D medical imaging analysis using 3D CNNs (and its variants) in different medical areas such as classification, segmentation, detection, and localization. We conclude by discussing the challenges associated with the use of 3D CNNs in the medical imaging domain (and the use of deep learning models, in general) and possible future trends in the field.

0
7
下载
预览

题目: Review: deep learning on 3D point clouds

简介:

点云是在三维度量空间中定义的点集。点云已经成为三维表示中最重要的数据格式之一。由于激光雷达等获取设备的可用性增加以及机器人、自动驾驶、增强和虚拟现实等领域的应用增加,它越来越受欢迎。深度学习现在是计算机视觉中最强大的数据处理工具,成为分类、分割和检测等任务的首选技术。深度学习技术主要应用于具有结构化网格的数据,而点云则是非结构化的。点云的无结构使得深度学习直接处理点云非常具有挑战性。早期的方法通过将点云预处理成结构化的网格格式来克服这一挑战,代价是计算成本的增加或深度信息的丢失。然而,最近许多先进的深度学习技术正在开发中,这些技术可以直接操作点云。这篇论文包含了对当前最先进的深度学习技术的调查,这些技术主要集中在点云数据上。我们首先简要地讨论了在点云上直接使用深度学习所面临的主要挑战,我们还简要地讨论了通过将点云预处理成结构化网格来克服这些挑战的早期方法。然后,我们回顾了各种先进的深度学习方法,直接处理点云的非结构化形式。我们介绍了流行的3D点云基准数据集。我们还进一步讨论了深度学习在当前流行的三维视觉任务中的应用,包括分类、分割和检测。

作者:

王程,福建省特支“双百计划”入选者、福建省科技创新领军人才、厦门大学计算机科学系教授、博士生导师、副院长。研究方向:三维视觉,空间大数据分析,激光雷达,虚拟/增强现实。个人主页:http://www.cwang93.net/#

成为VIP会员查看完整内容
0
28

简介:

深度学习技术在图像降噪方面获得了极大的关注。但是,处理噪声的不同类型的学习方法有很大的差异。具体来说,基于深度学习的判别式学习可以很好地解决高斯噪声。基于深度学习的优化模型方法对真实噪声的估计有很好的效果。迄今为止,很少有相关研究来总结用于图像去噪的不同深度学习技术。在本文中,作者对图像去噪中不同深度技术进行了比较研究。我们首先对(1)用于加白噪声图像的深卷积神经网络(CNN),(2)用于真实噪声图像的深CNN,(3)用于盲目去噪的深CNN和(4)用于混合噪声图像的深CNN进行分类,这是噪声,模糊和低分辨率图像的组合。然后,又分析了不同类型的深度学习方法的动机和原理。接下来,将在定量和定性分析方面比较和验证公共去噪数据集的最新方法。最后,论文指出了一些潜在的挑战和未来研究的方向。

简要内容:

图像去噪的深度学习方法的基础框架:

  • 机器学习方法
  • 神经网络方法
  • 卷积神经网络方法

图像去噪中的深度学习技术:

  • 用于加白噪声图像的深卷积神经网络
  • 深度学习技术可实现真正的噪点图像降噪
  • 盲降噪的深度学习技术
  • 深度学习技术用于混合噪声图像去噪
成为VIP会员查看完整内容
0
42

论文主题: Deep Semantic Segmentation of Natural and Medical Images: A Review

论文摘要: (医学)图像语义分割任务包括将图像的每个像素(或几个像素)分类为一个实例,其中每个实例(或类别)对应于一个类。此任务是场景理解概念的一部分,或更好地解释全局 图像的上下文。在医学图像分析领域,图像分割可用于图像引导干预、放射治疗或改进的放射诊断。在这篇综述中,我们将领先的基于深度学习的医学和非医学图像分割解决方案分为六大类:深度架构、基于数据合成、基于损失函数、序列模型、弱监督和多任务方法。此外,针对每一组,我们分析了这些组的每一个变体,并讨论了当前语义图像分割方法的局限性和未来的研究方向。

成为VIP会员查看完整内容
0
37

摘要:深度学习是近年来应用最广泛的心脏图像分割方法。在这篇文章中,我们回顾了超过100篇使用深度学习的心脏图像分割论文,这些论文涵盖了常见的成像方式,包括磁共振成像(MRI)、计算机断层扫描(CT)和超声(US)以及感兴趣的主要解剖结构(心室、心房和血管)。此外,公开可用的心脏图像数据集和代码库的摘要也包括在内,为鼓励重复性研究提供了基础。最后,我们讨论了当前基于深度学习的方法的挑战和局限性(缺乏标签、不同领域的模型可泛化性、可解释性),并提出了未来研究的潜在方向。

成为VIP会员查看完整内容
0
21
小贴士
相关VIP内容
相关资讯
2019->2020必看的十篇「深度学习领域综述」论文
极市平台
15+阅读 · 2020年1月2日
最全综述 | 医学图像处理
计算机视觉life
28+阅读 · 2019年6月15日
图数据表示学习综述论文
专知
29+阅读 · 2019年6月10日
深度学习与医学图像分析
人工智能前沿讲习班
18+阅读 · 2019年6月8日
自然语言处理常识推理综述论文,60页pdf
专知
28+阅读 · 2019年4月4日
深度学习(deep learning)发展史
机器学习算法与Python学习
6+阅读 · 2018年3月19日
深度学习下的医学图像分析(四)
AI研习社
10+阅读 · 2017年7月19日
相关论文
Chunwei Tian,Lunke Fei,Wenxian Zheng,Yong Xu,Wangmeng Zuo,Chia-Wen Lin
9+阅读 · 2020年8月3日
3D Deep Learning on Medical Images: A Review
Satya P. Singh,Lipo Wang,Sukrit Gupta,Haveesh Goli,Parasuraman Padmanabhan,Balázs Gulyás
7+阅读 · 2020年4月1日
FocalMix: Semi-Supervised Learning for 3D Medical Image Detection
Dong Wang,Yuan Zhang,Kexin Zhang,Liwei Wang
7+阅读 · 2020年3月20日
Deep learning for cardiac image segmentation: A review
Chen Chen,Chen Qin,Huaqi Qiu,Giacomo Tarroni,Jinming Duan,Wenjia Bai,Daniel Rueckert
11+阅读 · 2019年11月9日
Ziwei Zhang,Peng Cui,Wenwu Zhu
36+阅读 · 2018年12月11日
Chunwei Tian,Yong Xu,Lunke Fei,Ke Yan
3+阅读 · 2018年10月11日
A Survey on Deep Transfer Learning
Chuanqi Tan,Fuchun Sun,Tao Kong,Wenchang Zhang,Chao Yang,Chunfang Liu
10+阅读 · 2018年8月6日
Seyed Sajad Mousavi,Michael Schukat,Enda Howley
12+阅读 · 2018年6月23日
Holger R. Roth,Chen Shen,Hirohisa Oda,Masahiro Oda,Yuichiro Hayashi,Kazunari Misawa,Kensaku Mori
5+阅读 · 2018年3月23日
Quanshi Zhang,Song-Chun Zhu
11+阅读 · 2018年2月7日
Top