摘要:近年来,在开发更准确、高效的医学和自然图像分割机器学习算法方面取得了重大进展。在这篇综述文章中,我们强调了机器学习算法在医学成像领域有效和准确分割中的重要作用。我们特别关注几个关键的研究涉及到应用机器学习方法在生物医学图像分割。我们回顾了经典的机器学习算法,如马尔可夫随机场、k均值聚类、随机森林等。尽管与深度学习技术相比,这种经典的学习模型往往精度较低,但它们通常更具有样本效率,结构也更简单。我们还回顾了不同的深度学习结构,如人工神经网络(ANNs)、卷积神经网络(CNNs)和递归神经网络(RNNs),并给出了这些学习模型在过去三年中获得的分割结果。我们强调每种机器学习范式的成功和局限性。此外,我们还讨论了与不同机器学习模型训练相关的几个挑战,并提出了一些解决这些挑战的启发方法。

4+
0+

相关内容

简介: 深度学习通常被认为具有解决问题的近乎形而上的能力。 然而,深度学习背后的技术通常被视为神秘的黑匣子。 在本教程中,我们试图为深入了解深度学习提供坚实的基础。 我们的主要重点是反向传播和自动微分,但我们还将讨论各种相关主题,包括梯度下降和出现的各种参数。 此外,我们指出了深度学习与其他非深度技术之间的许多联系,这些联系主要是隐马尔可夫模型(HMM)和支持向量机(SVM)。 但是首先,我们讨论人工神经网络,这是深度学习的基本组成部分。

大纲介绍:

  • 介绍
  • 神经网络的发展
  • 为什么是神经网络呢?
  • 决定
  • 自动微分
  • 反向传播
  • 结论
  • 问题
  • 附件
0+
0+

摘要:深度学习是近年来应用最广泛的心脏图像分割方法。在这篇文章中,我们回顾了超过100篇使用深度学习的心脏图像分割论文,这些论文涵盖了常见的成像方式,包括磁共振成像(MRI)、计算机断层扫描(CT)和超声(US)以及感兴趣的主要解剖结构(心室、心房和血管)。此外,公开可用的心脏图像数据集和代码库的摘要也包括在内,为鼓励重复性研究提供了基础。最后,我们讨论了当前基于深度学习的方法的挑战和局限性(缺乏标签、不同领域的模型可泛化性、可解释性),并提出了未来研究的潜在方向。

0+
0+

摘要:场景分割问题是计算机视觉领域基本而重要的问题,具有广泛的应用价值。 场景分割需要解决的科学问题是如何对场景中的要素进行精确分割。其主要难 点在于场景图像的结构十分复杂,包含多种类别和多种尺度的要素,且这些要素 之间存在着丰富的空间关系。同时在实际应用中,在保证场景分割精度的条件下 也需要综合考虑计算复杂度和速度。因此,场景分割问题的主要难点和挑战可概 括为三个方面:1)尺度变换多样,2)空间关系复杂,3)时间复杂度高。近年来, 基于深度学习,尤其是卷积神经网络的方法在场景分割领域取得了巨大的进展, 但基于深度学习的场景分割方法还存在着一定的局限性。本课题对基于深度学 习的场景分割方法进行研究,针对上述三个难点和挑战,取得了以下成果:

  1. 基于尺度自适应卷积的场景分割方法 目前基于深度学习的场景分割方法主要利用标准卷积,其感受野大小固定。 而场景图像中要素的尺度变化多样,导致大尺度要素分割结果不连续,小尺度要 素与背景混淆而遗漏的问题。针对该问题,我们提出尺度自适应卷积方法,对场 景图像中不同尺度的要素自适应改变卷积感受野大小。该方法可以缓解由于标 准卷积感受野固定引起的大尺度要素分割结果不连续和小尺度要素被遗漏的问 题。尺度自适应卷积的整个过程是可导的,其卷积参数可以利用一个端到端的结 构从数据中自动和隐式的学习。我们在 Cityscapes 和 ADE20K 两个数据集上验 证了尺度自适应卷积的有效性。

  2. 基于全局和局部修正的场景分割方法 场景图像中具有复杂的空间关系和丰富的上下文信息,对场景中要素的识 别具有极大的帮助作用。我们分别利用全局上下文信息和局部上下文信息对给 定的场景分割结果进行修正。我们首先提出全局残差修正网络,通过捕捉图像中 的全局上下文信息进行分割结果的修正。经过全局残差修正网络修正之后,原 始分割结果中不一致、不连续的区域将被修正。其次,我们提出局部边界修正网 络,通过捕捉图像中的局部上下文信息,对给定分割结果的边界和细节进行修 正。经过局部边界修正网络修正之后,原始分割结果中的分割边界将更加精确和 平滑。这两种修正网络均可单独使用,也可以级联在给定的分割网络之后形成一 个统一框架,以共同提高修正结果的精度。在 Cityscapes 和 ADE20K 两个数据 集上的结果显示这两种修正网络可以有效提高给定分割结果的精度。

  3. 基于高分辨率特征图重建的场景分割加速方法 现有大多数场景分割方法着眼于提高模型的分割精度,因此使用较深的神 经网络和较高分辨率的特征图,分割精度较高但速度较慢。为解决由于较大尺寸 输入图像和高分辨率特征图导致的场景分割速度较慢的问题,我们提出高分辨 率特征图重建方法对任意给定的场景分割框架进行加速。该方法利用降采样输 入图像的特征图对原始大小输入图像的特征图进行重建。利用降采样输入图像 进行特征学习的速度较快,而重建原始大小输入图像的特征图可以缓解使用降 采样输入图像导致的细节丢失和精度下降问题。我们在两个公开数据集上验证 了高分辨率特征图重建方法的有效性,当使用 1/2 降采样率时,可以在分割精度 损失忽略不计的情况下得到约 3 倍的加速比。

关键词:场景分割,深度学习,尺度自适应卷积,全局和局部修正网络,高分辨 率特征图重建

作者简介:张蕊,2009年9月-2013 年7月,在北京航空航天大学数学与系统科学学院获理学学士学位。2013年9月-2019年7月,在中国科学院计算技术研究所攻读博士学位,博士生导师是李锦涛。

2+
0+

报告主题: Generative adversarial networks and adversarial methods in biomedical image analysis

报告摘要: 生成对抗网络(GANs)是深度生成模型的一个强大的子类,目前不仅受到计算机视觉和机器学习社区的广泛关注,而且还受到医学成像社区的广泛关注。GANs背后的关键思想是两个神经网络共同优化:一个网络试图合成与真实数据点相似的样本,而另一个网络评估结果与样本参考数据库的一致性。使用GANs进行样本合成可能用于解决大型和不同的带注释数据库的不足。此外,在对抗性博弈中优化的两个网络的概念被用来提供额外的损失项,以提高现有图像分析方法的性能。对抗性方法已成功地应用于典型的医学图像分析中,如去噪、重建、分割和检测。此外,对抗性训练在半监督学习和异常检测等领域也有新的应用。在本教程中,我们将在五个部分中提供关于GANs和医学图像分析中的对抗方法的基础和高级材料。我们将着重于机器学习和计算机视觉文献中最先进的核心论文,以及它们与医学影像分析作品的关系。为了使这些概念具体化,我们将提供一些医学成像应用的例子,这些应用都来自我们自己的工作和其他人的工作。

邀请嘉宾

Anirban Mukhopadhyay,达姆施塔特工业大学(德国)

Jelmer Wolterink,阿姆斯特丹大学医学中心(荷兰)

Konstantinos Kamnitsas,帝国理工学院(英国)

Jelmer Wolterink,阿姆斯特丹大学医学中心(荷兰)

Lecture_2.pdf
Lecture_1.pdf
Lecture_4.pdf
Lecture_3.pdf
11+
0+

报告主题: Bayesian Deep Learning for Medical

报告摘要: 在过去的几年中,深度学习取得了飞速的发展,从而在许多医学图像分析任务中取得了显着的性能改善,包括解剖标志的检测,病理结果的分类,多个器官的语义分割以及医学报告的自动生成。虽然深度学习的大部分工作都集中在提高最终性能上,但是了解深度网络何时无法正常运行对于许多医疗和保健系统(尤其是那些具有较高安全标准的系统)至关重要。不幸的是,大多数现代深度学习算法无法可靠地估计深度网络的不确定性。如果没有用于模型高度不确定的故障安全模式,则系统可能会具有灾难性的行为,例如缺少明显的异常或包含种族歧视。

最近,人们对将贝叶斯方法与深度神经网络相结合以估计模型预测的置信度越来越感兴趣。尽管传统方法将深度网络视为确定性功能,但该功能只能为输入生成单个输出。相反,贝叶斯深度学习通过考虑训练数据和建模参数固有的随机性来计算每个输入的输出分布。这种分布可以估算输出的置信度。已经证明,基于随机正则化技术(例如丢包或可伸缩的蒙特卡洛干扰)的新方法可以捕获有意义的不确定性,同时可以很好地缩放至高维数据。根据深度学习对贝叶斯技术的重新研究已经产生了许多有希望的结果。

尽管它很重要,但在MICCAI社区中,对该主题的研究仍很少。本教程的目的是通过从理论,实践和未来方向方面全面介绍贝叶斯深度学习方法来弥合差距。该教程将邀请贝叶斯深度学习领域的领先研究人员介绍其最新技术,并深入说明该技术如何应用于选定的一组主题图像检测,分割和放射治疗。最近在2018年神经信息处理系统会议上举行的贝叶斯深度学习研讨会吸引了大量论文和受众。我们的教程有望对MICCAI产生相似的兴趣。

报告流程:

  • 贝叶斯建模与变分推理简介
  • 贝叶斯深度学习
  • 贝叶斯深度网络的不确定性:DropConnect建模有效性
  • 贝叶斯深度学习demo

邀请嘉宾:

Dan Nguyen,德克萨斯大学西南医学中心助理教授。

Pengyu“ Ben” Yuan,休斯顿大学算法(HULA)实验室的博士。他的研究兴趣是元学习和强化学习及其在医学图像分析中的应用。

Session1-MICCAI19.pdf
MICCAI_Bayesian_Deep_Learning_Tutorial.pdf
Session3-MC-DropConnect.pdf
0+
0+

报告主题:Function Norms for Neural Networks

报告摘要:深度神经网络(DNN)由于在各种问题上的出色经验性能而变得越来越重要。 但是,正规化通常是通过间接方式实现的,这主要是由于网络定义的功能复杂集和衡量功能复杂性的原因。 正如统计学习理论中传统考虑的那样,文献中没有基于函数范数进行加法正则化的方法。 在这项工作中,作者研究了具有ReLU激活的深度神经网络的功能规范的可扩展性。 据了解,作者提供了有关3层或更多层DNN的计算函数范数的NP硬度的文献中的第一个证明。 还强调浅层和深层网络之间的根本区别。 根据这些结果,提出了一种基于近似函数范数的新正则化策略,并展示了其在具有DNN的分割任务中的效率。

邀请嘉宾:Amal Rannen Trik,鲁汶大学

contributed_talk_FunctionNorm_SDL_CV_19.pdf
论文.pdf
0+
0+

报告主题:Influence Maximization: Integrating and Expanding Classical Algorithms into the Social Network Context

报告摘要:影响力最大化是选择社交网络中的k个种子节点,以使种子影响力传播最大化。它可以应用于病毒式营销方案,还可以应用于其他方案,例如级联监视和谣言控制。自2003年提出以来,对影响最大化及其变化形式得到了广泛的研究,并且该领域仍在积极发展。影响力最大化也很好地展示了如何将经典算法集成到社交网络环境中。在本次演讲中,将首先介绍影响力最大化的核心研究问题和主要成果。然后,通过几个示例,演示如何将经典算法(例如贪心算法,Dijkstra最短路径算法)集成到影响力最大化算法中,以及在集成过程中如何提出新的研究挑战以及我们如何应对这些挑战,并且在某些情况下,可以通过扩展经典算法以使其适应新设置。

邀请嘉宾:陈卫,微软亚洲研究院的首席研究员,清华大学的兼职教授和中国科学院的兼职研究员。他的主要研究兴趣包括社会和信息网络,在线学习,网络游戏理论和经济学,分布式计算和容错能力。他在社交网络中信息和影响传播的建模和算法研究方面进行了广泛的研究工作,并在顶级会议和期刊上发表了一系列出版物,获得了6600多次引用。于2013年与人合作了《社会网络中的信息和影响力传播》,并且是即将出版的《大数据网络扩散模型和算法》(中文)的唯一作者。他是CCF大数据工作队和理论计算机科学技术委员会的成员。

201910_InfMax_CNCC-陈卫.pdf
2+
0+

近年来,零样本学习(ZSL,zero-shot learning)已经在大量的任务中受到了广泛的关注。大多数机器学习方法,均侧重于那些训练集中广泛存在的样本进行分类。但现实场景中,许多的任务需要对从未见过的样本进行分类。零样本学习是一种非常强大的学习范式,本篇综述,首先,概述了零样本学习,根据学习过程中使用到的数据模型,我们将其划分为三种学习类型;第二,描述了零样本学习过程中所采用的不同语义空间;第三,对现有零样本学习方法进行了分类,并在每个类别下介绍了具有代表性的方法;第四,讨论了零样本学习的不同应用方向;最后,我们介绍了零样本学习的未来研究方向。

A Survey of Zero-Shot Learning.pdf
21+
0+

异常检测是一个在各个研究领域和应用领域内得到广泛研究的重要问题。本研究的目的有两个方面:首先,我们对基于深度学习的异常检测的研究方法进行了系统全面的综述。此外,我们还回顾了这些方法对不同应用领域异常的应用,并评估了它们的有效性。我们根据所采用的基本假设和方法,将最先进的研究技术分为不同的类别。在每一类中,我们概述了基本的异常检测技术,以及它的变体,并给出了关键的假设,以区分正常行为和异常行为。对于我们介绍的每一类技术,我们还介绍了它们的优点和局限性,并讨论了这些技术在实际应用领域中的计算复杂性。最后,我们概述了研究中的未决问题和采用这些技术时所面临的挑战。

20190114-DEEP LEARNING FOR ANOMALY DETECTION A SURVEY.pdf
8+
0+

在深度学习中引入注意力机制提高了近年来各种模型的成功,并继续成为最先进模型中无处不在的组成部分。因此,我们对注意力及其如何实现其有效性的关注是至关重要的。

在这篇文章中,我将介绍注意力背后的主要概念,包括一个从序列到序列的注意力模型的实现,然后介绍注意力在Transformer中的应用,以及如何将注意力用于最新的结果。建议您对递归神经网络(RNNs)及其变体有一定的了解,或者对序列到序列模型如何工作有一定的了解。

10+
0+
Top