在过去的几年中,深度学习和医学的交叉领域取得了快速的发展,特别是在医学图像的解译方面。在本文中,我描述了三个关键方向,为医学图像解释的深度学习技术的发展提出了挑战和机遇。首先,我讨论了专家级医学图像解译算法的发展,重点是用于低标记医学数据设置的迁移学习和自监督学习算法。其次,我讨论了高质量数据集的设计和管理以及它们在推进算法发展中的作用,重点是使用有限的手动注释的高质量标记。第三,我讨论了真实世界的评估医学图像算法的研究,系统地分析了在临床相关分布变化下的性能。总之,这篇论文总结了关键贡献和见解,在这些方向与关键应用跨医学专业。

https://searchworks.stanford.edu/view/13876519

成为VIP会员查看完整内容
0
37

相关内容

机器学习的一个分支,它基于试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的一系列算法。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

机器学习正在医疗健康等各种关键应用得到实施。为了能够信任机器学习模型,并在它出现故障时修复它,能够解释它的决策是很重要的。例如,如果一个模型在特定的子群体(性别、种族等)上的表现很差,找出原因并解决它是很重要的。在本文中,我们研究了现有可解释性方法的不足,并介绍了新的ML可解释性算法,旨在解决一些不足。数据是训练机器学习模型的材料。如果不返回最初训练ML模型的数据,就不可能解释ML模型的行为。一个基本的挑战是如何量化每个数据源对模型性能的贡献。例如,在医疗健康和消费市场,有人提出个人应因其产生的数据而得到补偿,但对个人数据的公平估值尚不清楚。在本文中,我们讨论了数据公平价值评估的原则框架; 也就是说,给定一个学习算法和一个性能度量来量化结果模型的性能,我们试图找到单个数据的贡献。本论文分为3个部分,机器学习的可解释性和公平性,数据估值,以及用于医疗健康的机器学习——所有这些都被一个共同的目标联系在一起,即使机器学习的使用对人类的福祉更负责。

https://searchworks.stanford.edu/view/13874839

成为VIP会员查看完整内容
0
48

在本文中,我们研究了生成模型的几个重要标准,并引入评价指标来解决每个问题,同时讨论了生成模型评价中的上述问题。特别是,我们研究了测量生成输出的感知现实主义的挑战,并引入了一个人在循环中的评估系统,利用心理物理学理论,以人类知觉文献和众包技术为基础,构建一个高效、可靠、并采用一致的方法比较不同的模型。除此之外,我们还分析了解缠性(Disentanglement),这是评估已学习表示的一个日益重要的特性,通过使用持久同调测量生成模型数据流形的内在特性。

https://searchworks.stanford.edu/view/13883847

成为VIP会员查看完整内容
0
20

向量嵌入模型是现代机器学习知识表示和推理方法的基石。这些方法旨在通过在低维向量空间中学习概念和其他领域对象的表示,将语义问题转化为几何问题。本着这种精神,这项工作提倡基于密度和区域的表示学习。将领域元素作为几何对象嵌入到单点之外,使我们能够自然地表示广度和一词多义,进行不对称比较,回答复杂的查询,并在标记数据稀缺时提供强烈的归纳偏见。我们提出了一个使用高斯密度的词表示模型,实现了概念之间的不对称隐含判断,以及一个基于轴对齐超矩形表示(盒)格的加权传递关系和多元离散数据的概率模型。我们将探讨这些嵌入方法在不同的稀疏性、边缘权值、相关性和独立结构的适用性,以及表示的扩展和不同的优化策略。我们从理论上研究了盒格的表示能力,并提出了扩展模型来解决在建模困难的分布和图方面的不足。

成为VIP会员查看完整内容
0
29

医学社区的长期目标是高效和智能地呈现和分析医学图像。一方面,这意味着要找到有效的方法来获取高质量的医疗图像,以便医疗保健提供者能够随时使用。另一方面,它意味着发现智能的方式来解释医学图像,以促进医疗保健的交付。为此,研究人员和医学专业人员通常寻求使用计算机系统,这些系统通过机器学习技术来处理医学图像。应用机器学习的一个关键步骤是获得能很好地描述医学图像的信息表示。通常,这是通过手动特征工程来完成的,然而这需要相当多的医学领域的专业知识。一种可能的解决方法是允许模型从原始数据中自动发现关于目标域的潜在表示。为此,本文将重点放在深度学习上,深度学习只是更广泛的机器学习家族的一个子集,但最近已经取得了前所未有的进展,在发现高维数据的复杂结构方面显示出令人难以置信的能力。对于许多计算机视觉任务,深度学习方法已经取得了最先进的性能,以显著的优势。本文开发了用于医学图像分析、重建和合成的深度学习模型和技术。在医学图像分析中,我们注重对医学图像内容的理解和对执业医师的指导。特别是,我们研究了深度学习的方法来解决分类,检测,分割和配准医学图像。在医学图像重建和合成中,我们提出利用深度学习的方法内在地学习医学数据空间,有效地合成真实的医学图像。对于重建,我们的目标是生成高质量的医学图像和较少的伪影。对于合成,我们的目标是生成真实的医学图像,以帮助学习医学图像分析或重建模型。这篇论文的贡献有三方面。首先,我们提出了利用深度学习解决医学问题的各种方法。其次,我们展示了医学知识融合在深度学习架构设计中的重要性和有效性。第三,我们展示了深度生成模型在解决医学图像重建和合成问题的潜力。

https://urresearch.rochester.edu/institutionalPublicationPublicView.action;jsessionid=21A6F9E774F11BA763CA4DD982F79D65?institutionalItemId=35226

成为VIP会员查看完整内容
0
37

【导读】牛津大学的博士生Oana-Maria Camburu撰写了毕业论文《解释神经网络 (Explaining Deep Neural Networks)》,系统性介绍了深度神经网络可解释性方面的工作,值得关注。

作者介绍:

Oana-Maria Camburu,来自罗马尼亚,目前是牛津大学的博士生,主修机器学习、人工智能等方向。

Explaining Deep Neural Networks

深度神经网络在计算机视觉、自然语言处理和语音识别等不同领域取得了革命性的成功,因此越来越受欢迎。然而,这些模型的决策过程通常是无法向用户解释的。在各种领域,如医疗保健、金融或法律,了解人工智能系统所做决策背后的原因至关重要。因此,最近研究了几个解释神经模型的方向。

在这篇论文中,我研究了解释深层神经网络的两个主要方向。第一个方向由基于特征的事后解释方法组成,也就是说,这些方法旨在解释一个已经训练过的固定模型(事后解释),并提供输入特征方面的解释,例如文本标记和图像的超级像素(基于特征的)。第二个方向由生成自然语言解释的自解释神经模型组成,也就是说,模型有一个内置模块,为模型的预测生成解释。在这些方面的贡献如下:

  • 首先,我揭示了仅使用输入特征来解释即使是微不足道的模型也存在一定的困难。我表明,尽管有明显的隐含假设,即解释方法应该寻找一种特定的基于真实值特征的解释,但对于预测通常有不止一种这样的解释。我还展示了两类流行的解释方法,它们针对的是不同类型的事实基础解释,但没有明确地提及它。此外,我还指出,有时这两种解释都不足以提供一个实例上决策过程的完整视图。

  • 其次,我还介绍了一个框架,用于自动验证基于特征的事后解释方法对模型的决策过程的准确性。这个框架依赖于一种特定类型的模型的使用,这种模型有望提供对其决策过程的洞察。我分析了这种方法的潜在局限性,并介绍了减轻这些局限性的方法。引入的验证框架是通用的,可以在不同的任务和域上实例化,以提供现成的完整性测试,这些测试可用于测试基于特性的后特殊解释方法。我在一个情绪分析任务上实例化了这个框架,并提供了完备性测试s1,在此基础上我展示了三种流行的解释方法的性能。

  • 第三,为了探索为预测生成自然语言解释的自解释神经模型的发展方向,我在有影响力的斯坦福自然语言推断(SNLI)数据集之上收集了一个巨大的数据集,数据集约为570K人类编写的自然语言解释。我把这个解释扩充数据集称为e-SNLI。我做了一系列的实验来研究神经模型在测试时产生正确的自然语言解释的能力,以及在训练时提供自然语言解释的好处。

  • 第四,我指出,目前那些为自己的预测生成自然语言解释的自解释模型,可能会产生不一致的解释,比如“图像中有一只狗。”以及“同一幅图片中没有狗”。不一致的解释要么表明解释没有忠实地描述模型的决策过程,要么表明模型学习了一个有缺陷的决策过程。我将介绍一个简单而有效的对抗性框架,用于在生成不一致的自然语言解释时检查模型的完整性。此外,作为框架的一部分,我解决了使用精确目标序列的对抗性攻击的问题,这是一个以前在序列到序列攻击中没有解决的场景,它对于自然语言处理中的其他任务很有用。我将这个框架应用到e-SNLI上的一个最新的神经模型上,并表明这个模型会产生大量的不一致性。

这项工作为获得更稳健的神经模型以及对预测的可靠解释铺平了道路。

地址: https://arxiv.org/abs/2010.01496

成为VIP会员查看完整内容
0
138

数据科学是设计从大量数据中提取知识的算法和管道。时间序列分析是数据科学的一个领域,它感兴趣的是分析按时间顺序排列的数值序列。时间序列特别有趣,因为它让我们能够可视化和理解一个过程在一段时间内的演变。他们的分析可以揭示数据之间的趋势、关系和相似性。存在大量以时间序列形式包含数据的领域:医疗保健(心电图、血糖等)、活动识别、遥感、金融(股票市场价格)、工业(传感器)等。

在数据挖掘中,分类是一项受监督的任务,它涉及从组织到类中的带标签的数据中学习模型,以便预测新实例的正确标签。时间序列分类包括构造用于自动标注时间序列数据的算法。例如,使用健康患者或心脏病患者的一组标记的心电图,目标是训练一个模型,能够预测新的心电图是否包含病理。时间序列数据的时序方面需要算法的发展,这些算法能够利用这种时间特性,从而使传统表格数据现有的现成机器学习模型在解决底层任务时处于次优状态。

在这种背景下,近年来,深度学习已经成为解决监督分类任务的最有效方法之一,特别是在计算机视觉领域。本论文的主要目的是研究和发展专门为分类时间序列数据而构建的深度神经网络。因此,我们进行了第一次大规模的实验研究,这使我们能够比较现有的深度学习方法,并将它们与其他基于非深度学习的先进方法进行比较。随后,我们在这一领域做出了大量的贡献,特别是在迁移学习、数据增强、集成和对抗性攻击的背景下。最后,我们还提出了一种新的架构,基于著名的Inception 网络(谷歌),它是目前最有效的架构之一。

我们在包含超过100个数据集的基准测试上进行的实验使我们能够验证我们的贡献的性能。最后,我们还展示了深度学习方法在外科数据科学领域的相关性,我们提出了一种可解释的方法,以便从运动学多变量时间序列数据评估外科技能。

深度学习序列分类概述

在过去的二十年中,TSC被认为是数据挖掘中最具挑战性的问题之一(Yang and Wu, 2006; Esling and Agon, 2012)。随着时间数据可用性的增加(Silva et al.,2018),自2015年以来已有数百种TSC算法被提出(Bagnall et al.,2017)。由于时间序列数据具有自然的时间顺序,几乎在每一个需要某种人类认知过程的任务中都存在时间序列数据(Langkvist, Karlsson, and Loutfi, 2014)。事实上,任何使用考虑到排序概念的已注册数据的分类问题都可以被视为TSC问题(Cristian Borges Gamboa, 2017)。时间序列在许多实际应用中都遇到过,包括医疗保健(Gogolou等,2018)和人类活动识别(Wang et al.,2018;到声学场景分类(Nwe, Dat, and Ma, 2017)和网络安全(Susto, Cenedese, and Terzi, 2018)。此外,UCR/UEA档案中数据集类型的多样性(Dau等,2019;Bagnall et al,2017)(最大的时间序列数据集储存库)展示了TSC问题的不同应用。

成为VIP会员查看完整内容
0
77

使用生成模型的无监督学习具有发现3D场景丰富表示的潜力。这种神经场景表示可能随后支持各种下游任务,从机器人技术到计算机图形再到医学成像。然而,现有的方法忽略了场景最基本的属性之一:三维结构。在这项工作中,我们使神经场景表征与一个感应偏差的三维结构的情况。我们证明了这种归纳偏差如何使无监督的发现几何和外观,只给定的二维图像。通过学习一组这样的三维结构感知神经表征的分布,我们可以执行联合重建的三维形状和外观只给出一个单一的二维观察。我们表明,在这个过程中学习到的特征使整个类对象的三维语义分割成为可能,只训练了30个带标记的例子,证明了三维形状、外观和语义分割之间的紧密联系。最后,我们讨论了场景表示学习在计算机视觉本身中的本质和潜在作用,并讨论了未来工作的前景。

成为VIP会员查看完整内容
0
57

凸优化作为一个数学问题已经被研究了一个多世纪,并在许多应用领域的实践中应用了大约半个世纪,包括控制、金融、信号处理、数据挖掘和机器学习。本文主要研究凸优化的几个问题,以及机器学习的具体应用。

成为VIP会员查看完整内容
0
103

论文摘要:

教机器理解人类语言文档是人工智能中最难以捉摸和长期存在的挑战之一。本文探讨了阅读理解的问题:如何构建计算机系统来阅读文章和回答理解问题。一方面,我们认为阅读理解是评价计算机系统对人类语言理解程度的一项重要任务。另一方面,如果我们能够构建高性能的阅读理解系统,那么它将成为问答和对话系统等应用的关键技术。本文以神经阅读理解为研究对象:一种基于深度神经网络的阅读理解模型。与传统的稀疏的、手工设计的基于特征的模型相比,这些端到端神经模型在学习丰富的语言现象方面更加有效,并且在所有现代阅读理解基准上的表现都有很大的提高。本文由两部分组成。第一部分是对神经阅读理解的本质进行概括,介绍我们在构建有效的神经阅读理解模型方面所做的努力,更重要的是了解神经阅读理解模型实际学到了什么,以及解决当前任务需要什么样的语言理解深度。我们还总结了该领域的最新进展,讨论了该领域的未来发展方向和有待解决的问题。在本文的第二部分,我们探讨了如何在最近神经阅读理解成功的基础上建立实际应用。特别是,我们开创了两个新的研究方向:1)如何将信息检索技术与神经阅读理解相结合,解决大规模开放领域的问题;(2)如何从当前的单圈、跨步阅读理解模式中构建会话问答系统。我们在DrQA和CoQA项目中实现了这些想法,并证明了这些方法的有效性。我们相信他们对推动未来的语言技术有很大帮助。

成为VIP会员查看完整内容
0
35
小贴士
相关VIP内容
相关论文
Lingfei Wu,Yu Chen,Kai Shen,Xiaojie Guo,Hanning Gao,Shucheng Li,Jian Pei,Bo Long
23+阅读 · 6月10日
Alana de Santana Correia,Esther Luna Colombini
43+阅读 · 3月31日
Yiyang Zhao,Linnan Wang,Yuandong Tian,Rodrigo Fonseca,Tian Guo
5+阅读 · 2020年6月15日
Combination of Multiple Global Descriptors for Image Retrieval
HeeJae Jun,ByungSoo Ko,Youngjoon Kim,Insik Kim,Jongtack Kim
3+阅读 · 2019年4月18日
GEP-PG: Decoupling Exploration and Exploitation in Deep Reinforcement Learning Algorithms
Cédric Colas,Olivier Sigaud,Pierre-Yves Oudeyer
3+阅读 · 2018年8月17日
Text classification using capsules
Jaeyoung Kim,Sion Jang,Sungchul Choi,Eunjeong Park
4+阅读 · 2018年8月12日
Seyed Sajad Mousavi,Michael Schukat,Enda Howley
12+阅读 · 2018年6月23日
Stylianos I. Venieris,Alexandros Kouris,Christos-Savvas Bouganis
4+阅读 · 2018年3月15日
Zuxuan Wu,Ting Yao,Yanwei Fu,Yu-Gang Jiang
9+阅读 · 2018年2月22日
Kaiming He,Georgia Gkioxari,Piotr Dollár,Ross Girshick
7+阅读 · 2018年1月24日
Top