【Alsace博士论文】深度学习时序分类,175页pdf

10 月 4 日 专知
【Alsace博士论文】深度学习时序分类,175页pdf


数据科学是设计从大量数据中提取知识的算法。时间序列分析是数据科学的一个领域,它感兴趣的是分析按时间顺序排列的数值序列。时间序列特别有趣,因为它让我们能够可视化和理解一个过程在一段时间内的演变。他们的分析可以揭示数据之间的趋势、关系和相似性。存在大量以时间序列形式包含数据的领域:医疗保健(心电图、血糖等)、活动识别、遥感、金融(股票市场价格)、工业(传感器)等。



在数据挖掘中,分类是一项受监督的任务,它涉及从组织到类中的带标签的数据中学习模型,以便预测新实例的正确标签。时间序列分类包括构造用于自动标注时间序列数据的算法。例如,使用健康患者或心脏病患者的一组标记的心电图,目标是训练一个模型,能够预测新的心电图是否包含病理。时间序列数据的时序方面需要算法的发展,这些算法能够利用这种时间特性,从而使传统表格数据现有的现成机器学习模型在解决底层任务时处于次优状态。


在这种背景下,近年来,深度学习已经成为解决监督分类任务的最有效方法之一,特别是在计算机视觉领域。本论文的主要目的是研究和发展专门为分类时间序列数据而构建的深度神经网络。因此,我们进行了第一次大规模的实验研究,这使我们能够比较现有的深度学习方法,并将它们与其他基于非深度学习的先进方法进行比较。随后,我们在这一领域做出了大量的贡献,特别是在迁移学习、数据增强、集成和对抗性攻击的背景下。最后,我们还提出了一种新的架构,基于著名的Inception 网络(谷歌),它是目前最有效的架构之一。


我们在包含超过100个数据集的基准测试上进行的实验使我们能够验证我们的贡献的性能。最后,我们还展示了深度学习方法在外科数据科学领域的相关性,我们提出了一种可解释的方法,以便从运动学多变量时间序列数据评估外科技能。



深度学习序列分类概述


在过去的二十年中,TSC被认为是数据挖掘中最具挑战性的问题之一(Yang and Wu, 2006; Esling and Agon, 2012)。随着时间数据可用性的增加(Silva et al.,2018),自2015年以来已有数百种TSC算法被提出(Bagnall et al.,2017)。由于时间序列数据具有自然的时间顺序,几乎在每一个需要某种人类认知过程的任务中都存在时间序列数据(Langkvist, Karlsson, and Loutfi, 2014)。事实上,任何使用考虑到排序概念的已注册数据的分类问题都可以被视为TSC问题(Cristian Borges Gamboa, 2017)。时间序列在许多实际应用中都遇到过,包括医疗保健(Gogolou等,2018)和人类活动识别(Wang et al.,2018;到声学场景分类(Nwe, Dat, and Ma, 2017)和网络安全(Susto, Cenedese, and Terzi, 2018)。此外,UCR/UEA档案中数据集类型的多样性(Dau等,2019;Bagnall et al,2017)(最大的时间序列数据集储存库)展示了TSC问题的不同应用。


专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“TSCDL” 可以获取《【Haute-Alsace博士论文】深度学习时序分类,175页pdf》专知下载链接索引

专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取5000+AI主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取5000+AI主题知识资源
登录查看更多
1

相关内容

医学社区的长期目标是高效和智能地呈现和分析医学图像。一方面,这意味着要找到有效的方法来获取高质量的医疗图像,以便医疗保健提供者能够随时使用。另一方面,它意味着发现智能的方式来解释医学图像,以促进医疗保健的交付。为此,研究人员和医学专业人员通常寻求使用计算机系统,这些系统通过机器学习技术来处理医学图像。应用机器学习的一个关键步骤是获得能很好地描述医学图像的信息表示。通常,这是通过手动特征工程来完成的,然而这需要相当多的医学领域的专业知识。一种可能的解决方法是允许模型从原始数据中自动发现关于目标域的潜在表示。为此,本文将重点放在深度学习上,深度学习只是更广泛的机器学习家族的一个子集,但最近已经取得了前所未有的进展,在发现高维数据的复杂结构方面显示出令人难以置信的能力。对于许多计算机视觉任务,深度学习方法已经取得了最先进的性能,以显著的优势。本文开发了用于医学图像分析、重建和合成的深度学习模型和技术。在医学图像分析中,我们注重对医学图像内容的理解和对执业医师的指导。特别是,我们研究了深度学习的方法来解决分类,检测,分割和配准医学图像。在医学图像重建和合成中,我们提出利用深度学习的方法内在地学习医学数据空间,有效地合成真实的医学图像。对于重建,我们的目标是生成高质量的医学图像和较少的伪影。对于合成,我们的目标是生成真实的医学图像,以帮助学习医学图像分析或重建模型。这篇论文的贡献有三方面。首先,我们提出了利用深度学习解决医学问题的各种方法。其次,我们展示了医学知识融合在深度学习架构设计中的重要性和有效性。第三,我们展示了深度生成模型在解决医学图像重建和合成问题的潜力。

https://urresearch.rochester.edu/institutionalPublicationPublicView.action;jsessionid=21A6F9E774F11BA763CA4DD982F79D65?institutionalItemId=35226

成为VIP会员查看完整内容
0
20

【导读】牛津大学的博士生Oana-Maria Camburu撰写了毕业论文《解释神经网络 (Explaining Deep Neural Networks)》,系统性介绍了深度神经网络可解释性方面的工作,值得关注。

作者介绍:

Oana-Maria Camburu,来自罗马尼亚,目前是牛津大学的博士生,主修机器学习、人工智能等方向。

Explaining Deep Neural Networks

深度神经网络在计算机视觉、自然语言处理和语音识别等不同领域取得了革命性的成功,因此越来越受欢迎。然而,这些模型的决策过程通常是无法向用户解释的。在各种领域,如医疗保健、金融或法律,了解人工智能系统所做决策背后的原因至关重要。因此,最近研究了几个解释神经模型的方向。

在这篇论文中,我研究了解释深层神经网络的两个主要方向。第一个方向由基于特征的事后解释方法组成,也就是说,这些方法旨在解释一个已经训练过的固定模型(事后解释),并提供输入特征方面的解释,例如文本标记和图像的超级像素(基于特征的)。第二个方向由生成自然语言解释的自解释神经模型组成,也就是说,模型有一个内置模块,为模型的预测生成解释。在这些方面的贡献如下:

  • 首先,我揭示了仅使用输入特征来解释即使是微不足道的模型也存在一定的困难。我表明,尽管有明显的隐含假设,即解释方法应该寻找一种特定的基于真实值特征的解释,但对于预测通常有不止一种这样的解释。我还展示了两类流行的解释方法,它们针对的是不同类型的事实基础解释,但没有明确地提及它。此外,我还指出,有时这两种解释都不足以提供一个实例上决策过程的完整视图。

  • 其次,我还介绍了一个框架,用于自动验证基于特征的事后解释方法对模型的决策过程的准确性。这个框架依赖于一种特定类型的模型的使用,这种模型有望提供对其决策过程的洞察。我分析了这种方法的潜在局限性,并介绍了减轻这些局限性的方法。引入的验证框架是通用的,可以在不同的任务和域上实例化,以提供现成的完整性测试,这些测试可用于测试基于特性的后特殊解释方法。我在一个情绪分析任务上实例化了这个框架,并提供了完备性测试s1,在此基础上我展示了三种流行的解释方法的性能。

  • 第三,为了探索为预测生成自然语言解释的自解释神经模型的发展方向,我在有影响力的斯坦福自然语言推断(SNLI)数据集之上收集了一个巨大的数据集,数据集约为570K人类编写的自然语言解释。我把这个解释扩充数据集称为e-SNLI。我做了一系列的实验来研究神经模型在测试时产生正确的自然语言解释的能力,以及在训练时提供自然语言解释的好处。

  • 第四,我指出,目前那些为自己的预测生成自然语言解释的自解释模型,可能会产生不一致的解释,比如“图像中有一只狗。”以及“同一幅图片中没有狗”。不一致的解释要么表明解释没有忠实地描述模型的决策过程,要么表明模型学习了一个有缺陷的决策过程。我将介绍一个简单而有效的对抗性框架,用于在生成不一致的自然语言解释时检查模型的完整性。此外,作为框架的一部分,我解决了使用精确目标序列的对抗性攻击的问题,这是一个以前在序列到序列攻击中没有解决的场景,它对于自然语言处理中的其他任务很有用。我将这个框架应用到e-SNLI上的一个最新的神经模型上,并表明这个模型会产生大量的不一致性。

这项工作为获得更稳健的神经模型以及对预测的可靠解释铺平了道路。

地址: https://arxiv.org/abs/2010.01496

成为VIP会员查看完整内容
0
111

数据科学是设计从大量数据中提取知识的算法和管道。时间序列分析是数据科学的一个领域,它感兴趣的是分析按时间顺序排列的数值序列。时间序列特别有趣,因为它让我们能够可视化和理解一个过程在一段时间内的演变。他们的分析可以揭示数据之间的趋势、关系和相似性。存在大量以时间序列形式包含数据的领域:医疗保健(心电图、血糖等)、活动识别、遥感、金融(股票市场价格)、工业(传感器)等。

在数据挖掘中,分类是一项受监督的任务,它涉及从组织到类中的带标签的数据中学习模型,以便预测新实例的正确标签。时间序列分类包括构造用于自动标注时间序列数据的算法。例如,使用健康患者或心脏病患者的一组标记的心电图,目标是训练一个模型,能够预测新的心电图是否包含病理。时间序列数据的时序方面需要算法的发展,这些算法能够利用这种时间特性,从而使传统表格数据现有的现成机器学习模型在解决底层任务时处于次优状态。

在这种背景下,近年来,深度学习已经成为解决监督分类任务的最有效方法之一,特别是在计算机视觉领域。本论文的主要目的是研究和发展专门为分类时间序列数据而构建的深度神经网络。因此,我们进行了第一次大规模的实验研究,这使我们能够比较现有的深度学习方法,并将它们与其他基于非深度学习的先进方法进行比较。随后,我们在这一领域做出了大量的贡献,特别是在迁移学习、数据增强、集成和对抗性攻击的背景下。最后,我们还提出了一种新的架构,基于著名的Inception 网络(谷歌),它是目前最有效的架构之一。

我们在包含超过100个数据集的基准测试上进行的实验使我们能够验证我们的贡献的性能。最后,我们还展示了深度学习方法在外科数据科学领域的相关性,我们提出了一种可解释的方法,以便从运动学多变量时间序列数据评估外科技能。

深度学习序列分类概述

在过去的二十年中,TSC被认为是数据挖掘中最具挑战性的问题之一(Yang and Wu, 2006; Esling and Agon, 2012)。随着时间数据可用性的增加(Silva et al.,2018),自2015年以来已有数百种TSC算法被提出(Bagnall et al.,2017)。由于时间序列数据具有自然的时间顺序,几乎在每一个需要某种人类认知过程的任务中都存在时间序列数据(Langkvist, Karlsson, and Loutfi, 2014)。事实上,任何使用考虑到排序概念的已注册数据的分类问题都可以被视为TSC问题(Cristian Borges Gamboa, 2017)。时间序列在许多实际应用中都遇到过,包括医疗保健(Gogolou等,2018)和人类活动识别(Wang et al.,2018;到声学场景分类(Nwe, Dat, and Ma, 2017)和网络安全(Susto, Cenedese, and Terzi, 2018)。此外,UCR/UEA档案中数据集类型的多样性(Dau等,2019;Bagnall et al,2017)(最大的时间序列数据集储存库)展示了TSC问题的不同应用。

成为VIP会员查看完整内容
0
56

近年来,图神经网络(GNNs)由于具有建模和从图结构数据中学习的能力,在机器学习领域得到了迅猛发展。这种能力在数据具有内在关联的各种领域具有很强的影响,而传统的神经网络在这些领域的表现并不好。事实上,正如最近的评论可以证明的那样,GNN领域的研究已经迅速增长,并导致了各种GNN算法变体的发展,以及在化学、神经学、电子或通信网络等领域的突破性应用的探索。然而,在目前的研究阶段,GNN的有效处理仍然是一个开放的挑战。除了它们的新颖性之外,由于它们依赖于输入图,它们的密集和稀疏操作的组合,或者在某些应用中需要伸缩到巨大的图,GNN很难计算。在此背景下,本文旨在做出两大贡献。一方面,从计算的角度对GNNs领域进行了综述。这包括一个关于GNN基本原理的简短教程,在过去十年中该领域发展的概述,以及在不同GNN算法变体的多个阶段中执行的操作的总结。另一方面,对现有的软硬件加速方案进行了深入分析,总结出一种软硬件结合、图感知、以通信为中心的GNN加速方案。

成为VIP会员查看完整内容
0
65

与经典的监督学习不同,强化学习(RL)从根本上是交互式的: 一个自主的智能体必须学习如何在一个未知的、不确定的、可能是对抗的环境中表现,通过与环境的积极互动来收集有用的反馈,以提高其序列决策能力。RL代理还将干预环境: 代理做出决策,进而影响环境的进一步演化。

由于它的普遍性——大多数机器学习问题可以看作是特殊情况——RL很难。由于没有直接的监督,RL的一个主要挑战是如何探索未知的环境并有效地收集有用的反馈。在最近的RL成功案例中(如视频游戏中的超人表现[Mnih et al., 2015]),我们注意到它们大多依赖于随机探索策略,如“贪婪”。同样的,策略梯度法如REINFORCE [Williams, 1992],通过向动作空间注入随机性进行探索,希望随机性能导致良好的动作序列,从而获得高总回报。理论RL文献已经开发出了更复杂的算法来进行有效的探索(例如,[Azar等人,2017]),然而,这些接近最优算法的样本复杂度必须根据底层系统的关键参数(如状态和动作空间的维数)呈指数级增长。这种指数依赖性阻碍了这些理论上优雅的RL算法在大规模应用中的直接应用。总之,如果没有进一步的假设,无论在实践上还是在理论上,RL都是困难的。

在本文中,我们试图通过引入额外的假设和信息源来获得对RL问题的支持。本文的第一个贡献是通过模仿学习来提高RL样本的复杂度。通过利用专家的示范,模仿学习极大地简化了探索的任务。在本论文中,我们考虑了两种设置:一种是交互式模仿学习设置,即在训练期间专家可以进行查询;另一种是仅通过观察进行模仿学习的设置,在这种设置中,我们只有一组由对专家状态的观察组成的演示(没有记录专家行为)。我们在理论和实践中研究如何模仿专家,以减少样本的复杂性相比,纯RL方法。第二个贡献来自于无模型的强化学习。具体来说,我们通过构建一个从策略评估到无后悔在线学习的总体约简来研究策略评估,无后悔在线学习是一个活跃的研究领域,具有良好的理论基础。这样的约减创造了一个新的算法族,可以在生成过程的非常弱的假设下证明正确的策略评估。在此基础上,对行动空间和参数空间两种无模型勘探策略进行了理论和实证研究。这项工作的第三个贡献来自基于模型的强化学习。我们提供了基于模型的RL方法和一般无模型的RL方法之间的第一个指数样本复度分离。然后,我们提供了基于PAC模型的RL算法,可以同时实现对许多有趣的MDPs的采样效率,如表列MDPs、因子MDPs、Lipschitz连续MDPs、低秩MDPs和线性二次控制。通过将最优控制、模型学习和模仿学习结合在一起,我们还提供了一个更实用的基于模型的RL框架,称为双重策略迭代(DPI)。此外,我们给出了一个通用的收敛分析,将现有的近似策略迭代理论推广到DPI。DPI对最近成功的实用RL算法如ExIt和AlphaGo Zero进行了概括和提供了第一个理论基础[Anthony et al., 2017, Silver et al., 2017],并为统一基于模型的RL方法和无模型的RL方法提供了一种理论健全和实践高效的方法。

https://www.ri.cmu.edu/publications/towards-generalization-and-efficiency-in-reinforcement-learning/

成为VIP会员查看完整内容
0
27

越来越多来自不同领域的计算机科学家使用离散数学结构来解释概念和问题。在教学经验的基础上,作者提供了一个容易理解的文本,强调了离散数学的基础及其高级课题。这篇文章展示了如何用清晰的数学语言表达精确的思想。学生发现离散数学在描述计算机科学结构和解决问题方面的重要性。他们还学习如何掌握离散数学将帮助他们发展重要的推理技能,这些技能将在他们的职业生涯中继续发挥作用。

成为VIP会员查看完整内容
0
41

凸优化作为一个数学问题已经被研究了一个多世纪,并在许多应用领域的实践中应用了大约半个世纪,包括控制、金融、信号处理、数据挖掘和机器学习。本文主要研究凸优化的几个问题,以及机器学习的具体应用。

成为VIP会员查看完整内容
0
66

随着机器学习、图形处理技术和医学成像数据的迅速发展,机器学习模型在医学领域的使用也迅速增加。基于卷积神经网络(CNN)架构的快速发展加剧了这一问题,医学成像社区采用这种架构来帮助临床医生进行疾病诊断。自2012年AlexNet取得巨大成功以来,CNNs越来越多地被用于医学图像分析,以提高临床医生的工作效率。近年来,三维(3D) CNNs已被用于医学图像分析。在这篇文章中,我们追溯了3D CNN的发展历史,从它的机器学习的根源,简单的数学描述3D CNN和医学图像在输入到3D CNNs之前的预处理步骤。我们回顾了在不同医学领域,如分类、分割、检测和定位,使用三维CNNs(及其变体)进行三维医学成像分析的重要研究。最后,我们讨论了在医学成像领域使用3D CNNs的挑战(以及使用深度学习模型)和该领域可能的未来趋势。

成为VIP会员查看完整内容
0
33

命名实体识别(NER)的任务是识别提到命名实体的文本范围,并将它们分类为预定义的类别,如人员、位置、组织等。NER是各种自然语言应用的基础,如问题回答、文本摘要和机器翻译。虽然早期的NER系统能够成功地产生相当高的识别精度,但它们通常需要大量的人力来精心设计规则或特征。近年来,基于连续实值向量表示和通过非线性处理的语义组合的深度学习被应用到NER系统中,产生了最先进的性能。在这篇论文中,我们对现有的深度学习技术进行了全面的回顾。我们首先介绍NER资源,包括标记的NER语料库和现成的NER工具。然后,我们根据一个分类法沿着三个轴对现有的作品进行了系统的分类:输入的分布式表示、上下文编码器和标记解码器。接下来,我们调查了最近在新的NER问题设置和应用中应用深度学习技术的最有代表性的方法。最后,我们向读者介绍NER系统所面临的挑战,并概述该领域的未来发展方向。

成为VIP会员查看完整内容
0
46

随着技术的传播,世界各地的人们比以往任何时候都更加紧密地联系在一起,无缝沟通和理解的需求变得至关重要。根据Simons 2018年的研究,世界上现存的语言有7097种。然而,语料中,大多数成对的语言最多有几百到几千个平行的句子,而且成对的语言数量有限。由于统计机器翻译(SMT)和神经机器翻译(NMT)都是需要大量数据的机器学习方法,因此缺乏数据是训练合适机器翻译(MT)系统的一个严重问题。

Tom Kocmi的博士论文《Exploring Benefits of Transfer Learning in Neural Machine Translation》(《探索迁移学习在神经机器翻译中的益处》)提出相关的迁移学习技术,并提供了详细地分析。论文展示了几种利用基于大量资源语言对训练的模型来提升少量资源情况下的模型训练。在分析过程中,作者发现:

  • 迁移学习同时适用于少量资源和大量资源的语言对,并且比随机初始化训练的性能更好。
  • 迁移学习在神经机器翻译中没有其他领域所知的负面影响,可以作为神经机器翻译实验的初始化方法。
  • 结果表明,在迁移学习中,平行语料库的数量比语言对的相关性更重要。
  • 作者观察到,迁移学习是一种更好的初始化技术,即使两个模型面向的语言没有交集,性能也能得到提升。

除了上述主要的贡献,论文也描述其他几个研究的想法,包括作者对Czech-English平行语料库的贡献(Bojar et al., 2016a)、使用预训练词嵌入的实验(Kocmi and Bojar, 2017c)、使用子词信息的词嵌入(Kocmi and Bojar, 2016)、神经语言识别工具(Kocmi and Bojar, 2017b)。另外,作者还为一个sequence-to-sequence的研究框架Nerual Monkey(Helcl et al., 2018)的实现做了贡献。

博士论文《Exploring Benefits of Transfer Learning in Neural Machine Translation》的内容大致如下:

  • 简介
    • 贡献
    • 论文结构
  • 背景
    • 语言资源
    • LanideNN:语言识别工具
    • 训练数据
    • 机器翻译评价
  • 神经机器翻译
    • 词嵌入
    • 子词表示
    • 神经机器翻译架构
    • 神经机器翻译模型设置
    • 度量训练过程
  • 迁移学习
    • 术语
    • 域适应
    • 迁移学习
    • 冷启动迁移学习
    • 冷启动直系迁移
    • 冷启动词汇变换
    • 热启动迁移学习
    • 热启动和冷启动对比
    • 相关工作
    • 总结
  • 分析
    • 负迁移
    • 共享语言的位置是否影响迁移学习
    • 语言相关性和数据量
    • 语言特征和更好的初始化
    • 迁移学习分析汇总
    • 案例:反翻译迁移学习
  • 总结
    • 生态追踪
    • 结束语

成为VIP会员查看完整内容
0
20
小贴士
相关资讯
深度学习详解
人工智能学家
3+阅读 · 2019年4月25日
CMU最新视觉特征自监督学习模型——TextTopicNet
人工智能头条
9+阅读 · 2018年7月29日
【泡泡一分钟】点密度适应性点云配准
泡泡机器人SLAM
10+阅读 · 2018年5月28日
深度全解卷积神经网络(附论文)
数据派THU
5+阅读 · 2018年5月4日
深度学习目标检测概览
AI研习社
45+阅读 · 2017年10月13日
相关论文
Canran Xu,Ruijiang Li
7+阅读 · 2019年6月3日
Mingxing Tan,Quoc V. Le
3+阅读 · 2019年5月28日
TensorMask: A Foundation for Dense Object Segmentation
Xinlei Chen,Ross Girshick,Kaiming He,Piotr Dollár
8+阅读 · 2019年3月28日
H. Ismail Fawaz,G. Forestier,J. Weber,L. Idoumghar,P. Muller
5+阅读 · 2019年3月14日
Neural Architecture Optimization
Renqian Luo,Fei Tian,Tao Qin,Enhong Chen,Tie-Yan Liu
7+阅读 · 2018年9月5日
Aleatoric uncertainty estimation with test-time augmentation for medical image segmentation with convolutional neural networks
Guotai Wang,Wenqi Li,Michael Aertsen,Jan Deprest,Sebastien Ourselin,Tom Vercauteren
7+阅读 · 2018年7月20日
Antoine Miech,Ivan Laptev,Josef Sivic
3+阅读 · 2018年3月5日
Gleb Makarchuk,Vladimir Kondratenko,Maxim Pisov,Artem Pimkin,Egor Krivov,Mikhail Belyaev
7+阅读 · 2018年2月3日
Brian Kenji Iwana,Seiichi Uchida
6+阅读 · 2018年1月25日
Top