题目: Time Series Data Augmentation for Deep Learning: A Survey

摘要:

近年来,深度学习在许多时间序列分析任务中表现优异。深度神经网络的优越性能很大程度上依赖于大量的训练数据来避免过拟合。然而,许多实际时间序列应用的标记数据可能会受到限制,如医学时间序列的分类和AIOps中的异常检测。数据扩充是提高训练数据规模和质量的有效途径,是深度学习模型在时间序列数据上成功应用的关键。本文系统地综述了时间序列的各种数据扩充方法。我们为这些方法提出了一个分类,然后通过强调它们的优点和局限性为这些方法提供了一个结构化的审查。并对时间序列异常检测、分类和预测等不同任务的数据扩充方法进行了实证比较。最后,我们讨论并强调未来的研究方向,包括时频域的数据扩充、扩充组合、不平衡类的数据扩充与加权。

成为VIP会员查看完整内容
0
96

相关内容

随着web技术的发展,多模态或多视图数据已经成为大数据的主要流,每个模态/视图编码数据对象的单个属性。不同的模态往往是相辅相成的。这就引起了人们对融合多模态特征空间来综合表征数据对象的研究。大多数现有的先进技术集中于如何融合来自多模态空间的能量或信息,以提供比单一模态的同行更优越的性能。最近,深度神经网络展示了一种强大的架构,可以很好地捕捉高维多媒体数据的非线性分布,对多模态数据自然也是如此。大量的实证研究证明了深多模态方法的优势,从本质上深化了多模态深特征空间的融合。在这篇文章中,我们提供了从浅到深空间的多模态数据分析领域的现有状态的实质性概述。在整个调查过程中,我们进一步指出,该领域的关键要素是多模式空间的协作、对抗性竞争和融合。最后,我们就这一领域未来的一些方向分享我们的观点。

成为VIP会员查看完整内容
0
191

当对大量的标记数据集合(如ImageNet)进行训练时,深度神经网络展示了它们在特殊监督学习任务(如图像分类)上的卓越表现。然而,创建这样的大型数据集需要大量的资源、时间和精力。这些资源在很多实际案例中可能无法获得,限制了许多深度学习方法的采用和应用。为了寻找数据效率更高的深度学习方法,以克服对大型标注数据集的需求,近年来,我们对半监督学习应用于深度神经网络的研究兴趣日益浓厚,通过开发新的方法和采用现有的半监督学习框架进行深度学习设置。在本文中,我们从介绍半监督学习开始,对深度半监督学习进行了全面的概述。然后总结了在深度学习中占主导地位的半监督方法。

成为VIP会员查看完整内容
0
111

摘要:近年来,基于深度学习的表面缺陷检测技术广泛应用在各种工业场景中.本文对近年来基于深度学习的表面缺陷检测方法进行了梳理,根据数据标签的不同将其分为全监督学习模型方法、无监督学习模型方法和其他方法三大类,并对各种典型方法进一步细分归类和对比分析,总结了每种方法的优缺点和应用场景.本文探讨了表面缺陷检测中三个关键问题,介绍了工业表面缺陷常用数据集.最后,对表面缺陷检测的未来发展趋势进行了展望.

成为VIP会员查看完整内容
基于深度学习的表面缺陷检测方法综述_陶显.pdf
0
69

为了适应不同领域的时间序列数据集的多样性,已经开发了大量的深度学习体系结构。本文调查了单步和多水平时间序列预测中常用的编码器和解码器设计——描述了时间信息是如何被每个模型纳入预测的。接下来,我们将重点介绍混合深度学习模型的最新发展,该模型将经过充分研究的统计模型与神经网络组件相结合,以改进这两类中的纯方法。最后,我们概述了一些方法,其中,深度学习也可以促进决策支持与时间序列数据。

成为VIP会员查看完整内容
0
120

题目: Time Series Forecasting With Deep Learning: A Survey

摘要:

为了适应不同领域的时间序列数据集的多样性,已经开发了大量的深度学习体系结构。在这篇文章中,我们调查了常用的编码器和译码器设计,它们都被用于一阶前和多视距的时间序列预测——描述了时间信息是如何被每个模型合并到预测中的。接下来,将重点介绍混合深度学习模型的最新发展,该模型将经过充分研究的统计模型与神经网络组件相结合,以改进这两类中的纯方法。最后,我们概述了一些方法,即深度学习也可以促进决策支持与时间序列数据。

成为VIP会员查看完整内容
0
81

题目: Deep Learning for Biomedical Image Reconstruction: A Survey

摘要:

医学影像是一种宝贵的医学资源,因为它可以窥探人体内部,为科学家和医生提供丰富的信息,这些信息对于理解、建模、诊断和治疗疾病是必不可少的。重建算法需要将采集硬件收集的信号转换成可解释的图像。考虑到问题的病态性和实际应用中缺乏精确的解析反变换,重构是一项具有挑战性的任务。而最后几十年目睹了令人印象深刻的进步的新形式,提高时间和空间分辨率,降低成本和更广泛的适用性,几个改进仍然可以设想,如减少采集和重建时间以减少病人的辐射和不适,同时增加诊所吞吐量和重建精度。此外,在小功率手持设备中部署生物医学成像需要在准确性和延迟之间取得良好的平衡。

成为VIP会员查看完整内容
0
27

在过去的几十年里,金融领域的计算智能一直是学术界和金融界非常热门的话题。大量的研究已经发表,产生了各种各样的模型。与此同时,在机器学习(ML)领域,深度学习(DL)最近开始受到很多关注,主要是因为它在经典模型上的出色表现。当今有许多不同的DL实现,而且广泛的兴趣还在继续。金融是DL模型开始受到关注的一个特殊领域,然而,这个领域非常开放,仍然存在很多研究机会。在这篇论文中,我们试图提供当今金融应用的DL模型的最新快照。我们不仅根据他们在金融领域的意向子领域对作品进行了分类,还根据他们的DL模型对作品进行了分析。此外,我们还旨在确定未来可能的实现,并强调了该领域内正在进行的研究的途径。

成为VIP会员查看完整内容
0
59

1、题目: Advances and Open Problems in Federated Learning

简介: 联邦学习(Federated Learning)是一种新兴的人工智能基础技术,在 2016 年由谷歌最先提出,原本用于解决安卓手机终端用户在本地更新模型的问题,其设计目标是在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下,在多参与方或多计算结点之间开展高效率的机器学习。其中,联邦学习可使用的机器学习算法不局限于神经网络,还包括随机森林等重要算法。联邦学习有望成为下一代人工智能协同算法和协作网络的基础。最近来自斯坦福、CMU、Google等25家机构58位学者共同发表了关于联邦学习最新进展与开放问题的综述论文《Advances and Open Problems in Federated Learning》,共105页pdf调研了438篇文献,讲解了最新联邦学习进展,并提出大量开放型问题。

2、题目: Deep learning for time series classification: a review

简介: 时间序列分类(Time Series Classification, TSC )是数据挖掘中的一个重要而富有挑战性的问题。随着时间序列数据可用性的提高,已经提出了数百种TSC算法。在这些方法中,只有少数考虑使用深度神经网络来完成这项任务。这令人惊讶,因为在过去几年里,深度学习得到了非常成功的应用。DNNs的确已经彻底改变了计算机视觉领域,特别是随着新型更深层次的结构的出现,如残差和卷积神经网络。除了图像,文本和音频等连续数据也可以用DNNs处理,以达到文档分类和语音识别的最新性能。在本文中,本文通过对TSC最新DNN架构的实证研究,研究了TSC深度学习算法的最新性能。在TSC的DNNs统一分类场景下,本文概述了各种时间序列领域最成功的深度学习应用。本文还为TSC社区提供了一个开源的深度学习框架,实现了本文所对比的各种方法,并在单变量TSC基准( UCR archive)和12个多变量时间序列数据集上对它们进行了评估。通过在97个时间序列数据集上训练8730个深度学习模型,本文提出了迄今为止针对TSC的DNNs的最详尽的研究。

3、 题目: Optimization for deep learning: theory and algorithms

简介: 本文概述了用于训练神经网络的优化算法和理论。 首先,我们讨论梯度爆炸/消失的问题以及不希望有的频谱的更一般性的问题,然后讨论实用的解决方案,包括仔细的初始化和归一化方法。 其次,我们回顾了用于训练神经网络的通用优化方法,例如SGD,自适应梯度法和分布式方法,以及这些算法的现有理论结果。 第三,我们回顾了有关神经网络训练的全球性问题的现有研究,包括不良局部极小值,模式连通性,彩票假说和无限宽度分析的结果。

4、题目: Optimization for deep learning: theory and algorithms

简介: 本文概述了用于训练神经网络的优化算法和理论。 首先,我们讨论梯度爆炸/消失的问题以及不希望有的频谱的一般性的问题,然后讨论解决方案,包括初始化和归一化方法。 其次,我们回顾了用于训练神经网络的通用优化方法,例如SGD,自适应梯度法和分布式方法,以及这些算法的现有理论结果。 第三,我们回顾了有关神经网络训练的现有研究。

5、题目: Normalizing Flows for Probabilistic Modeling and Inference

简介: 归一化流提供了一种定义表达概率分布的通用机制,只需要指定基本分布和一系列双射变换。 最近有许多关于标准化流的工作,从提高其表达能力到扩展其应用。 我们认为该领域已经成熟,需要一个统一的观点。 在这篇综述中,我们试图通过概率建模和推理的视角描述流量来提供这样的观点。 我们特别强调流程设计的基本原理,并讨论诸如表达能力和计算权衡等基本主题。 通过将流量与更一般的概率转换相关联,我们还扩大了flow的概念框架。 最后,我们总结了在诸如生成模型,近似推理和监督学习等任务中使用归一化流提供了一种定义表达概率分布的通用机制,只需要指定(通常是简单的)基本分布和一系列双射变换。 最近有许多关于标准化流的工作,从提高其表达能力到扩展其应用。 我们认为该领域已经成熟,需要一个统一的观点。 在这篇综述中,我们试图通过概率建模和推理的视角描述流量来提供这样的观点。 我们特别强调流程设计的基本原理,并讨论诸如表达能力和计算权衡等基本主题。 通过将流量与更一般的概率转换相关联,我们还扩大了流量的概念框架。 最后,我们总结了在诸如生成模型,近似推理和监督学习等任务中使用流。

6、题目: Fantastic Generalization Measures and Where to Find Them

简介: 近年来,深度网络的普遍性引起了人们极大的兴趣,从而产生了许多从理论和经验出发推动复杂性的措施。 但是,大多数提出此类措施的论文只研究了一小部分模型,而这些实验得出的结论在其他情况下是否仍然有效的问题尚待解决。 我们提出了深度网络泛化的第一个大规模研究。 我们研究了从理论界和实证研究中采取的40多种复杂性度量。 通过系统地改变常用的超参数,我们训练了10,000多个卷积网络。 为了揭示每个度量与泛化之间的潜在因果关系,我们分析了实验,并显示了有希望进行进一步研究的度量。

7、题目: Neural Style Transfer: A Review

简介: Gatys等人的开创性工作通过分离和重新组合图像内容和样式,展示了卷积神经网络(CNN)在创建艺术图像中的作用。使用CNN渲染不同样式的内容图像的过程称为神经样式传输(NST)。从那时起,NST成为学术文献和工业应用中的一个热门话题。它正受到越来越多的关注,并且提出了多种方法来改进或扩展原始的NST算法。在本文中,我们旨在全面概述NST的最新进展。我们首先提出一种NST领域中当前算法的分类法。然后,我们提出几种评估方法,并定性和定量地比较不同的NST算法。审查结束时讨论了NST的各种应用和未解决的问题,以供将来研究。

成为VIP会员查看完整内容
0
65

简介: 在许多将数据表示为图形的领域中,学习图形之间的相似性度量标准被认为是一个关键问题,它可以进一步促进各种学习任务,例如分类,聚类和相似性搜索。 最近,人们对深度图相似性学习越来越感兴趣,其中的主要思想是学习一种深度学习模型,该模型将输入图映射到目标空间,以使目标空间中的距离近似于输入空间中的结构距离。 在这里,我们提供对深度图相似性学习的现有文献的全面回顾。 我们为方法和应用提出了系统的分类法。 最后,我们讨论该问题的挑战和未来方向。

在特征空间上学习足够的相似性度量可以显着确定机器学习方法的性能。从数据自动学习此类度量是相似性学习的主要目的。相似度/度量学习是指学习一种功能以测量对象之间的距离或相似度,这是许多机器学习问题(例如分类,聚类,排名等)中的关键步骤。例如,在k最近邻(kNN)中分类[25],需要一个度量来测量数据点之间的距离并识别最近的邻居;在许多聚类算法中,数据点之间的相似性度量用于确定聚类。尽管有一些通用度量标准(例如欧几里得距离)可用于获取表示为矢量的对象之间的相似性度量,但是这些度量标准通常无法捕获正在研究的数据的特定特征,尤其是对于结构化数据。因此,找到或学习一种度量以测量特定任务中涉及的数据点的相似性至关重要。

成为VIP会员查看完整内容
0
81

论文主题: Deep Learning for Image Super-resolution: A Survey

论文摘要: 图像超分辨率(SR)是提高图像分辨率的一类重要的图像处理技术以及计算机视觉中的视频。近年来,基于深度学习的图像超分辨率研究取得了显著进展技术。在这项调查中,我们旨在介绍利用深度学习的图像超分辨率技术的最新进展系统的方法。一般来说,我们可以粗略地将现有的SR技术研究分为三大类:监督SR、非监督SR和领域特定SR。此外,我们还讨论了一些其他重要问题,如公开可用的基准数据集和性能评估指标。最后,我们通过强调几个未来来结束这项调查未来社区应进一步解决的方向和公开问题.

成为VIP会员查看完整内容
0
46
小贴士
相关论文
Image Segmentation Using Deep Learning: A Survey
Shervin Minaee,Yuri Boykov,Fatih Porikli,Antonio Plaza,Nasser Kehtarnavaz,Demetri Terzopoulos
33+阅读 · 2020年1月15日
Self-Supervised Learning For Few-Shot Image Classification
Da Chen,Yuefeng Chen,Yuhong Li,Feng Mao,Yuan He,Hui Xue
13+阅读 · 2019年11月14日
Few-shot Learning: A Survey
Yaqing Wang,Quanming Yao
334+阅读 · 2019年4月10日
H. Ismail Fawaz,G. Forestier,J. Weber,L. Idoumghar,P. Muller
9+阅读 · 2019年3月14日
Amy Zhao,Guha Balakrishnan,Frédo Durand,John V. Guttag,Adrian V. Dalca
4+阅读 · 2019年2月25日
MDU-Net: Multi-scale Densely Connected U-Net for biomedical image segmentation
Jiawei Zhang,Yuzhen Jin,Jilan Xu,Xiaowei Xu,Yanchun Zhang
9+阅读 · 2018年12月4日
Chunwei Tian,Yong Xu,Lunke Fei,Ke Yan
4+阅读 · 2018年10月11日
A Survey on Deep Transfer Learning
Chuanqi Tan,Fuchun Sun,Tao Kong,Wenchang Zhang,Chao Yang,Chunfang Liu
10+阅读 · 2018年8月6日
Test-time augmentation with uncertainty estimation for deep learning-based medical image segmentation
Guotai Wang,Wenqi Li,Michael Aertsen,Jan Deprest,Sebastien Ourselin,Tom Vercauteren
3+阅读 · 2018年7月19日
Document Image Classification with Intra-Domain Transfer Learning and Stacked Generalization of Deep Convolutional Neural Networks
Arindam Das,Saikat Roy,Ujjwal Bhattacharya,Swapan Kumar Parui
3+阅读 · 2018年6月26日
Top
微信扫码咨询专知VIP会员