【导读】本文章从深度神经网络(DNN)入手,对深度学习(DL)领域的研究进展进行了简要的综述。内容包括:卷积神经网络(CNN)、循环神经网络(RNN)、长时记忆(LSTM)和门控递归单元(GRU)、自动编码器(AE)、深度信念网络(DBN)、生成对抗性网络(GAN)和深度强化学习(DRL)。

近年来,深度学习在各个应用领域都取得了巨大的成功。这个机器学习的新领域发展迅速,已经应用于大多数传统的应用领域,以及一些提供更多机会的新领域。针对不同类型的学习,提出了不同的学习方法,包括监督学习、半监督学习和非监督学习。

实验结果表明,与传统机器学习方法相比,深度学习在图像处理、计算机视觉、语音识别、机器翻译、艺术、医学成像、医学信息处理、机器人与控制、生物信息学、自然语言处理、网络安全等领域具有最先进的性能。

本研究从深度神经网络(DNN)入手,对深度学习(DL)领域的研究进展进行了简要的综述。研究内容包括:卷积神经网络(CNN)、循环神经网络(RNN)、长时记忆(LSTM)和门控递归单元(GRU)、自动编码器(AE)、深度信念网络(DBN)、生成对抗性网络(GAN)和深度强化学习(DRL)。

此外,我们还讨论了最近的发展,例如基于这些DL方法的高级变体DL技术。这项工作考虑了2012年以后发表的大部分论文,当时深度学习的历史开始了。此外,本文中还包括了在不同应用领域探索和评价的DL方法。我们还包括最近开发的框架、SDKs和基准数据集,用于实施和评估深度学习方法。目前有一些研究已经发表,例如使用神经网络和一个关于强化学习(RL)的综述。然而,这些论文还没有讨论大规模深度学习模型的个别高级训练技术和最近发展起来的生成模型的方法。

关键词:卷积神经网络(CNN);循环神经网络(RNN);自动编码器(AE);受限Boltzmann机器(RBM);深度信念网络(DBN);生成对抗性网络(GAN);深度强化学习(DRL);迁移学习。

成为VIP会员查看完整内容
0
33

相关内容

机器学习的一个分支,它基于试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的一系列算法。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

当对大量的标记数据集合(如ImageNet)进行训练时,深度神经网络展示了它们在特殊监督学习任务(如图像分类)上的卓越表现。然而,创建这样的大型数据集需要大量的资源、时间和精力。这些资源在很多实际案例中可能无法获得,限制了许多深度学习方法的采用和应用。为了寻找数据效率更高的深度学习方法,以克服对大型标注数据集的需求,近年来,我们对半监督学习应用于深度神经网络的研究兴趣日益浓厚,通过开发新的方法和采用现有的半监督学习框架进行深度学习设置。在本文中,我们从介绍半监督学习开始,对深度半监督学习进行了全面的概述。然后总结了在深度学习中占主导地位的半监督方法。

成为VIP会员查看完整内容
0
46

随着机器学习、图形处理技术和医学成像数据的迅速发展,机器学习模型在医学领域的使用也迅速增加。基于卷积神经网络(CNN)架构的快速发展加剧了这一问题,医学成像社区采用这种架构来帮助临床医生进行疾病诊断。自2012年AlexNet取得巨大成功以来,CNNs越来越多地被用于医学图像分析,以提高临床医生的工作效率。近年来,三维(3D) CNNs已被用于医学图像分析。在这篇文章中,我们追溯了3D CNN的发展历史,从它的机器学习的根源,简单的数学描述3D CNN和医学图像在输入到3D CNNs之前的预处理步骤。我们回顾了在不同医学领域,如分类、分割、检测和定位,使用三维CNNs(及其变体)进行三维医学成像分析的重要研究。最后,我们讨论了在医学成像领域使用3D CNNs的挑战(以及使用深度学习模型)和该领域可能的未来趋势。

成为VIP会员查看完整内容
0
30

自然语言处理(NLP)帮助智能机器更好地理解人类语言,实现基于语言的人机交流。计算能力的最新发展和大量语言数据的出现,增加了使用数据驱动方法自动进行语义分析的需求。由于深度学习方法在计算机视觉、自动语音识别,特别是NLP等领域的应用取得了显著的进步,数据驱动策略的应用已经非常普遍。本调查对得益于深度学习的NLP的不同方面和应用进行了分类和讨论。它涵盖了核心的NLP任务和应用,并描述了深度学习方法和模型如何推进这些领域。我们进一步分析和比较不同的方法和最先进的模型。

成为VIP会员查看完整内容
0
86

题目: The History Began from AlexNet: A Comprehensive Survey on Deep Learning Approaches

简介:

近年来,深度学习在各个应用领域都取得了巨大的成功。这一新的机器学习领域发展迅速,已经应用到大多数传统的应用领域,以及一些提供更多机会的新领域。基于不同的学习类别,提出了不同的学习方法,包括监督学习、半监督学习和非监督学习。当与传统的机器学习方法在图像理、计算机视觉、语音识别、机器翻译、艺术、医学成像、医疗信息处理、机器人控制、生物信息学、自然语言处理(NLP),网络安全等相比,实验结果表明了使用深度学习最先进的性能。

本报告从深度神经网络(DNN)开始,简要介绍了DL领域的研究进展。调查涵盖了卷积神经网络(CNN)、递归神经网络(RNN),包括长短时记忆(LSTM)和门控递归单元(GRU)、自动编码器(AE)、深度信念网络(DBN)、生成对抗网络(GAN)和深度强化学习(DRL)。此外,我们还介绍了最新的发展,例如基于这些DL方法的高级DL变体技术。本研究考虑了2012年以后发表的关于深度学习历史开始的大部分论文。此外,在不同的应用领域中探索和评估过的DL方法也包括在本次调查中。我们还包括最近开发的用于实现和评估深度学习方法的框架、sdk和基准数据集。有一些关于使用神经网络进行深度学习的调查和关于RL的调查已经发表。然而,这些论文并没有讨论用于训练大规模深度学习模型的个别先进技术和最近发展起来的生成模型方法。

作者简介:

Md Zahangir Alom博士是美国俄亥俄州代顿大学的研究工程师。他分别于2008年和2012年获得了孟加拉国拉杰沙伊大学(University of Rajshahi)和韩国全北国立大学(Chonbuk National University)的计算机工程学士和硕士学位。2018年,他获得了戴顿大学电子和计算机工程博士学位。他的研究兴趣包括机器学习、深度学习、医学成像和计算病理学。他是IEEE学生会员,国际神经网络协会(INNS)会员,美国数字病理学协会(DPA)会员。

Tarek M. Taha博士是代顿大学(University of Dayton)电子和计算机工程教授。他的研究兴趣是神经形态计算和高性能计算。Tarek M. Taha博士是美国国家科学基金会职业奖的获得者。

成为VIP会员查看完整内容
0
28

深度学习(DL)在我们的生活中扮演着越来越重要的角色。它已经在癌症诊断、精准医疗、自动驾驶汽车、预测预测和语音识别等领域产生了巨大的影响。在传统的学习、分类和模式识别系统中使用的人工制作的特征提取器对于大型数据集是不可扩展的。在许多情况下,根据问题的复杂性,DL还可以克服早期浅层网络的限制,这些限制阻碍了有效的训练和多维培训数据分层表示的抽象。深度神经网络(DNN)使用多个(深度)单元层,具有高度优化的算法和体系结构。来自美国AJAY SHRESTHA等学者撰写了深度学习算法与架构回顾综述论文,包括深度学习算法类型与训练方法,深入研究了最近深度网络中使用的训练算法背后的数学原理。本文还介绍了深度卷积网络、深度残差网络、递归神经网络、增强学习、变分自编码器等不同类型的深度结构。

成为VIP会员查看完整内容
0
32

题目: Understanding Deep Learning Techniques for Image Segmentation

简介: 机器学习已被大量基于深度学习的方法所淹没。各种类型的深度神经网络(例如卷积神经网络,递归网络,对抗网络,自动编码器等)有效地解决了许多具有挑战性的计算机视觉任务,例如在不受限制的环境中对对象进行检测,定位,识别和分割。尽管有很多关于对象检测或识别领域的分析研究,但相对于图像分割技术,出现了许多新的深度学习技术。本文从分析的角度探讨了图像分割的各种深度学习技术。这项工作的主要目的是提供对图像分割领域做出重大贡献的主要技术的直观理解。从一些传统的图像分割方法开始,本文进一步描述了深度学习对图像分割域的影响。此后,大多数主要的分割算法已按照专用于其独特贡献的段落进行了逻辑分类。

成为VIP会员查看完整内容
Understanding Deep Learning Techniques for Image Segmentation.pdf
0
43
小贴士
相关VIP内容
相关论文
Deep Learning & Software Engineering: State of Research and Future Directions
Prem Devanbu,Matthew Dwyer,Sebastian Elbaum,Michael Lowry,Kevin Moran,Denys Poshyvanyk,Baishakhi Ray,Rishabh Singh,Xiangyu Zhang
0+阅读 · 9月17日
Chunwei Tian,Lunke Fei,Wenxian Zheng,Yong Xu,Wangmeng Zuo,Chia-Wen Lin
8+阅读 · 8月3日
A survey on deep hashing for image retrieval
Xiaopeng Zhang
6+阅读 · 6月10日
Xipeng Qiu,Tianxiang Sun,Yige Xu,Yunfan Shao,Ning Dai,Xuanjing Huang
69+阅读 · 3月18日
Optimization for deep learning: theory and algorithms
Ruoyu Sun
61+阅读 · 2019年12月19日
Tensor Graph Convolutional Networks for Prediction on Dynamic Graphs
Osman Asif Malik,Shashanka Ubaru,Lior Horesh,Misha E. Kilmer,Haim Avron
3+阅读 · 2019年10月16日
Star-Transformer
Qipeng Guo,Xipeng Qiu,Pengfei Liu,Yunfan Shao,Xiangyang Xue,Zheng Zhang
3+阅读 · 2019年2月28日
Relational Deep Reinforcement Learning
Vinicius Zambaldi,David Raposo,Adam Santoro,Victor Bapst,Yujia Li,Igor Babuschkin,Karl Tuyls,David Reichert,Timothy Lillicrap,Edward Lockhart,Murray Shanahan,Victoria Langston,Razvan Pascanu,Matthew Botvinick,Oriol Vinyals,Peter Battaglia
4+阅读 · 2018年6月28日
Stylianos I. Venieris,Alexandros Kouris,Christos-Savvas Bouganis
3+阅读 · 2018年3月15日
Lei Zhang,Shuai Wang,Bing Liu
21+阅读 · 2018年1月24日
Top