题目: A Survey of the Recent Architectures of Deep Convolutional Neural Networks

摘要:

深度卷积神经网络(CNNs)是一种特殊类型的神经网络,在计算机视觉和图像处理等领域的多项竞赛中均有出色的表现。CNN有趣的应用领域包括图像分类与分割、目标检测、视频处理、自然语言处理、语音识别等。深度卷积神经网络强大的学习能力很大程度上是由于它使用了多个特征提取阶段,可以从数据中自动学习表示。大量数据的可用性和硬件技术的改进加速了CNNs的研究,最近出现了非常有趣的深度卷积神经网络架构。事实上,人们已经探索了几个有趣的想法来促进CNNs的发展,比如使用不同的激活和丢失函数、参数优化、正则化和架构创新。然而,深度卷积神经网络的代表性能力的主要提升是通过架构上的创新实现的。特别是利用空间和信道信息、建筑的深度和宽度以及多路径信息处理的思想得到了广泛的关注。同样,使用一组层作为结构单元的想法也越来越流行。因此,本次调查的重点是最近报道的深度CNN架构的内在分类,因此,将CNN架构的最新创新分为七个不同的类别。这七个类别分别基于空间开发、深度、多路径、宽度、特征图开发、通道提升和注意力。对CNN的组成部分、当前CNN面临的挑战和应用进行了初步的了解。

成为VIP会员查看完整内容
0
39

相关内容

在深度学习中,卷积神经网络(CNN或ConvNet)是一类深度神经网络,最常用于分析视觉图像。基于它们的共享权重架构和平移不变性特征,它们也被称为位移不变或空间不变的人工神经网络(SIANN)。它们在图像和视频识别,推荐系统,图像分类,医学图像分析,自然语言处理,和财务时间序列中都有应用。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

题目: AutoML: A Survey of the State-of-the-Art

摘要:

深度学习(DL)技术已渗透到我们生活的方方面面,并为我们带来了极大的便利。但是,针对特定任务构建高质量的DL系统高度依赖于人类的专业知识,这阻碍了DL在更多领域的应用。自动机器学习(AutoML)成为在无需人工协助的情况下构建DL系统的有前途的解决方案,并且越来越多的研究人员专注于AutoML。在本文中,对AutoML中的最新技术(SOTA)进行了全面而最新的回顾。首先,根据管道介绍AutoML方法,涵盖数据准备,特征工程,超参数优化和神经体系结构搜索(NAS)。我们更加关注NAS,因为它是AutoML的非常热门的子主题。然后总结了具有代表性的NAS算法在CIFAR-10和ImageNet数据集上的性能,并进一步讨论了NAS方法的一些值得研究的方向:一阶段/两阶段NAS,单次NAS以及联合超参数和体系结构优化。最后,讨论了现有AutoML方法的一些未解决的问题,以供将来研究。

成为VIP会员查看完整内容
0
59

随着web技术的发展,多模态或多视图数据已经成为大数据的主要流,每个模态/视图编码数据对象的单个属性。不同的模态往往是相辅相成的。这就引起了人们对融合多模态特征空间来综合表征数据对象的研究。大多数现有的先进技术集中于如何融合来自多模态空间的能量或信息,以提供比单一模态的同行更优越的性能。最近,深度神经网络展示了一种强大的架构,可以很好地捕捉高维多媒体数据的非线性分布,对多模态数据自然也是如此。大量的实证研究证明了深多模态方法的优势,从本质上深化了多模态深特征空间的融合。在这篇文章中,我们提供了从浅到深空间的多模态数据分析领域的现有状态的实质性概述。在整个调查过程中,我们进一步指出,该领域的关键要素是多模式空间的协作、对抗性竞争和融合。最后,我们就这一领域未来的一些方向分享我们的观点。

成为VIP会员查看完整内容
0
191

题目: The Creation and Detection of Deepfakes: A Survey

摘要: 本文综述了元学习在图像分类、自然语言处理和机器人等领域的应用。与深度学习不同,元学习使用小样本数据集,并考虑进一步改进模型泛化以获得更高的预测精度。我们将元学习模型归纳为三类:黑箱适应模型、基于相似度的方法模型和元学习过程模型。最近的应用集中在将元学习与贝叶斯深度学习和强化学习相结合,以提供可行的集成问题解决方案。介绍了元学习方法的性能比较,并讨论了今后的研究方向。

成为VIP会员查看完整内容
0
45

题目

二值神经网络综述,Binary Neural Networks: A Survey

关键词

二进制神经网络,深度学习,模型压缩,网络量化,模型加速

简介

二进制神经网络在很大程度上节省了存储和计算成本,是一种在资源有限的设备上部署深度模型的有前途的技术。 然而,二值化不可避免地导致严重的信息丢失,甚至更糟的是,其不连续性给深度网络的优化带来了困难。 为了解决这些问题,近年来提出了多种算法,并取得了令人满意的进展。 在本文中,我们对这些算法进行了全面的概述,主要分为直接进行二值化的本机解决方案,以及使用使量化误差最小化,改善网络损耗函数和减小梯度误差等技术进行优化的解决方案。 我们还将研究二进制神经网络的其他实用方面,例如硬件友好的设计和训练技巧。 然后,我们对不同的任务进行了评估和讨论,包括图像分类,对象检测和语义分割。 最后,展望了未来研究可能面临的挑战。

作者

Haotong Qina , Ruihao Gonga , Xianglong Liu∗a,b, Xiao Baie , Jingkuan Songc , Nicu Sebe

成为VIP会员查看完整内容
0
45

简介: 在许多将数据表示为图形的领域中,学习图形之间的相似性度量标准被认为是一个关键问题,它可以进一步促进各种学习任务,例如分类,聚类和相似性搜索。 最近,人们对深度图相似性学习越来越感兴趣,其中的主要思想是学习一种深度学习模型,该模型将输入图映射到目标空间,以使目标空间中的距离近似于输入空间中的结构距离。 在这里,我们提供对深度图相似性学习的现有文献的全面回顾。 我们为方法和应用提出了系统的分类法。 最后,我们讨论该问题的挑战和未来方向。

在特征空间上学习足够的相似性度量可以显着确定机器学习方法的性能。从数据自动学习此类度量是相似性学习的主要目的。相似度/度量学习是指学习一种功能以测量对象之间的距离或相似度,这是许多机器学习问题(例如分类,聚类,排名等)中的关键步骤。例如,在k最近邻(kNN)中分类[25],需要一个度量来测量数据点之间的距离并识别最近的邻居;在许多聚类算法中,数据点之间的相似性度量用于确定聚类。尽管有一些通用度量标准(例如欧几里得距离)可用于获取表示为矢量的对象之间的相似性度量,但是这些度量标准通常无法捕获正在研究的数据的特定特征,尤其是对于结构化数据。因此,找到或学习一种度量以测量特定任务中涉及的数据点的相似性至关重要。

成为VIP会员查看完整内容
0
81

论文主题: Recent Advances in Deep Learning for Object Detection

论文摘要: 目标检测是计算机视觉中的基本视觉识别问题,并且在过去的几十年中已得到广泛研究。目标检测指的是在给定图像中找到具有精确定位的特定目标,并为每个目标分配一个对应的类标签。由于基于深度学习的图像分类取得了巨大的成功,因此近年来已经积极研究了使用深度学习的对象检测技术。在本文中,我们对深度学习中视觉对象检测的最新进展进行了全面的调查。通过复习文献中最近的大量相关工作,我们系统地分析了现有的目标检测框架并将调查分为三个主要部分:(i)检测组件,(ii)学习策略(iii)应用程序和基准。在调查中,我们详细介绍了影响检测性能的各种因素,例如检测器体系结构,功能学习,建议生成,采样策略等。最后,我们讨论了一些未来的方向,以促进和刺激未来的视觉对象检测研究。与深度学习。

成为VIP会员查看完整内容
0
69

Attention模型目前已经成为神经网络中的一个重要概念,注意力模型(AM)自机器翻译任务【Bahdanau et al 2014】首次引入进来,现在已经成为主流的神经网络概念。这一模型在研究社区中非常受欢迎,适用领域非常广泛,包括自然语言处理、统计学习、语音和计算机视觉方面的应用。本篇综述提供了关于注意力模型的全面概述,并且提供了一种将现有注意力模型进行有效分类的分类法,调查了用于不同网络结构的注意力模型,并显示了注意力机制如何提高模型的可解释性,最后,讨论了一些受到注意力模型较大影响的应用问题。

成为VIP会员查看完整内容
An Attentive Survey of Attention Models.pdf
0
200

Deep Convolutional Neural Networks (CNNs) are a special type of Neural Networks, which have shown state-of-the-art results on various competitive benchmarks. The powerful learning ability of deep CNN is largely achieved with the use of multiple non-linear feature extraction stages that can automatically learn hierarchical representation from the data. Availability of a large amount of data and improvements in the hardware processing units have accelerated the research in CNNs and recently very interesting deep CNN architectures are reported. The recent race in deep CNN architectures for achieving high performance on the challenging benchmarks has shown that the innovative architectural ideas, as well as parameter optimization, can improve the CNN performance on various vision-related tasks. In this regard, different ideas in the CNN design have been explored such as use of different activation and loss functions, parameter optimization, regularization, and restructuring of processing units. However, the major improvement in representational capacity is achieved by the restructuring of the processing units. Especially, the idea of using a block as a structural unit instead of a layer is gaining substantial appreciation. This survey thus focuses on the intrinsic taxonomy present in the recently reported CNN architectures and consequently, classifies the recent innovations in CNN architectures into seven different categories. These seven categories are based on spatial exploitation, depth, multi-path, width, feature map exploitation, channel boosting and attention. Additionally, it covers the elementary understanding of the CNN components and sheds light on the current challenges and applications of CNNs.

0
36
下载
预览
小贴士
相关资讯
Graph Neural Networks 综述
计算机视觉life
23+阅读 · 2019年8月13日
从0到1,这篇深度学习综述送给你!
机器学习算法与Python学习
20+阅读 · 2018年6月13日
深度剖析卷积神经网络
云栖社区
7+阅读 · 2018年5月27日
一文读懂最近流行的CNN架构(附学习资料)
数据派THU
6+阅读 · 2018年1月14日
【深度学习基础】4. Recurrent Neural Networks
微信AI
15+阅读 · 2017年7月19日
端对端的深度卷积神经网络在语音识别中的应用
深度学习每日摘要
6+阅读 · 2017年7月18日
相关论文
A survey on deep hashing for image retrieval
Xiaopeng Zhang
13+阅读 · 2020年6月10日
Golnaz Ghiasi,Tsung-Yi Lin,Ruoming Pang,Quoc V. Le
7+阅读 · 2019年4月16日
A Survey of the Recent Architectures of Deep Convolutional Neural Networks
Asifullah Khan,Anabia Sohail,Umme Zahoora,Aqsa Saeed Qureshi
36+阅读 · 2019年1月17日
Neural Architecture Optimization
Renqian Luo,Fei Tian,Tao Qin,Enhong Chen,Tie-Yan Liu
7+阅读 · 2018年9月5日
Thomas Elsken,Jan Hendrik Metzen,Frank Hutter
10+阅读 · 2018年9月5日
Mingxing Tan,Bo Chen,Ruoming Pang,Vijay Vasudevan,Quoc V. Le
4+阅读 · 2018年7月31日
ShuffleNet V2: Practical Guidelines for Efficient CNN Architecture Design
Ningning Ma,Xiangyu Zhang,Hai-Tao Zheng,Jian Sun
3+阅读 · 2018年7月30日
Automatically Designing CNN Architectures for Medical Image Segmentation
Aliasghar Mortazi,Ulas Bagci
10+阅读 · 2018年7月19日
Stylianos I. Venieris,Alexandros Kouris,Christos-Savvas Bouganis
4+阅读 · 2018年3月15日
Md Zahangir Alom,Mahmudul Hasan,Chris Yakopcic,Tarek M. Taha,Vijayan K. Asari
12+阅读 · 2018年2月20日
Top
微信扫码咨询专知VIP会员