摘要: 深度学习已经广泛应用到各个领域, 如计算机视觉和自然语言处理等, 并都取得了明显优于早期机器学习算法的效果. 在信息技术飞速发展的今天, 训练数据逐渐趋于大数据集, 深度神经网络不断趋于大型化, 导致训练越来越困难, 速度和精度都有待提升. 2013年, Ioffe等指出训练深度神经网络过程中存在一个严重问题: 中间协变量迁移(Internal covariate shift), 使网络训练过程对参数初值敏感、收敛速度变慢, 并提出了批归一化(Batch normalization, BN)方法, 以减少中间协变量迁移问题, 加快神经网络训练过程收敛速度. 目前很多网络都将BN作为一种加速网络训练的重要手段, 鉴于BN的应用价值, 本文系统综述了BN及其相关算法的研究进展. 首先对BN的原理进行了详细分析. BN虽然简单实用, 但也存在一些问题, 如依赖于小批量数据集的大小、训练和推理过程对数据处理方式不同等, 于是很多学者相继提出了BN的各种相关结构与算法, 本文对这些结构和算法的原理、优势和可以解决的主要问题进行了分析与归纳. 然后对BN在各个神经网络领域的应用方法进行了概括总结, 并且对其他常用于提升神经网络训练性能的手段进行了归纳. 最后进行了总结, 并对BN的未来研究方向进行了展望.

成为VIP会员查看完整内容
深度学习批归一化及其相关算法研究进展.pdf
0
35

相关内容

机器学习的一个分支,它基于试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的一系列算法。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

目前诸多模式识别任务的识别精度获得不断提升,在一些任务上甚至超越了人的水平。单从识别精度的角度来看,模式识别似乎已经是一个被解决了的问题。然而,高精度的模式识别系统在实际应用中依旧会出现不稳定和不可靠的现象。因此,开放环境下的鲁棒性成为制约模式识别技术发展的新瓶颈。实际上,在大部分模式识别模型和算法背后蕴含着三个基础假设:封闭世界假设、独立同分布假设、以及大数据假设。这三个假设直接或间接影响了模式识别系统的鲁棒性,并且是造成机器智能和人类智能之间差异的主要原因。本文简要论述如何通过打破三个基础假设来提升模式识别系统的鲁棒性。

成为VIP会员查看完整内容
0
12

深度学习在很多人工智能应用领域中取得成功的关键原因在于,通过复杂的深层网络模型从海量数据中学习丰富的知识。然而,深度学习模型内部高度的复杂性常导致人们难以理解模型的决策结果,造成深度学习模型的不可解释性,从而限制了模型的实际部署。因此,亟需提高深度学习模型的可解释性,使模型透明化,以推动人工智能领域研究的发展。本文旨在对深度学习模型可解释性的研究进展进行系统性的调研,从可解释性原理的角度对现有方法进行分类,并且结合可解释性方法在人工智能领域的实际应用,分析目前可解释性研究存在的问题,以及深度学习模型可解释性的发展趋势。为全面掌握模型可解释性的研究进展以及未来的研究方向提供新的思路。

成为VIP会员查看完整内容
0
39

目标检测的任务是从图像中精确且高效地识别、定位出大量预定义类别的物体实例。随着深度学习的广泛应用,目标检测的精确度和效率都得到了较大提升,但基于深度学习的目标检测仍面临改进与优化主流目标检测算法的性能、提高小目标物体检测精度、实现多类别物体检测、轻量化检测模型等关键技术的挑战。针对上述挑战,本文在广泛文献调研的基础上,从双阶段、单阶段目标检测算法的改进与结合的角度分析了改进与优化主流目标检测算法的方法,从骨干网络、增加视觉感受野、特征融合、级联卷积神经网络和模型的训练方式的角度分析了提升小目标检测精度的方法,从训练方式和网络结构的角度分析了用于多类别物体检测的方法,从网络结构的角度分析了用于轻量化检测模型的方法。此外,对目标检测的通用数据集进行了详细介绍,从4个方面对该领域代表性算法的性能表现进行了对比分析,对目标检测中待解决的问题与未来研究方向做出预测和展望。目标检测研究是计算机视觉和模式识别中备受青睐的热点,仍然有更多高精度和高效的算法相继提出,未来将朝着更多的研究方向发展。

成为VIP会员查看完整内容
0
15

目标检测作为机器视觉中重要任务之一,是人工智能体系中一个具有重要研究价值的技术分支。对于卷积神经网络框架、anchor-based模型和anchor-free模型三个主流的目标检测模型进行梳理。首先,综述了主流卷积神经网络框架的网络结构、优缺点以及相关的改进方法;其次从one-stage和two-stage两个分支对anchor-based类模型进行深入分析,总结了不同目标检测方法的研究进展;从早期探索、关键点和密集预测三部分分析anchor-free类模型。最后对该领域的未来发展趋势进行了思考与展望。

成为VIP会员查看完整内容
0
29

摘要:随着日益剧增的海量数据信息的产生以及数据挖掘算法的广泛应用,人们已经进入了大数据时代.在数据规模飞速增长的前提下,如何高效稳定的存取数据信息以及加快数据挖掘算法的执行已经成为学术界和工业界急需解决的关键问题.机器学习算法作为数据挖掘应用的核心组成部分,吸引了越来越多研究者的关注,而利用新型的软硬件手段来加速机器学习算法已经成为了目前的研究热点之一.本文主要针对基于ASIC和FPGA等硬件平台设计的机器学习加速器进行了归纳与总结.首先,本文先介绍了机器学习算法,对代表性的算法进行了分析和归纳.接下来对加速器可能的着眼点进行了列举综述,以各种机器学习硬件加速器为主要实例介绍了目前主流的加速器设计和实现,并围绕加速器结构进行简单分类和总结.最后本文对机器学习算法硬件加速这个领域进行了分析,并对目前的发展趋势做出了展望.

成为VIP会员查看完整内容
0
12

摘要: 大数据时代,数据呈现维度高、数据量大和增长快等特点。如何有效利用其中蕴含的有价值信息,以实现数据的智能化处理,已成为当前理论和应用的研究热点。针对现实普遍存在的多义性对象,数据多标签被提出并被广泛应用于数据智能化组织。近年来,深度学习在数据特征提取方面呈现出高速、高精度等优异性,使基于深度学习的多标签生成得到广泛关注。文中分五大类别总结了最新研究成果,并进一步从数据、关系类型、应用场景、适应性及实验性能方面对其进行对比和分析,最后探讨了多标签生成面临的挑战和未来的研究方向。

成为VIP会员查看完整内容
0
38

摘要 : 零样本图像分类指训练集和测试集在数据的类别上没有交集的情况下进行图像分类 . 该技术 是解决类别标签缺失问题的一种有效手段 , 因此受到了日益广泛的关注 . 自提出此问题至今 , 零样本 图像分类的研究已经大致有十年时间 . 本文系统地对过去十年中零样本图像分类技术的研究进展进行 了综述 , 主要包括以下 4 个方面 . 首先介绍零样本图像分类技术的研究意义及其应用价值 , 然后重点 总结和归纳零样本图像分类的发展过程和研究现状 , 接下来介绍常用的数据集和评价准则 , 以及与零 样本学习相关的技术的区别和联系 , 最后分析有待深入研究的热点与难点问题 , 并对未来的发展趋势 进行了展望 .

关键词: 零样本图像分类 , 属性 , 词向量 , 跨模态映射 , 领域适应学习

成为VIP会员查看完整内容
0
45
小贴士
相关VIP内容
专知会员服务
12+阅读 · 8月9日
专知会员服务
39+阅读 · 8月1日
专知会员服务
15+阅读 · 8月1日
专知会员服务
29+阅读 · 6月26日
专知会员服务
12+阅读 · 6月20日
专知会员服务
25+阅读 · 5月21日
专知会员服务
36+阅读 · 4月29日
专知会员服务
38+阅读 · 4月25日
专知会员服务
28+阅读 · 4月24日
零样本图像分类综述 : 十年进展
专知会员服务
45+阅读 · 2019年11月16日
相关资讯
深度学习与医学图像分析
人工智能前沿讲习班
15+阅读 · 2019年6月8日
硬件加速神经网络综述
计算机研究与发展
3+阅读 · 2019年2月1日
生成对抗网络研究人脸识别领域获进展
中科院之声
6+阅读 · 2018年9月24日
机器学习优化算法「梯度下降」及其变种算法
将门创投
10+阅读 · 2018年5月2日
深度学习时代的目标检测算法
炼数成金订阅号
39+阅读 · 2018年3月19日
综述:深度学习时代的目标检测算法
极市平台
22+阅读 · 2018年3月17日
干货 | 深度学习时代的目标检测算法
AI科技评论
5+阅读 · 2018年3月6日
贝叶斯机器学习前沿进展
机器学习研究会
9+阅读 · 2018年1月21日
干货 | 目标识别算法的进展
计算机视觉战队
14+阅读 · 2017年6月29日
Layer Normalization原理及其TensorFlow实现
深度学习每日摘要
4+阅读 · 2017年6月17日
相关论文
Ioannis Z. Emiris,Ioannis Psarros
3+阅读 · 4月13日
Chaoxu Guo,Bin Fan,Jie Gu,Qian Zhang,Shiming Xiang,Veronique Prinet,Chunhong Pan
3+阅读 · 2019年3月21日
Adaptive Neural Trees
Ryutaro Tanno,Kai Arulkumaran,Daniel C. Alexander,Antonio Criminisi,Aditya Nori
3+阅读 · 2018年12月10日
A Survey on Deep Transfer Learning
Chuanqi Tan,Fuchun Sun,Tao Kong,Wenchang Zhang,Chao Yang,Chunfang Liu
6+阅读 · 2018年8月6日
Felix Laumann,Kumar Shridhar,Adrian Llopart Maurin
14+阅读 · 2018年6月27日
Hao Wang,Qilong Wang,Mingqi Gao,Peihua Li,Wangmeng Zuo
5+阅读 · 2018年4月2日
Yuxin Wu,Kaiming He
7+阅读 · 2018年3月22日
Peng Tang,Chunyu Wang,Xinggang Wang,Wenyu Liu,Wenjun Zeng,Jingdong Wang
6+阅读 · 2018年1月30日
Ilias Diakonikolas,Gautam Kamath,Daniel M. Kane,Jerry Li,Ankur Moitra,Alistair Stewart
3+阅读 · 2017年12月14日
Top