摘要: 深度学习已经广泛应用到各个领域, 如计算机视觉和自然语言处理等, 并都取得了明显优于早期机器学习算法的效果. 在信息技术飞速发展的今天, 训练数据逐渐趋于大数据集, 深度神经网络不断趋于大型化, 导致训练越来越困难, 速度和精度都有待提升. 2013年, Ioffe等指出训练深度神经网络过程中存在一个严重问题: 中间协变量迁移(Internal covariate shift), 使网络训练过程对参数初值敏感、收敛速度变慢, 并提出了批归一化(Batch normalization, BN)方法, 以减少中间协变量迁移问题, 加快神经网络训练过程收敛速度. 目前很多网络都将BN作为一种加速网络训练的重要手段, 鉴于BN的应用价值, 本文系统综述了BN及其相关算法的研究进展. 首先对BN的原理进行了详细分析. BN虽然简单实用, 但也存在一些问题, 如依赖于小批量数据集的大小、训练和推理过程对数据处理方式不同等, 于是很多学者相继提出了BN的各种相关结构与算法, 本文对这些结构和算法的原理、优势和可以解决的主要问题进行了分析与归纳. 然后对BN在各个神经网络领域的应用方法进行了概括总结, 并且对其他常用于提升神经网络训练性能的手段进行了归纳. 最后进行了总结, 并对BN的未来研究方向进行了展望.

成为VIP会员查看完整内容
深度学习批归一化及其相关算法研究进展.pdf
0
40

相关内容

机器学习的一个分支,它基于试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的一系列算法。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

推荐系统旨在为用户推荐个性化的在线商品或信息, 其广泛应用于众多Web场景之中, 来处理海量信息数据所导致的信息过载问题, 以此提升用户体验. 鉴于推荐系统强大的实用性, 自20世纪90年代中期以来, 研究者针对其方法与应用两方面, 进行了大量广泛的研究. 近年来, 很多工作发现知识图谱中所蕴含的丰富信息可以有效地解决推荐系统中存在的一系列关键问题, 例如数据稀疏、冷启动、推荐多样性等. 因此, 本文 针对基于知识图谱的推荐系统这一领域进行了全面的综述. 具体地, 首先简单介绍推荐系统与知识图谱中的一些基本概念. 随后, 详细介绍现有方法如何挖掘知识图谱不同种类的信息并应用于推荐系统. 此外, 总结了相关的一系列推荐应用场景. 最后, 提出了对基于知识图谱的推荐系统前景的看法, 并展望了该领域未来的研究方向.

成为VIP会员查看完整内容
0
157

深度学习在很多人工智能应用领域中取得成功的关键原因在于,通过复杂的深层网络模型从海量数据中学习丰富的知识。然而,深度学习模型内部高度的复杂性常导致人们难以理解模型的决策结果,造成深度学习模型的不可解释性,从而限制了模型的实际部署。因此,亟需提高深度学习模型的可解释性,使模型透明化,以推动人工智能领域研究的发展。本文旨在对深度学习模型可解释性的研究进展进行系统性的调研,从可解释性原理的角度对现有方法进行分类,并且结合可解释性方法在人工智能领域的实际应用,分析目前可解释性研究存在的问题,以及深度学习模型可解释性的发展趋势。为全面掌握模型可解释性的研究进展以及未来的研究方向提供新的思路。

成为VIP会员查看完整内容
0
105

目标检测的任务是从图像中精确且高效地识别、定位出大量预定义类别的物体实例。随着深度学习的广泛应用,目标检测的精确度和效率都得到了较大提升,但基于深度学习的目标检测仍面临改进与优化主流目标检测算法的性能、提高小目标物体检测精度、实现多类别物体检测、轻量化检测模型等关键技术的挑战。针对上述挑战,本文在广泛文献调研的基础上,从双阶段、单阶段目标检测算法的改进与结合的角度分析了改进与优化主流目标检测算法的方法,从骨干网络、增加视觉感受野、特征融合、级联卷积神经网络和模型的训练方式的角度分析了提升小目标检测精度的方法,从训练方式和网络结构的角度分析了用于多类别物体检测的方法,从网络结构的角度分析了用于轻量化检测模型的方法。此外,对目标检测的通用数据集进行了详细介绍,从4个方面对该领域代表性算法的性能表现进行了对比分析,对目标检测中待解决的问题与未来研究方向做出预测和展望。目标检测研究是计算机视觉和模式识别中备受青睐的热点,仍然有更多高精度和高效的算法相继提出,未来将朝着更多的研究方向发展。

成为VIP会员查看完整内容
0
106

摘要:随着日益剧增的海量数据信息的产生以及数据挖掘算法的广泛应用,人们已经进入了大数据时代.在数据规模飞速增长的前提下,如何高效稳定的存取数据信息以及加快数据挖掘算法的执行已经成为学术界和工业界急需解决的关键问题.机器学习算法作为数据挖掘应用的核心组成部分,吸引了越来越多研究者的关注,而利用新型的软硬件手段来加速机器学习算法已经成为了目前的研究热点之一.本文主要针对基于ASIC和FPGA等硬件平台设计的机器学习加速器进行了归纳与总结.首先,本文先介绍了机器学习算法,对代表性的算法进行了分析和归纳.接下来对加速器可能的着眼点进行了列举综述,以各种机器学习硬件加速器为主要实例介绍了目前主流的加速器设计和实现,并围绕加速器结构进行简单分类和总结.最后本文对机器学习算法硬件加速这个领域进行了分析,并对目前的发展趋势做出了展望.

成为VIP会员查看完整内容
0
33

摘要: 大数据时代,数据呈现维度高、数据量大和增长快等特点。如何有效利用其中蕴含的有价值信息,以实现数据的智能化处理,已成为当前理论和应用的研究热点。针对现实普遍存在的多义性对象,数据多标签被提出并被广泛应用于数据智能化组织。近年来,深度学习在数据特征提取方面呈现出高速、高精度等优异性,使基于深度学习的多标签生成得到广泛关注。文中分五大类别总结了最新研究成果,并进一步从数据、关系类型、应用场景、适应性及实验性能方面对其进行对比和分析,最后探讨了多标签生成面临的挑战和未来的研究方向。

成为VIP会员查看完整内容
0
87
小贴士
相关VIP内容
专知会员服务
157+阅读 · 2020年8月10日
专知会员服务
29+阅读 · 2020年8月9日
专知会员服务
49+阅读 · 2020年8月4日
专知会员服务
105+阅读 · 2020年8月1日
专知会员服务
106+阅读 · 2020年8月1日
专知会员服务
33+阅读 · 2020年6月20日
专知会员服务
44+阅读 · 2020年5月21日
专知会员服务
87+阅读 · 2020年4月25日
专知会员服务
91+阅读 · 2020年4月21日
深度学习自然语言处理综述,266篇参考文献
专知会员服务
139+阅读 · 2019年10月12日
相关资讯
深度学习技术发展趋势浅析
人工智能学家
20+阅读 · 2019年4月11日
人脸识别研究取得进展
中科院之声
4+阅读 · 2019年3月26日
生成对抗网络的最新研究进展
AI科技评论
4+阅读 · 2019年2月6日
生成对抗网络的研究进展与趋势
中国计算机学会
20+阅读 · 2018年11月14日
深度学习时代的目标检测算法
炼数成金订阅号
39+阅读 · 2018年3月19日
综述:深度学习时代的目标检测算法
极市平台
24+阅读 · 2018年3月17日
干货 | 深度学习时代的目标检测算法
AI科技评论
5+阅读 · 2018年3月6日
贝叶斯机器学习前沿进展
机器学习研究会
15+阅读 · 2018年1月21日
干货 | 目标识别算法的进展
计算机视觉战队
15+阅读 · 2017年6月29日
相关论文
Minimal Variance Sampling with Provable Guarantees for Fast Training of Graph Neural Networks
Weilin Cong,Rana Forsati,Mahmut Kandemir,Mehrdad Mahdavi
8+阅读 · 2020年6月24日
Optimization for deep learning: theory and algorithms
Ruoyu Sun
79+阅读 · 2019年12月19日
Qingyong Hu,Bo Yang,Linhai Xie,Stefano Rosa,Yulan Guo,Zhihua Wang,Niki Trigoni,Andrew Markham
7+阅读 · 2019年11月25日
Alexei Baevski,Sergey Edunov,Yinhan Liu,Luke Zettlemoyer,Michael Auli
6+阅读 · 2019年3月19日
Interpretable Convolutional Neural Networks via Feedforward Design
C. -C. Jay Kuo,Min Zhang,Siyang Li,Jiali Duan,Yueru Chen
4+阅读 · 2018年10月5日
Yeonwoo Jeong,Hyun Oh Song
6+阅读 · 2018年5月15日
Tong Yu,Branislav Kveton,Zheng Wen,Hung Bui,Ole J. Mengshoel
4+阅读 · 2018年4月26日
Honggang Zhou,Yunchun Li,Hailong Yang,Wei Li,Jie Jia
3+阅读 · 2018年4月26日
Ngoc-Trung Tran,Tuan-Anh Bui,Ngai-Man Cheung
9+阅读 · 2018年3月23日
Top