深度学习批归一化及其相关算法研究进展

7 月 17 日 专知
深度学习批归一化及其相关算法研究进展


摘要: 深度学习已经广泛应用到各个领域, 如计算机视觉和自然语言处理等, 并都取得了明显优于早期机器学习算法的效果. 在信息技术飞速发展的今天, 训练数据逐渐趋于大数据集, 深度神经网络不断趋于大型化, 导致训练越来越困难, 速度和精度都有待提升. 2013年, Ioffe等指出训练深度神经网络过程中存在一个严重问题: 中间协变量迁移(Internal covariate shift), 使网络训练过程对参数初值敏感、收敛速度变慢, 并提出了批归一化(Batch normalization, BN)方法, 以减少中间协变量迁移问题, 加快神经网络训练过程收敛速度. 目前很多网络都将BN作为一种加速网络训练的重要手段, 鉴于BN的应用价值, 本文系统综述了BN及其相关算法的研究进展. 首先对BN的原理进行了详细分析. BN虽然简单实用, 但也存在一些问题, 如依赖于小批量数据集的大小、训练和推理过程对数据处理方式不同等, 于是很多学者相继提出了BN的各种相关结构与算法, 本文对这些结构和算法的原理、优势和可以解决的主要问题进行了分析与归纳. 然后对BN在各个神经网络领域的应用方法进行了概括总结, 并且对其他常用于提升神经网络训练性能的手段进行了归纳. 最后进行了总结, 并对BN的未来研究方向进行了展望.

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c180564


专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“批归一化” 可以获取《深度学习批归一化及其相关算法研究进展》专知下载链接索引

专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取5000+AI主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“阅读原文”,了解使用专知,查看获取5000+AI主题知识资源
登录查看更多
0

相关内容

摘要: 大数据时代,数据呈现维度高、数据量大和增长快等特点。如何有效利用其中蕴含的有价值信息,以实现数据的智能化处理,已成为当前理论和应用的研究热点。针对现实普遍存在的多义性对象,数据多标签被提出并被广泛应用于数据智能化组织。近年来,深度学习在数据特征提取方面呈现出高速、高精度等优异性,使基于深度学习的多标签生成得到广泛关注。文中分五大类别总结了最新研究成果,并进一步从数据、关系类型、应用场景、适应性及实验性能方面对其进行对比和分析,最后探讨了多标签生成面临的挑战和未来的研究方向。

成为VIP会员查看完整内容
0
40
小贴士
相关VIP内容
专知会员服务
19+阅读 · 8月9日
专知会员服务
51+阅读 · 8月1日
专知会员服务
30+阅读 · 7月10日
专知会员服务
16+阅读 · 6月20日
专知会员服务
51+阅读 · 5月21日
专知会员服务
57+阅读 · 4月27日
专知会员服务
40+阅读 · 4月25日
专知会员服务
87+阅读 · 3月6日
零样本图像分类综述 : 十年进展
专知会员服务
48+阅读 · 2019年11月16日
深度学习自然语言处理综述,266篇参考文献
专知会员服务
98+阅读 · 2019年10月12日
相关论文
Emmanuel Bengio,Joelle Pineau,Doina Precup
6+阅读 · 3月13日
Wenwu Zhu,Xin Wang,Peng Cui
17+阅读 · 1月2日
Sparse Sequence-to-Sequence Models
Ben Peters,Vlad Niculae,André F. T. Martins
3+阅读 · 2019年5月14日
The Effect of Network Width on Stochastic Gradient Descent and Generalization: an Empirical Study
Daniel S. Park,Jascha Sohl-Dickstein,Quoc V. Le,Samuel L. Smith
3+阅读 · 2019年5月9日
Jesus Zarzar,Silvio Giancola,Bernard Ghanem
3+阅读 · 2019年3月25日
Star-Transformer
Qipeng Guo,Xipeng Qiu,Pengfei Liu,Yunfan Shao,Xiangyang Xue,Zheng Zhang
3+阅读 · 2019年2月28日
Anna Breger,Jose Ignacio Orlando,Pavol Harar,Monika Dörfler,Sophie Klimscha,Christoph Grechenig,Bianca S. Gerendas,Ursula Schmidt-Erfurth,Martin Ehler
3+阅读 · 2019年1月22日
dynnode2vec: Scalable Dynamic Network Embedding
Sedigheh Mahdavi,Shima Khoshraftar,Aijun An
6+阅读 · 2018年12月6日
Mahdi Hajibabaei,Dengxin Dai
4+阅读 · 2018年7月22日
Yeonwoo Jeong,Hyun Oh Song
6+阅读 · 2018年5月15日
Top