The field of deep learning has witnessed significant progress, particularly in computer vision (CV), natural language processing (NLP), and speech. The use of large-scale models trained on vast amounts of data holds immense promise for practical applications, enhancing industrial productivity and facilitating social development. With the increasing demands on computational capacity, though numerous studies have explored the efficient training, a comprehensive summarization on acceleration techniques of training deep learning models is still much anticipated. In this survey, we present a detailed review for training acceleration. We consider the fundamental update formulation and split its basic components into five main perspectives: (1) data-centric: including dataset regularization, data sampling, and data-centric curriculum learning techniques, which can significantly reduce the computational complexity of the data samples; (2) model-centric, including acceleration of basic modules, compression training, model initialization and model-centric curriculum learning techniques, which focus on accelerating the training via reducing the calculations on parameters; (3) optimization-centric, including the selection of learning rate, the employment of large batchsize, the designs of efficient objectives, and model average techniques, which pay attention to the training policy and improving the generality for the large-scale models; (4) budgeted training, including some distinctive acceleration methods on source-constrained situations; (5) system-centric, including some efficient open-source distributed libraries/systems which provide adequate hardware support for the implementation of acceleration algorithms. By presenting this comprehensive taxonomy, our survey presents a comprehensive review to understand the general mechanisms within each component and their joint interaction.


翻译:深度学习领域取得了重大进展,尤其是在计算机视觉 (Computer Vision, CV)、自然语言处理 (Natural Language Processing, NLP) 和语音等方面。在大量数据上训练大规模模型的使用具有巨大的应用潜力,可以增强工业生产力并促进社会发展。随着计算能力的不断提升,尽管有大量研究探索了高效训练方法,但仍然急需综述整理深度学习模型训练加速技术。在本文中,我们提出了一个详细的高效训练技术综述。我们将基本更新公式划分为五个主要方面,分别是:(1)数据中心:包括数据集正则化、数据采样和数据中心课程学习技术,可以显著减少数据样本的计算复杂度;(2)模型中心,包括基本模块加速、压缩训练、模型初始化和模型中心课程学习技术,重点在于通过减少参数的计算来加速训练;(3)优化中心,包括学习率的选择、大批量训练的使用、设计高效目标和模型平均技巧等,注重训练策略和改进大规模模型的普适性;(4)预算训练,包括源受限情况下的一些独特加速方法;(5)系统中心,包括一些高效的开源分布式库/系统,提供足够的硬件支持实现加速算法。我们的综述通过提供全面的分类机制,从每个组件的基本构成部分切入,深度分析每个方面,并阐述它们之间的互动关系。

148
下载
关闭预览

相关内容

【2022新书】高效深度学习,Efficient Deep Learning Book
专知会员服务
115+阅读 · 2022年4月21日
【综述】7篇非常简洁近期深度学习综述论文
专知会员服务
72+阅读 · 2019年12月31日
深度学习高温蒸馏:Softmax With Temperature
PaperWeekly
1+阅读 · 2022年11月23日
Deep Compression/Acceleration:模型压缩加速论文汇总
极市平台
14+阅读 · 2019年5月15日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
LibRec 精选:推荐的可解释性[综述]
LibRec智能推荐
10+阅读 · 2018年5月4日
最前沿的深度学习论文、架构及资源分享
深度学习与NLP
13+阅读 · 2018年1月25日
【推荐】RNN最新研究进展综述
机器学习研究会
25+阅读 · 2018年1月6日
深度学习医学图像分析文献集
机器学习研究会
17+阅读 · 2017年10月13日
【论文】图上的表示学习综述
机器学习研究会
12+阅读 · 2017年9月24日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
3+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
35+阅读 · 2021年8月2日
Arxiv
23+阅读 · 2020年9月16日
Arxiv
44+阅读 · 2019年12月20日
VIP会员
相关VIP内容
【2022新书】高效深度学习,Efficient Deep Learning Book
专知会员服务
115+阅读 · 2022年4月21日
【综述】7篇非常简洁近期深度学习综述论文
专知会员服务
72+阅读 · 2019年12月31日
相关资讯
深度学习高温蒸馏:Softmax With Temperature
PaperWeekly
1+阅读 · 2022年11月23日
Deep Compression/Acceleration:模型压缩加速论文汇总
极市平台
14+阅读 · 2019年5月15日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
LibRec 精选:推荐的可解释性[综述]
LibRec智能推荐
10+阅读 · 2018年5月4日
最前沿的深度学习论文、架构及资源分享
深度学习与NLP
13+阅读 · 2018年1月25日
【推荐】RNN最新研究进展综述
机器学习研究会
25+阅读 · 2018年1月6日
深度学习医学图像分析文献集
机器学习研究会
17+阅读 · 2017年10月13日
【论文】图上的表示学习综述
机器学习研究会
12+阅读 · 2017年9月24日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
3+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员