教程题目: Scheduling For Efficient Large-Scale Machine Learning Training

教程简介:

近年来,机器学习技术在许多实际应用中取得了成功。当研究人员和实践者继续将机器学习扩展到新的应用领域并推动现有应用程序的边界时,由于数据集的增长、模型的复杂性和容量的增加,他们面临着关键的计算挑战。这些挑战需要新的软件系统来有效地训练大型模型,并使机器学习研究人员能够轻松地试验新思想。通过利用机器学习计算的结构特性来设计高效的训练系统,我们有很多机会来提高训练时间和支持更大的训练模型。在本教程中,将介绍两个分布式培训系统Bosen和Orion,它们可以在不需要大量人力工作的前提下,通过调度网络内部通信及并行计算来改善训练时间。此外,通过在TensorFlow中调度内存占用,我们减少了87%的GPU内存消耗,并且能够在相同的硬件上完成10倍参数的模型训练工作。

嘉宾简介:

韦金良本科毕业于普渡大学,博士期间师从Garth A.Gibson 及 Eric P.Xing,主要研究方向是分布式系统、数据库系统及机器学习应用。

成为VIP会员查看完整内容
48

相关内容

“机器学习是近20多年兴起的一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习理论主要是设计和分析一些让 可以自动“ 学习”的算法。机器学习算法是一类从数据中自动分析获得规律,并利用规律对未知数据进行预测的算法。因为学习算法中涉及了大量的统计学理论,机器学习与统计推断学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。很多 推论问题属于 无程序可循难度,所以部分的机器学习研究是开发容易处理的近似算法。” ——中文维基百科

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
专知会员服务
77+阅读 · 2020年6月20日
最新《分布式机器学习》论文综述最新DML进展,33页pdf
专知会员服务
117+阅读 · 2019年12月26日
【课程】伯克利2019全栈深度学习课程(附下载)
专知会员服务
53+阅读 · 2019年10月29日
【教程】TensorFlow2 最新迁移学习教程和实战
量子计算、边缘计算、数据挖掘 前沿研究报告
人工智能学家
6+阅读 · 2019年3月16日
CFP——数据挖掘前沿进展
计算机研究与发展
5+阅读 · 2018年1月12日
机器学习顶级论文及实现(附地址及简介)
七月在线实验室
6+阅读 · 2017年12月22日
Arxiv
33+阅读 · 2020年1月2日
A Comprehensive Survey on Transfer Learning
Arxiv
117+阅读 · 2019年11月7日
Arxiv
21+阅读 · 2018年8月30日
Arxiv
7+阅读 · 2018年5月23日
Arxiv
5+阅读 · 2017年7月23日
VIP会员
相关论文
微信扫码咨询专知VIP会员