【CMU教程】高效大规模机器学习训练,198页PDF带你概览领域前沿进展

【导读】近些年来,机器学习已经在许多真实场景中取得了巨大成功。但是,在实际应用过程中,由于模型复杂度及数据集容量的增加,研究人员面临着计算资源受限的严峻挑战,使得业界迫切需要新的计算框架来完成大型模型的训练工作,从而使研究人员能够轻松地验证新想法。


原文链接:

https://www.microsoft.com/en-us/research/video/scheduling-for-efficient-large-scale-machine-learning-training/


1.课程介绍


在本次讲座中,将重点介绍两种分布式训练系统:Bosen和Orion。它们可以在不需要大量人力工作的前提下,通过调度网络内部通信及并行计算来改善训练时间。此外,通过在TensorFlow中调度内存占用,我们减少了87%的GPU内存消耗,并且能够在相同的硬件上完成10倍参数的模型训练工作。



讲师:Jinliang Wei(韦金良)

本科毕业于普渡大学,博士期间师从Garth A. Gibson 及 Eric P. Xing,主要研究方向是分布式系统、数据库系统及机器学习应用。


个人主页:

http://www.cs.cmu.edu/~jinlianw/

完整PPT下载
请关注专知公众号(点击上方蓝色专知关注
后台回复“SELSMLT” 就可以获取7份完整教程PPT的下载链接~ 


2.内容预览

-END-

专 · 知


专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎登录www.zhuanzhi.ai,注册登录专知,获取更多AI知识资料!

欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程视频资料和与专家交流咨询

请加专知小助手微信(扫一扫如下二维码添加),加入专知人工智能主题群,咨询技术商务合作~

专知《深度学习:算法到实战》课程全部完成!560+位同学在学习,现在报名,限时优惠!网易云课堂人工智能畅销榜首位!

点击“阅读原文”,了解报名专知《深度学习:算法到实战》课程

展开全文
Top
微信扫码咨询专知VIP会员