一文提升你对「分布式高性能深度学习」的整体认知!

2020 年 8 月 30 日 PaperWeekly

近年来,深度学习的应用范围日益受到数据量和模型规模的限制。如何才能高效地进行深度学习模型训练呢?

分布式技术,同时利用多个工作节点,分布式地、高效地训练出性能优良的神经网络模型,能够显著提高深度学习的训练效率、进一步增大其应用范围。

分布式技术是深度学习技术的加速器。

《首席AI架构师——分布式高性能深度学习实战培养计划》,力图从更宽的视角,梳理清楚深度学习框架、AI应用、部署上线的整个环节,让你在AI职业规划上可以多一些选择。


课程还会通过 对系统底层原理和算法的深度挖掘 ,提高你的认知水平,让你在行业中更具竞争力。

在追求极限性能的发展之路上,模型不可避免的越来越大,诞生了GPT3这种超过千亿参数的巨无霸模型。超大模型如何训练,如何部署都是异常棘手的问题。

本课程力图 通过对国内外顶尖开源框架算法的梳理和实践, 让学员能够 对分布式训练原理及技术有更为清晰的认知, 能够在遇到相关问题时找到合理的解决方案,做好技术选型。

课程会针对 Tensorflow、Pytorch、PaddlePaddle、TNN等框架,底层图编译优化,分布式并行计算通信优化,存储优化等, 多个方面的讲解,帮助你的更好的认识并适应新框架带来的变化,加深对框架的技术把控能力。

对课程有意向的同学

添加课程顾问小姐姐微信咨询课程


对课程有意向的同学

添加课程顾问小姐姐微信咨询课程


《首席Ai架构师
分布式高性能深度学习实战培养计划

对课程有意向的同学

添加课程顾问小姐姐微信咨询课程


知识拓展、更多收获


01 专业的论文解读


在课程里,我们每1-2周会安排一篇经典论文供学员阅读,之后由老师帮助解读。   

▲节选至部分论文安排


02 行业案例分享


训练营过程中会邀请合作的专家来分享行业案例以及技术解决方案。


下面是一场源自曾博士的分享↓↓↓

《Google YouTube 基于深度学习的视频推荐》

嘉宾简介:曾博士

计算机视觉,机器学习领域专家

先后在CVPR,ACMMM,TPAMI,SCI 期刊,EI 会议等发表超过30篇论文

▲专家直播分享


《首席Ai架构师
分布式高性能深度学习实战培养计划

对课程有意向的同学

添加课程顾问小姐姐微信咨询课程

登录查看更多
0

相关内容

机器学习的一个分支,它基于试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的一系列算法。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
【NeurIPS 2020】大规模分布式鲁棒优化方法
专知会员服务
25+阅读 · 2020年10月13日
专知会员服务
113+阅读 · 2020年8月22日
专知会员服务
78+阅读 · 2020年8月4日
分布式图神经知识表示框架
专知会员服务
61+阅读 · 2020年7月28日
3个可以写进简历的京东NLP项目实战
专知
11+阅读 · 2020年6月4日
TensorFlow 2.0 分布式训练
TensorFlow
8+阅读 · 2020年1月19日
分布式智能计算系统前沿
中国计算机学会
18+阅读 · 2019年10月8日
以BERT为例,如何优化机器学习模型性能?
专知
10+阅读 · 2019年10月3日
CCFTF17(上海):认知计算产业化如何落地
中国计算机学会
4+阅读 · 2019年4月28日
深度学习,我们不做“调参工”
计算机视觉life
5+阅读 · 2018年10月16日
Google、阿里、京东的CTR预估模型
InfoQ
8+阅读 · 2018年3月16日
Arxiv
18+阅读 · 2020年7月13日
TResNet: High Performance GPU-Dedicated Architecture
Arxiv
7+阅读 · 2020年3月30日
Arxiv
7+阅读 · 2020年3月1日
Arxiv
6+阅读 · 2018年3月29日
VIP会员
相关资讯
3个可以写进简历的京东NLP项目实战
专知
11+阅读 · 2020年6月4日
TensorFlow 2.0 分布式训练
TensorFlow
8+阅读 · 2020年1月19日
分布式智能计算系统前沿
中国计算机学会
18+阅读 · 2019年10月8日
以BERT为例,如何优化机器学习模型性能?
专知
10+阅读 · 2019年10月3日
CCFTF17(上海):认知计算产业化如何落地
中国计算机学会
4+阅读 · 2019年4月28日
深度学习,我们不做“调参工”
计算机视觉life
5+阅读 · 2018年10月16日
Google、阿里、京东的CTR预估模型
InfoQ
8+阅读 · 2018年3月16日
Top
微信扫码咨询专知VIP会员