黄美灵的Spark ML机器学习实战

2018 年 8 月 3 日 炼数成金订阅号

本课程主要讲解基于Spark 2.x的ML,ML是相比MLlib更高级的机器学习库,相比MLlib更加高效、快捷;ML实现了常用的机器学习,如:聚类、分类、回归等算法。本课拒绝枯燥的讲述,将循序渐进从Spark2.x的基础知识开始,然后再透彻讲解各个算法的理论、详细展示Spark实现,最后均会通过实例进行解析实战,帮助大家真正从理论到实践全面掌握Spark ML分布式机器学习。


通过该课程的学习,同学们可以全面掌握Spark ML机器学习,进而能够在实际工作中进行ML的应用开发和定制开发。且该课程优异毕业生均可获得老师内推机会,职位:数据挖掘工程师,就职企业:久邦数码、唯品会、腾讯等。掌握技术,高薪就业,课程等待你的加入!


课程大纲:

第一课 Spark ML基础入门

1、Spark介绍

2、Spark ML介绍

3、课程的基础环境

4、Spark SparkSession

5、Spark Datasets操作

6、Datasets操作的代码实操


第二课 Spark ML Pipelines(ML管道)

1、Pipelines的主要概念

2、Pipelines实例讲解

3、ML操作的代码实操

4、使用 ML Pipeline 构建机器学习工作流案例展示

5、实例的代码实操


第三课 Spark ML数学基础

1、ML矩阵向量计算

2、分类效果评估指标及ML实现详解

3、交叉-验证方法及ML实现详解

4、实例的代码实操


第四课 Spark ML特征的提取、转换和选择

1、特征的提取及ML实现详解

2、特征的转换及ML实现详解

3、特征的选择及ML实现详解

4、实例的代码实操


第五课 Spark ML线性回归/逻辑回归算法

1、线性回归算法

2、逻辑回归算法

3、ML回归算法参数详解

4、ML实例

5、实例的代码实操


第六课 Spark ML决策树/随机森林/GBDT算法

1、决策树算法

2、随机森林算法

3、GDBT算法

4、ML树模型参数详解

5、ML实例

6、实例的代码实操


第七课 Spark ML KMeans聚类算法

1、KMeans聚类算法

2、ML KMeans模型参数详解

3、ML实例

4、实例的代码实操


第八课 Spark ML LDA主题聚类算法

1、LDA主题聚类算法

2、ML LDA主题聚类模型参数详解

3、ML实例

4、实例的代码实操


第九课 Spark ML协同过滤推荐算法

1、协同过滤推荐算法

2、ML协同过滤分布式实现逻辑

3、ML协同过滤源码开发

4、实现实例

5、实例的代码实操


第十课 大型案例:基于Spark的推荐模型开发

1、案例背景

2、架构设计

3、数据准备

4、模型训练

5、模型预测

6、脚本封装


开课时间:本期课程将于8月16日开始。课程持续时间大约为12周。


课程基础:学习者需要有一些Spark/Scala/线性代数基础知识。


授课对象:对spark有兴趣,有志从事数据分析,数据挖掘工作方向的朋友


课程环境:Spark2.0, Spark2.1, Spark2.2


预期收获:

通过该课程的学习,同学们可以全面掌握Spark2.0 ML机器学习,进而能够在实际工作中进行ML的应用开发和定制开发。该课程优异毕业生均可获得老师内推机会,职位:数据挖掘工程师,就职企业:久邦数码、唯品会、腾讯等。 


讲师简介:

黄美灵,Spark爱好者,现从事移动互联网的计算广告和数据变现工作,专注Spark机器学习在计算广告中的研究和实践。现著有:《Spark MLlib机器学习:算法、源码及实战详解》

CSDN博客专家:http://blog.csdn.net/sunbow0 


点击下方二维码或阅读原文报名课程:

登录查看更多
3

相关内容

Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架,Spark,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。
【干货书】机器学习Python实战教程,366页pdf
专知会员服务
332+阅读 · 2020年3月17日
Sklearn 与 TensorFlow 机器学习实用指南,385页pdf
专知会员服务
127+阅读 · 2020年3月15日
【新书】Pro 机器学习算法Python实现,379页pdf
专知会员服务
197+阅读 · 2020年2月11日
专知会员服务
112+阅读 · 2019年12月24日
【干货】大数据入门指南:Hadoop、Hive、Spark、 Storm等
专知会员服务
94+阅读 · 2019年12月4日
《机器学习实战》代码(基于Python3)
专知
32+阅读 · 2019年10月14日
Python数据分析案例实战
炼数成金订阅号
5+阅读 · 2019年5月9日
实战深度学习,我们给你整了6个杀手级项目
七月在线实验室
7+阅读 · 2018年3月27日
手把手带你玩转机器学习和深度学习
大数据技术
8+阅读 · 2018年1月3日
Python & 机器学习之项目实践 | 赠书
人工智能头条
14+阅读 · 2017年12月26日
机器学习(28)【降维】之sklearn中PCA库讲解与实战
机器学习算法与Python学习
8+阅读 · 2017年11月27日
机器学习(26)之K-Means实战与调优详解
机器学习算法与Python学习
4+阅读 · 2017年11月19日
课程 | 12个适合机器学习入门的经典案例
Spark机器学习:矩阵及推荐算法
LibRec智能推荐
15+阅读 · 2017年8月3日
Arxiv
5+阅读 · 2018年6月12日
Arxiv
7+阅读 · 2018年3月22日
Arxiv
6+阅读 · 2018年2月7日
Arxiv
5+阅读 · 2015年9月14日
VIP会员
相关资讯
《机器学习实战》代码(基于Python3)
专知
32+阅读 · 2019年10月14日
Python数据分析案例实战
炼数成金订阅号
5+阅读 · 2019年5月9日
实战深度学习,我们给你整了6个杀手级项目
七月在线实验室
7+阅读 · 2018年3月27日
手把手带你玩转机器学习和深度学习
大数据技术
8+阅读 · 2018年1月3日
Python & 机器学习之项目实践 | 赠书
人工智能头条
14+阅读 · 2017年12月26日
机器学习(28)【降维】之sklearn中PCA库讲解与实战
机器学习算法与Python学习
8+阅读 · 2017年11月27日
机器学习(26)之K-Means实战与调优详解
机器学习算法与Python学习
4+阅读 · 2017年11月19日
课程 | 12个适合机器学习入门的经典案例
Spark机器学习:矩阵及推荐算法
LibRec智能推荐
15+阅读 · 2017年8月3日
Top
微信扫码咨询专知VIP会员