资源 | CMU统计机器学习2017春季课程:研究生水平

2017 年 10 月 30 日 机器之心
资源 | CMU统计机器学习2017春季课程:研究生水平

机器之心整理

参与:蒋思源

机器之心向大家介绍一门统计机器学习课程,该课程的授课老师是 CMU 的 Ryan Tibshirani 和 Larry Wasserman,他们从回归模型到概率图模型向我们展示了统计机器学习的全面概念与推导。本课程适合有一定概率论和机器学习基础的读者进一步理解统计机器学习的一般理论,且所有的课程视频、笔记等资料都可在课程页面获取。


该《统计机器学习》课程是 CMU 中进阶机器学习的研究生课程,所以想学习的读者可能需要有一些机器学习和中级统计学相关的背景知识。术语「统计」反映了该课程对统计学理论和方法论的重视。本课程将方法和理论基础相结合,且各项定理都从直观实践经验开始论述,所以有助于我们使用适当方法和工具来理解与实现这些理论。该课程包含了对机器学习研究与学习十分重要的统计理论基础,包括非参数理论、一致性、极小极大估计和集中性度量等。


课程地址:http://www.stat.cmu.edu/~ryantibs/statml/


课程背景知识要求理解:


  • 依概收敛与依分布收敛

  • 中心极限定理与大数定律

  • 最大似然估计与 Fisher 信息

  • 贝叶斯推断

  • 回归

  • 正则化、偏差-方差权衡

  • 贝叶斯分类器、线性分类器和支持向量机

  • 行列式、特征向量与特征值




对于很多入门级读者来说,该课程会稍微有一些困难。因为这门课程的主要内容更注重于机器学习中的统计理论与方法,而且课程要求的背景知识正好可以通过李航的《统计学习方法》进行学习,所以小编认为我们可以先完成李航的统计学习方法,从概率与统计的方向理解机器学习的本质属性,然后再进一步学习该课程。


基于李航对统计机器学习的论述,我们知道统计机器学习(Statistical Machine Learning)是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科。它有如下一些特点:


  • 统计机器学习以计算机及网络为平台,是建立在计算机及网络之上的

  • 统计机器学习以数据为研究对象,是数据驱动的学科

  • 统计机器学习的目的是对数据进行预测与分析

  • 统计机器学习以方法为中心,统计学习方法构建模型并应用模型进行预测与分析

  • 统计机器学习是概率论、统计学、信息论、计算理论、最优化理论及计算机科学等多个领域的交叉学科,并且在发展中逐步形成独自的理论体系与方法论。


以下在有统计机器学习概念的基础上介绍该课程内容:


该课程的主题为:线性回归、线性分类、非参数回归、非参数分类、再生核希尔伯特空间(Reproducing kernel Hilbert spaces)、密度估计、聚类、高维检验、集中性度量(Concentration of measure)、极小极大理论(Minimax theory)、稀疏性和 lasso,还有概率图模型等。


并且每一个主题都有相应的学时、笔记、视频等材料。例如在图模型章节中,Ryan Tibshirani 和 Larry Wasserman 详细解释了各种无向图模型,并且有十分详尽的课程资料。如下是该章节的笔记资料目录:




该资料从标准的图模型定义,即表征特征(变量)之间关系的一种方法,其有两个主要的分类,即有向图模型和无向图模型。然后其就从无向图的边缘相关性图模型、部分相关性图模型和条件独立性图模型向我们展开整个内容。该资料不仅有详尽的公式推导,同时还有各种利于理解的直观概念图,下面展示了几个直观理解的图表:



图 1:蛋白质网络(Protein network),一种无向图模型。



图 2:表征一个隐马尔可夫模型的有向图。灰色的结点是我们能观察到的,而白色的结点表征的是隐马尔可夫链中的状态,它是不能观察到的。下图将有向边替换为无向边并不会改变独立性关系。


当然除了资料以外,更重要的就是视频,这些课程都提供了相应的 YouTube 视频,我们能直接在该课程页面选择相应的视频资源。除了视频外,该页面还提供了很多课程作业的资料。


最后整个课程的主题与资源展示如下:





本文为机器之心整理,转载请联系本公众号获得授权

✄------------------------------------------------

加入机器之心(全职记者/实习生):hr@jiqizhixin.com

投稿或寻求报道:content@jiqizhixin.com

广告&商务合作:bd@jiqizhixin.com

登录查看更多
8

相关内容

统计学习是关于计算机基于数据构建的概率统计模型并运用模型对数据进行预测和分析的一门科学,统计学习也称为统计机器学习

统计学习是一套以复杂数据建模和数据理解为目的的工具集,是近期才发展起来的统计学的一个新领域。本书出自统计学习领域声名显赫的几位专家,结合R语言介绍了分析大数据必不可少的工具,提供一些重要的建模和预测技术,并借助丰富的实验来解释如何用R语言实现统计学习方法。论题包括线性回归、分类、重抽样方法、压缩方法、基于树的方法、支持向量机、聚类等,作者借助彩图和实际案例直观解释这些方法。为了读者更好地理解书中内容,每章后还配有丰富的概念性和应用性练习题。

  书中内容与《The Elements of Statistical Learning》的大部分内容相同,但是本书起点低,弱化了数学推导的细节,更注重方法的应用,所以更适合作为入门教材。当然,这本《统计学习导论》不仅是优秀的“统计学习”或“机器学习”课程的教材,也是数据挖掘、数据分析等相关从业者不可或缺的参考书。

Gareth James 斯坦福大学统计学博士毕业,师从Trevor Hastie。现为南加州大学马歇尔商学院统计学教授,美国统计学会会士,数理统计协会终身会员,新西兰统计协会会员。《Statistica Sinica》、《Applications and Case Studies》、《Theory and Methods》等期刊的副主编。

  Daniela Witten 斯坦福大学统计学博士毕业,师从Robert Tibshirani。现为华盛顿大学生物统计学副教授,美国统计学会和国际数理统计协会会士,《Journal of Computational and Graphical Statistics》和《Biometrika》等期刊副主编。

  Trevor Hastie 美国统计学家和计算机科学家,斯坦福大学统计学教授,英国皇家统计学会、国际数理统计协会和美国统计学会会士。Hastie参与开发了 R 中的大部分统计建模软件和环境,发明了主曲线和主曲面。

  Robert Tibshirani 斯坦福大学统计学教授,国际数理统计协会、美国统计学会和加拿大皇家学会会士,1996年COPSS总统奖得主,提出lasso方法。Hastie和Tibshirani都是统计学习领域的泰山北斗,两人合著《The Elements of Statistical Learning》,还合作讲授斯坦福大学的公开课《统计学习》。  

成为VIP会员查看完整内容
0
139

课程目标 理解、记忆模式识别中的基本概念、步骤和方法 对重要方法,要能实际应用,并能理解其前提条件、 应用范围、应用注意事项和方法原理及推导 对讲授的其他方法,要能理解其含义和使用环境 要对模式识别的前沿领域有感性的认识 提高目标  进一步能通过独立阅读和实践掌握较深入的问题和方 法,并能应用到学习、研究中遇到的问题中去

成为VIP会员查看完整内容
1
89

【导读】2020新年伊始,多伦多大学Amir-massoud Farahmand和Emad A. M. Andrews博士开设了机器学习导论课程,介绍了机器学习的主要概念和思想,并概述了许多常用的机器学习算法。它还可以作为更高级的ML课程的基础。

课程地址:

https://amfarahmand.github.io/csc311/

机器学习(ML)是一组技术,它允许计算机从数据和经验中学习,而不需要人工指定所需的行为。ML在人工智能作为一个学术领域和工业领域都变得越来越重要。本课程介绍了机器学习的主要概念和思想,并概述了许多常用的机器学习算法。它还可以作为更高级的ML课程的基础。

本课程结束时,学生将学习(大致分类)

  • 机器学习问题:监督(回归和分类),非监督(聚类,降维),强化学习

  • 模型:线性和非线性(基扩展和神经网络)

  • 损失函数:平方损失、交叉熵、铰链、指数等。

  • Regularizers: l1和l2

  • 概率观点:最大似然估计,最大后验,贝叶斯推理

  • 偏差和方差的权衡

  • 集成方法:Bagging 和 Boosting

  • ML中的优化技术: 梯度下降法和随机梯度下降法

课程目录:

参考资料:

(ESL) Trevor Hastie, Robert Tibshirani, and Jerome Friedman, The Elements of Statistical Learning, 2009.

(PRML) Christopher M. Bishop, Pattern Recognition and Machine Learning, 2006.

(RL) Richard S. Sutton and Andrew G. Barto Reinforcement Learning: An Introduction, 2018.

(DL) Ian Goodfellow, Yoshua Bengio and Aaron Courville (2016), Deep Learning

(MLPP) Kevin P. Murphy, Machine Learning: A Probabilistic Perspective, 2013.

(ISL) Gareth James, Daniela Witten, Trevor Hastie, and Robert Tibshirani, Introduction to Statistical Learning, 2017.

() Shai Shalev-Shwartz and Shai Ben-David Understanding Machine Learning: From Theory to Algorithms, 2014.

(ITIL) David MacKay, Information Theory, Inference, and Learning Algorithms, 2003.

成为VIP会员查看完整内容
0
35

课程介绍

在人工智能、统计学、计算机系统、计算机视觉、自然语言处理和计算生物学等许多领域中的问题,都可以被视为从局部信息中寻找一致的全局结论。概率图模型框架为这些普遍问题提供了统一的视角解决方案,支持在具有大量属性和庞大数据集的问题中进行有效的推理、决策和学习。本研究生课程将为您运用图模型到复杂的问题和解决图模型的核心研究课题提供坚实的基础。

课程大纲

  • 模块1 - 简介,表示形式和精确推断
  • 模块2 - 近似推断
  • 模块3 - 深度学习和生成模型
  • 模块4 - 通过GM中的推理进行强化学习和控制
  • 模块5 - 非参数方法
  • 模块6 - 模块化和可扩展的算法和系统

讲师:邢波

讲师简介

邢波,卡耐基梅隆大学教授,曾于2014年担任国际机器学习大会(ICML)主席。主要研究兴趣集中在机器学习和统计学习方法论及理论的发展,和大规模计算系统和架构的开发。他创办了Petuum 公司,这是一家专注于人工智能和机器学习的解决方案研发的公司,腾讯曾投资了这家公司。

个人主页

http://www.cs.cmu.edu/~epxing/

成为VIP会员查看完整内容
0
46
小贴士
相关VIP内容
相关论文
Jiacheng Yang,Mingxuan Wang,Hao Zhou,Chengqi Zhao,Yong Yu,Weinan Zhang,Lei Li
5+阅读 · 2020年3月26日
Liang Yao,Chengsheng Mao,Yuan Luo
14+阅读 · 2019年9月7日
Tianyi Zhang,Varsha Kishore,Felix Wu,Kilian Q. Weinberger,Yoav Artzi
5+阅读 · 2019年4月21日
Advances in Natural Language Question Answering: A Review
K. S. D. Ishwari,A. K. R. R. Aneeze,S. Sudheesan,H. J. D. A. Karunaratne,A. Nugaliyadde,Y. Mallawarrachchi
4+阅读 · 2019年4月10日
FocusNet: An attention-based Fully Convolutional Network for Medical Image Segmentation
Chaitanya Kaul,Suresh Manandhar,Nick Pears
4+阅读 · 2019年2月8日
Yimin Zhou,Yiwei Sun,Vasant Honavar
6+阅读 · 2019年1月25日
High-Resolution Image Synthesis and Semantic Manipulation with Conditional GANs
Ting-Chun Wang,Ming-Yu Liu,Jun-Yan Zhu,Andrew Tao,Jan Kautz,Bryan Catanzaro
3+阅读 · 2018年8月20日
Cristina Mata,Guy Ben-Yosef,Boris Katz
7+阅读 · 2018年5月24日
K. Lakshmanan
6+阅读 · 2018年4月24日
Holger R. Roth,Chen Shen,Hirohisa Oda,Masahiro Oda,Yuichiro Hayashi,Kazunari Misawa,Kensaku Mori
5+阅读 · 2018年3月23日
Top