这是一门关于机器学习的入门课程。机器学习是一组技术,它允许机器从数据和经验中学习,而不是要求人类手工指定所需的行为。在过去的20年里,机器学习技术在人工智能的学术领域和科技行业中都变得越来越重要。本课程提供了一些最常用的ML算法的广泛介绍。

课程的前半部分侧重于监督学习。我们从最近邻、决策树和集合开始。然后介绍了参数化模型,包括线性回归、logistic回归和softmax回归以及神经网络。然后我们转向无监督学习,特别关注概率模型,以及主成分分析和k均值。最后,我们介绍了强化学习的基础知识。

课程内容:

  • 最近邻导论
  • 决策树集成
  • 线性回归线性分类
  • Softmax回归、SVM、Boosting
  • PCA、Kmeans、最大似然
  • 概率图模型
  • 期望最大化
  • 神经网络
  • 卷积神经网络
  • 强化学习
  • 可微分隐私
  • 算法公平性

https://www.cs.toronto.edu/~huang/courses/csc2515_2020f/

推荐阅读材料: Hastie, Tibshirani, and Friedman: “The Elements of Statistical Learning” Christopher Bishop: “Pattern Recognition and Machine Learning”, 2006. Kevin Murphy: “Machine Learning: a Probabilistic Perspective”, 2012. David Mackay: “Information Theory, Inference, and Learning Algorithms”, 2003. Shai Shalev-Shwartz & Shai Ben-David: “Understanding Machine Learning: From Theory to Algorithms”, 2014.

学习路线图:

成为VIP会员查看完整内容
0
26

相关内容

“机器学习是近20多年兴起的一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习理论主要是设计和分析一些让 可以自动“ 学习”的算法。机器学习算法是一类从数据中自动分析获得规律,并利用规律对未知数据进行预测的算法。因为学习算法中涉及了大量的统计学理论,机器学习与统计推断学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。很多 推论问题属于 无程序可循难度,所以部分的机器学习研究是开发容易处理的近似算法。” ——中文维基百科

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

机器学习(ML)是一组技术,允许计算机从数据和经验中学习,而不是要求人类手工指定所需的行为。ML在AI的学术领域和工业领域都越来越重要。本课程提供了一些最常用的ML算法的广泛介绍。它还将介绍一些关键的算法原理,这些原理将作为更高级课程的基础,如CSC412/2506(概率学习和推理)和CSC413/2516(神经网络和深度学习)。

我们从最近邻,典型非参数模型开始。然后我们转向参数模型:线性回归、逻辑回归、softmax回归和神经网络。然后我们转向无监督学习,特别关注概率模型,以及主成分分析和k均值。最后,我们介绍了强化学习的基础知识。

http://www.cs.toronto.edu/~rgrosse/courses/csc311_f20/

成为VIP会员查看完整内容
0
15

强化学习理论(RL),重点是样本复杂性分析。

  • Basics of MDPs and RL.
  • Sample complexity analyses of tabular RL.
  • Policy Gradient.
  • Off-policy evaluation.
  • State abstraction theory.
  • Sample complexity analyses of approximate dynamic programming.
  • PAC exploration theory (tabular).
  • PAC exploration theory (function approximation).
  • Partial observability and dynamical system modeling.

http://nanjiang.cs.illinois.edu/cs598/

成为VIP会员查看完整内容
0
18

课程内容:

  • 数学基础:矩阵、向量、Lp范数、范数的几何、对称性、正确定性、特征分解。无约束最优化,graident下降法,凸函数,拉格朗日乘子,线性最小二乘法。概率空间,随机变量,联合分布,多维高斯。

  • 线性分类器:线性判别分析,分离超平面,多类分类,贝叶斯决策规则,贝叶斯决策规则几何,线性回归,逻辑回归,感知机算法,支持向量机,非线性变换。

  • 鲁棒性:对抗性攻击、定向攻击和非定向攻击、最小距离攻击、最大允许攻击、基于规则的攻击。通过纳微扰。支持向量机的鲁棒性。

  • 学习理论:偏差和方差,训练和测试,泛化,PAC框架,Hoeffding不等式,VC维。

参考书籍:

  • Pattern Classification, by Duda, Hart and Stork, Wiley-Interscience; 2 edition, 2000.
  • Learning from Data, by Abu-Mostafa, Magdon-Ismail and Lin, AMLBook, 2012.
  • Elements of Statistical Learning, by Hastie, Tibshirani and Friedman, Springer, 2 edition, 2009.
  • Pattern Recognition and Machine Learning, by Bishop, Springer, 2006.

讲者: Stanley Chan 教授 https://engineering.purdue.edu/ChanGroup/stanleychan.html

课程目标: 您将能够应用基本的线性代数、概率和优化工具来解决机器学习问题

•你将了解一般监督学习方法的原理,并能评论它们的优缺点。 •你会知道处理数据不确定性的方法。 •您将能够使用学习理论的概念运行基本的诊断。 •您将获得机器学习算法编程的实际经验。

成为VIP会员查看完整内容
0
117

神经网络为建模语言提供了强大的新工具,并已被用于改善一些任务的最新技术,并解决过去不容易解决的新问题。这门课(在卡内基梅隆大学语言技术学院)将从神经网络的简要概述开始,然后用大部分时间展示如何将神经网络应用于自然语言问题。每个部分将介绍一个特定的问题或自然语言的现象,描述为什么很难建模,并演示几个模型,旨在解决这个问题。在此过程中,本课程将涵盖在创建神经网络模型中有用的不同技术,包括处理不同大小和结构的句子、高效处理大数据、半监督和非监督学习、结构化预测和多语言建模。

成为VIP会员查看完整内容
0
51

【导读】2020新年伊始,多伦多大学Amir-massoud Farahmand和Emad A. M. Andrews博士开设了机器学习导论课程,介绍了机器学习的主要概念和思想,并概述了许多常用的机器学习算法。它还可以作为更高级的ML课程的基础。

课程地址:

https://amfarahmand.github.io/csc311/

机器学习(ML)是一组技术,它允许计算机从数据和经验中学习,而不需要人工指定所需的行为。ML在人工智能作为一个学术领域和工业领域都变得越来越重要。本课程介绍了机器学习的主要概念和思想,并概述了许多常用的机器学习算法。它还可以作为更高级的ML课程的基础。

本课程结束时,学生将学习(大致分类)

  • 机器学习问题:监督(回归和分类),非监督(聚类,降维),强化学习

  • 模型:线性和非线性(基扩展和神经网络)

  • 损失函数:平方损失、交叉熵、铰链、指数等。

  • Regularizers: l1和l2

  • 概率观点:最大似然估计,最大后验,贝叶斯推理

  • 偏差和方差的权衡

  • 集成方法:Bagging 和 Boosting

  • ML中的优化技术: 梯度下降法和随机梯度下降法

课程目录:

参考资料:

(ESL) Trevor Hastie, Robert Tibshirani, and Jerome Friedman, The Elements of Statistical Learning, 2009.

(PRML) Christopher M. Bishop, Pattern Recognition and Machine Learning, 2006.

(RL) Richard S. Sutton and Andrew G. Barto Reinforcement Learning: An Introduction, 2018.

(DL) Ian Goodfellow, Yoshua Bengio and Aaron Courville (2016), Deep Learning

(MLPP) Kevin P. Murphy, Machine Learning: A Probabilistic Perspective, 2013.

(ISL) Gareth James, Daniela Witten, Trevor Hastie, and Robert Tibshirani, Introduction to Statistical Learning, 2017.

() Shai Shalev-Shwartz and Shai Ben-David Understanding Machine Learning: From Theory to Algorithms, 2014.

(ITIL) David MacKay, Information Theory, Inference, and Learning Algorithms, 2003.

成为VIP会员查看完整内容
0
28

简介: 机器学习是从数据和经验中学习的算法研究。 它被广泛应用于从医学到广告,从军事到行人的各种应用领域。 CIML是一组入门资料,涵盖了现代机器学习的大多数主要方面(监督学习,无监督学习,大幅度方法,概率建模,学习理论等)。 它的重点是具有严格主干的广泛应用。 一个子集可以用于本科课程; 研究生课程可能涵盖全部材料,然后再覆盖一些。

作者介绍: Hal Daumé III,教授,他曾担任Perotto教授职位,他现在Microsoft Research NYC的机器学习小组中。 研究方向是自然语言处理。

大纲介绍:

  • 前言
  • 决策树
  • Limits of Learning
  • 近邻算法
  • 感知机
  • 联系
  • 边缘分类
  • 线性模型
  • 偏差
  • 概率模型
  • 神经网络
  • 核函数
  • 学习理论
  • Ensemble 方法
  • 高效学习
  • 无监督学习
  • 期望最大化
  • 结构预测
  • 模仿学习
  • 后记

下载链接: https://pan.baidu.com/s/1QwSGTioJxDCRvlkBqcJr_A

提取码:fwbq

成为VIP会员查看完整内容
0
18

本课程涵盖了机器学习和统计建模方面的广泛主题。 虽然将涵盖数学方法和理论方面,但主要目标是为学生提供解决实际中发现的数据科学问题所需的工具和原理。 本课程还可以作为基础,以提供更多专业课程和进一步的独立学习。 本课程是数据科学中心数据科学硕士学位课程核心课程的一部分。 此类旨在作为DS-GA-1001数据科学概论的延续,其中涵盖了一些重要的基础数据科学主题,而这些主题可能未在此DS-GA类中明确涵盖。

课程大纲

  • Week 1:统计学习理论框架
  • Week 2:随机梯度下降
  • Week 3:正则化,Lasso, 和 Elastic网,次梯度方法
  • Week 4:损失函数,SVM,代表定理
  • Week 5:核方法
  • Week 6:最大似然,条件概率
  • Week 7:期中
  • Week 8:贝叶斯方法
  • Week 9:贝叶斯条件概率,多分类
  • Week 10:分类和回归树
  • Week 11:bagging和随机森林,梯度提升
  • Week 12:K-Means,高斯混合模型
  • Week 13:EM算法
  • Week 14:神经网络,反向传播
成为VIP会员查看完整内容
kechengDS-GA1003-Spring2019.pdf
0
31

主题: Introduction to Machine Learning

课程简介: 机器学习是指通过经验自动提高性能的计算机程序(例如,学习识别人脸、推荐音乐和电影以及驱动自主机器人的程序)。本课程从不同的角度介绍机器学习的理论和实用算法。主题包括贝叶斯网络、决策树学习、支持向量机、统计学习方法、无监督学习和强化学习。本课程涵盖理论概念,例如归纳偏差、PAC学习框架、贝叶斯学习方法、基于边际的学习和Occam的剃刀。编程作业包括各种学习算法的实际操作实验。这门课程的目的是让一个研究生在方法论,技术,数学和算法方面有一个彻底的基础,目前需要的人谁做的机器学习的研究。

邀请嘉宾: Hal Daumé III,纽约市微软研究院的研究员,是机器学习小组的一员;他也是马里兰大学的副教授。他主要从事自然语言处理和机器学习。

Matt Gormley,卡内基梅隆大学计算机科学学院机器学习部(ML)助教。

Roni Rosenfeld,卡内基梅隆大学计算机学院机器学习系教授兼主任,个人主页:https://www.cs.cmu.edu/~roni/。等

成为VIP会员查看完整内容
0
26
小贴士
相关论文
Davide Abati,Jakub Tomczak,Tijmen Blankevoort,Simone Calderara,Rita Cucchiara,Babak Ehteshami Bejnordi
5+阅读 · 3月31日
Meta-Transfer Learning for Zero-Shot Super-Resolution
Jae Woong Soh,Sunwoo Cho,Nam Ik Cho
22+阅读 · 2月27日
Weinan E,Chao Ma,Lei Wu
4+阅读 · 2019年12月30日
Bernhard Schölkopf
7+阅读 · 2019年11月24日
Continual Unsupervised Representation Learning
Dushyant Rao,Francesco Visin,Andrei A. Rusu,Yee Whye Teh,Razvan Pascanu,Raia Hadsell
4+阅读 · 2019年10月31日
Yanbin Liu,Juho Lee,Minseop Park,Saehoon Kim,Eunho Yang,Sung Ju Hwang,Yi Yang
4+阅读 · 2019年2月8日
Parsimonious Bayesian deep networks
Mingyuan Zhou
3+阅读 · 2018年10月17日
Learning to Focus when Ranking Answers
Dana Sagi,Tzoof Avny,Kira Radinsky,Eugene Agichtein
3+阅读 · 2018年8月8日
Michael Kampffmeyer,Yinbo Chen,Xiaodan Liang,Hao Wang,Yujia Zhang,Eric P. Xing
12+阅读 · 2018年5月31日
Abhay Gupta,Arjun D'Cunha,Kamal Awasthi,Vineeth Balasubramanian
4+阅读 · 2018年4月12日
Top