课程内容:

  • 数学基础:矩阵、向量、Lp范数、范数的几何、对称性、正确定性、特征分解。无约束最优化,graident下降法,凸函数,拉格朗日乘子,线性最小二乘法。概率空间,随机变量,联合分布,多维高斯。

  • 线性分类器:线性判别分析,分离超平面,多类分类,贝叶斯决策规则,贝叶斯决策规则几何,线性回归,逻辑回归,感知机算法,支持向量机,非线性变换。

  • 鲁棒性:对抗性攻击、定向攻击和非定向攻击、最小距离攻击、最大允许攻击、基于规则的攻击。通过纳微扰。支持向量机的鲁棒性。

  • 学习理论:偏差和方差,训练和测试,泛化,PAC框架,Hoeffding不等式,VC维。

参考书籍:

  • Pattern Classification, by Duda, Hart and Stork, Wiley-Interscience; 2 edition, 2000.
  • Learning from Data, by Abu-Mostafa, Magdon-Ismail and Lin, AMLBook, 2012.
  • Elements of Statistical Learning, by Hastie, Tibshirani and Friedman, Springer, 2 edition, 2009.
  • Pattern Recognition and Machine Learning, by Bishop, Springer, 2006.

讲者: Stanley Chan 教授 https://engineering.purdue.edu/ChanGroup/stanleychan.html

课程目标: 您将能够应用基本的线性代数、概率和优化工具来解决机器学习问题

•你将了解一般监督学习方法的原理,并能评论它们的优缺点。 •你会知道处理数据不确定性的方法。 •您将能够使用学习理论的概念运行基本的诊断。 •您将获得机器学习算法编程的实际经验。

成为VIP会员查看完整内容
0
141

相关内容

普渡大学位于美国印第安纳州的西拉法叶,是一所以理工科闻名的公立大学,绰号为锅炉工。

【导读】《机器学习:贝叶斯和优化的视角》是雅典大学信息学和通信系的教授Sergios Theodoridis的经典著作,对所有主要的机器学习方法和新研究趋势进行了深入探索,涵盖概率和确定性方法以及贝叶斯推断方法。非常值得学习。

Sergios Theodoridis教授是雅典大学信息学和通信系的教授,香港中文大学(深圳)客座教授。他的研究领域是信号处理和机器学习。他的研究兴趣是自适应算法,分布式和稀疏性感知学习,机器学习和模式识别,生物医学应用中的信号处理和学习以及音频处理和检索。

他的几本著作与合著蜚声海内外,包括《机器学习:贝叶斯和优化的视角》以及畅销书籍《模式识别》。他是2017年EURASIP Athanasios Papoulis奖和2014年EURASIP Meritorious Service奖的获得者。

http://cgi.di.uoa.gr/~stheodor/

机器学习:贝叶斯和优化方法

本书对所有主要的机器学习方法和新研究趋势进行了深入探索,涵盖概率和确定性方法以及贝叶斯推断方法。其中,经典方法包括平均/小二乘滤波、卡尔曼滤波、随机逼近和在线学习、贝叶斯分类、决策树、逻辑回归和提升方法等,新趋势包括稀疏、凸分析与优化、在线分布式算法、RKH空间学习、贝叶斯推断、图模型与隐马尔可夫模型、粒子滤波、深度学习、字典学习和潜变量建模等。全书构建了一套明晰的机器学习知识体系,各章内容相对独立,物理推理、数学建模和算法实现精准且细致,并辅以应用实例和习题。本书适合该领域的科研人员和工程师阅读,也适合学习模式识别、统计/自适应信号处理和深度学习等课程的学生参考。

成为VIP会员查看完整内容
0
218

机器学习是计算机科学中增长最快的领域之一,具有深远的应用。本书的目的是介绍机器学习,以及它所提供的算法范例。本书对机器学习的基本原理和将这些原理转化为实际算法的数学推导提供了理论解释。在介绍了基础知识之后,这本书涵盖了以前教科书没有涉及到的一系列广泛的中心主题。这些包括讨论学习的计算复杂性和凸性和稳定性的概念;重要的算法范例包括随机梯度下降、神经网络和结构化输出学习;以及新兴的理论概念,如PAC-Bayes方法和基于压缩的界限。本文面向高级本科生或刚毕业的学生,使统计学、计算机科学、数学和工程学领域的学生和非专业读者都能接触到机器学习的基本原理和算法。

https://www.cse.huji.ac.il/~shais/UnderstandingMachineLearning/index.html

概述

机器学习是指自动检测数据中有意义的模式。在过去的几十年里,它已经成为几乎所有需要从大数据集中提取信息的任务的通用工具。我们被一种基于机器学习的技术包围着:搜索引擎学习如何给我们带来最好的结果(同时投放有利可图的广告),反垃圾邮件软件学习如何过滤我们的电子邮件信息,信用卡交易被一种学习如何侦测欺诈的软件保护着。数码相机学会识别人脸,智能手机上的智能个人辅助应用学会识别语音指令。汽车配备了使用机器学习算法构建的事故预防系统。机器学习还广泛应用于生物信息学、医学和天文学等科学领域。

所有这些应用程序的一个共同特征是,与计算机的更传统使用相比,在这些情况下,由于需要检测的模式的复杂性,人类程序员无法提供关于这些任务应该如何执行的明确、详细的规范。以智慧生物为例,我们的许多技能都是通过学习我们的经验(而不是遵循给我们的明确指示)而获得或改进的。机器学习工具关注的是赋予程序“学习”和适应的能力。

这本书的第一个目标是提供一个严格的,但易于遵循,介绍机器学习的主要概念: 什么是机器学习?

本书的第二个目标是介绍几种关键的机器学习算法。我们选择展示的算法一方面在实践中得到了成功应用,另一方面提供了广泛的不同的学习技术。此外,我们特别关注适合大规模学习的算法(又称“大数据”),因为近年来,我们的世界变得越来越“数字化”,可用于学习的数据量也在急剧增加。因此,在许多应用中数据量大,计算时间是主要瓶颈。因此,我们明确地量化了学习给定概念所需的数据量和计算时间。

目录:

  • Introduction

Part I: Foundations

  • A gentle start
  • A formal learning model
  • Learning via uniform convergence
  • The bias-complexity trade-off
  • The VC-dimension
  • Non-uniform learnability
  • The runtime of learning

Part II: From Theory to Algorithms

  • Linear predictors
  • Boosting
  • Model selection and validation
  • Convex learning problems
  • Regularization and stability
  • Stochastic gradient descent
  • Support vector machines
  • Kernel methods
  • Multiclass, ranking, and complex prediction problems
  • Decision trees
  • Nearest neighbor
  • Neural networks

Part III: Additional Learning Models

  • Online learning
  • Clustering
  • Dimensionality reduction
  • Generative models
  • Feature selection and generation

Part IV: Advanced Theory

  • Rademacher complexities
  • Covering numbers
  • Proof of the fundamental theorem of learning theory
  • Multiclass learnability
  • Compression bounds
  • PAC-Bayes

Appendices

  • Technical lemmas
  • Measure concentration
  • Linear algebra
成为VIP会员查看完整内容
0
163

本文介绍了一阶优化方法及其在机器学习中的应用。这不是一门关于机器学习的课程(特别是它不涉及建模和统计方面的考虑),它侧重于使用和分析可以扩展到具有大量参数的大型数据集和模型的廉价方法。这些方法都是围绕“梯度下降”的概念而变化的,因此梯度的计算起着主要的作用。本课程包括最优化问题的基本理论性质(特别是凸分析和一阶微分学)、梯度下降法、随机梯度法、自动微分、浅层和深层网络。

成为VIP会员查看完整内容
0
104

【导读】2020新年伊始,多伦多大学Amir-massoud Farahmand和Emad A. M. Andrews博士开设了机器学习导论课程,介绍了机器学习的主要概念和思想,并概述了许多常用的机器学习算法。它还可以作为更高级的ML课程的基础。

课程地址:

https://amfarahmand.github.io/csc311/

机器学习(ML)是一组技术,它允许计算机从数据和经验中学习,而不需要人工指定所需的行为。ML在人工智能作为一个学术领域和工业领域都变得越来越重要。本课程介绍了机器学习的主要概念和思想,并概述了许多常用的机器学习算法。它还可以作为更高级的ML课程的基础。

本课程结束时,学生将学习(大致分类)

  • 机器学习问题:监督(回归和分类),非监督(聚类,降维),强化学习

  • 模型:线性和非线性(基扩展和神经网络)

  • 损失函数:平方损失、交叉熵、铰链、指数等。

  • Regularizers: l1和l2

  • 概率观点:最大似然估计,最大后验,贝叶斯推理

  • 偏差和方差的权衡

  • 集成方法:Bagging 和 Boosting

  • ML中的优化技术: 梯度下降法和随机梯度下降法

课程目录:

参考资料:

(ESL) Trevor Hastie, Robert Tibshirani, and Jerome Friedman, The Elements of Statistical Learning, 2009.

(PRML) Christopher M. Bishop, Pattern Recognition and Machine Learning, 2006.

(RL) Richard S. Sutton and Andrew G. Barto Reinforcement Learning: An Introduction, 2018.

(DL) Ian Goodfellow, Yoshua Bengio and Aaron Courville (2016), Deep Learning

(MLPP) Kevin P. Murphy, Machine Learning: A Probabilistic Perspective, 2013.

(ISL) Gareth James, Daniela Witten, Trevor Hastie, and Robert Tibshirani, Introduction to Statistical Learning, 2017.

() Shai Shalev-Shwartz and Shai Ben-David Understanding Machine Learning: From Theory to Algorithms, 2014.

(ITIL) David MacKay, Information Theory, Inference, and Learning Algorithms, 2003.

成为VIP会员查看完整内容
0
35

机器学习是学习数据和经验的算法的研究。它被广泛应用于各种应用领域,从医学到广告,从军事到行人。任何需要理解数据的领域都是机器学习的潜在的消费者。《A Course in Machine Learning》属于入门级资料,它涵盖了现代机器学习的大多数主要方面(监督学习,无监督学习,大间隔方法,概率建模,学习理论等)。它的重点是具有严格基础的广泛应用。

机器学习是一个广阔而迷人的领域。即使在今天,机器学习技术仍然在你的生活中占据了相当大的一部分,而且常常是在你不知情的情况下。在某种程度上,任何看似合理的人工智能方法都必须包括学习,如果不是为了别的原因,而是因为如果一个系统不能学习,那么它就很难被称为智能系统。机器学习本身也很吸引人,因为它提出了关于学习和成功完成任务的意义的哲学问题。

同时,机器学习也是一个非常广泛的领域,试图涵盖所有领域对于教学来说将是一场灾难。因为它发展得如此之快,以至于任何试图报道最新发展的书籍在上线之前都会过时。因此,本书有两个目标。首先,要通俗地介绍一个非常深的领域是什么。第二,为读者提供必要的技能,以便在新技术发展过程中掌握新技术。

  • Front Matter
  • Decision Trees
  • Limits of Learning
  • Geometry and Nearest Neighbors
  • The Perceptron
  • Practical Issues
  • Beyond Binary Classification
  • Linear Models
  • Bias and Fairness
  • Probabilistic Modeling
  • Neural Networks
  • Kernel Methods
  • Learning Theory
  • Ensemble Methods
  • Efficient Learning
  • Unsupervised Learning
  • Expectation Maximization
  • Structured Prediction
  • Imitation Learning
  • Back Matter
成为VIP会员查看完整内容
0
68

简介: 宾夕法尼亚大学计算逻辑研究院Jean Gallier等人近期在之前发布的书的基础上进行修改,于2019年10月24日发布了一本长达753页的书籍,详细地列出了对机器学习等领域有重要意义的数学理论基础知识。近年来,计算机视觉、机器人、机器学习和数据科学一直是推动技术重大进步的一些关键领域。任何看过上述领域的论文或书籍的人都会被一个奇怪的术语所困扰,这些术语涉及核主成分分析、岭回归、lasso回归、支持向量机(SVM)、拉格朗日乘子、KKT条件等奇怪的术语。但人们很快就会发现,行话背后总是伴随着一个新的领域,背后隐藏着许多经典的“线性代数和优化理论技术”。我们面临的主要挑战是:要从机器学习、计算机视觉等方面了解和使用工具,必须具备线性代数和优化理论的坚实背景。

本书的主要目标是介绍线性代数和优化理论的基本原理,同时考虑到机器学习、机器人和计算机视觉的应用。这项工作由两部分组成,第一个是线性代数,第二个优化理论和应用,尤其是机器学习。 第一部分涉及经典的线性代数,包括主分解和Jordan形式。除了讨论标准的一些主题外,我们还讨论了一些对应用很重要的主题。这些主题包括:

  • Haar基和相应的Haar小波
  • Hadamard矩阵
  • Affine maps
  • 规范和矩阵规范
  • 向量空间中序列和序列的收敛性。矩阵指数e_A及其基本性质
  • The group of unit quaternions, SU(2), and the representation of rotations in SO(3) by unit quaternions
  • 代数与谱图论简介
  • SVD和伪逆的应用,尤其是主成分分析
  • 特征值和特征向量的计算方法,重点是QR算法

另外有比平常更详细介绍的四个主题:

  • Duality
  • Dual norms
  • The geometry of the orthogonal groups O(n) and SO(n), and of the unitary groups U(n) and SU(n)
  • 谱理论

作者介绍: Jean Gallier是宾夕法尼亚大学的教授,拥有法国和美国双国籍,1978年取得博士后学位就从事于计算机领域工作,发表过许多研究论文和书籍,其中《Computational geometry》、《Low-dimensional topology》、《Discrete mathematics》、《Discrete mathematics》等书籍的作者就是Jean Gallier

成为VIP会员查看完整内容
面向计算机视觉、机器人和机器学习的线性代数.pdf
0
105
小贴士
相关VIP内容
相关论文
On Feature Normalization and Data Augmentation
Boyi Li,Felix Wu,Ser-Nam Lim,Serge Belongie,Kilian Q. Weinberger
10+阅读 · 2020年2月25日
Xiaohua Zhai,Avital Oliver,Alexander Kolesnikov,Lucas Beyer
4+阅读 · 2019年5月9日
Maria Perez-Ortiz,Peter Tino,Rafal Mantiuk,Cesar Hervas-Martinez
3+阅读 · 2019年3月24日
Piotr Szymański,Tomasz Kajdanowicz,Nitesh Chawla
3+阅读 · 2019年1月1日
Interpretable Convolutional Neural Networks via Feedforward Design
C. -C. Jay Kuo,Min Zhang,Siyang Li,Jiali Duan,Yueru Chen
4+阅读 · 2018年10月5日
Brendan O'Donoghue
3+阅读 · 2018年7月25日
Wenbin Li,Jing Huo,Yinghuan Shi,Yang Gao,Lei Wang,Jiebo Luo
8+阅读 · 2018年5月15日
Haque Ishfaq,Assaf Hoogi,Daniel Rubin
3+阅读 · 2018年4月3日
Brian Kenji Iwana,Seiichi Uchida
6+阅读 · 2018年1月25日
Top