学习方法的跨学科框架——包括统计学、神经网络和模糊逻辑,本书提供了从数据中学习依赖的原则和方法的统一处理。它建立了一个通用的概念框架,其中可以应用统计学、神经网络和模糊逻辑的各种学习方法,这表明了一些基本原则是当今在统计学、工程学和计算机科学中提出的大多数新方法的基础。书中有一百多幅插图、案例分析和实例,使其成为一本非常有价值的书。

第一部分:概念和理论(第1-4章)。

在第一章的介绍和动机的基础上,我们在第二章给出了归纳学习问题的形式化描述,并介绍了从数据中学习的主要概念和问题。特别地,它描述了一个叫做归纳原理的重要概念。第3章描述了统计中采用的规则化(或惩罚)框架。第四章介绍了Vapnik的统计学习理论(SLT),为有限数据预测学习提供了理论基础。SLT,又名VC理论,对于理解在神经网络、统计和模式识别中开发的各种学习方法,以及开发新的方法,如支持向量机(在第9章中描述)和非归纳学习设置(在第10章中描述)非常重要。

第二部分构造性学习方法(第5-8章)。

这部分描述了回归、分类和密度近似问题的学习方法。目的是展示源于统计、神经网络和信号处理的方法的概念相似性,并讨论它们的相对优势和局限性。只要有可能,我们将构造学习方法与第一部分的概念框架联系起来。第5章描述了各种方法中常用的非线性优化策略。第6章描述了密度近似的方法,包括统计、神经网络和信号处理技术用于数据约简和降维。第7章提供了统计和神经网络回归方法的描述。第8章描述了分类方法。

第三部分: 基于VC的学习方法(第9章和第10章)。

在这里,我们描述了源自VC理论的构造性学习方法。这包括用于几个归纳学习问题的支持向量机(或基于边际的方法)(在第9章)和各种非归纳学习公式(在第10章描述)。

成为VIP会员查看完整内容
0
29

相关内容

本书是对机器学习一个领域的全面综述,处理在分类问题中的未标记数据的使用: 最先进的算法,该领域的分类,应用,基准实验,和未来的研究方向。

在机器学习领域,半监督学习(SSL)处于监督学习(其中所有训练示例都被标记)和非监督学习(其中不给出标记数据)之间。近年来,人们对SSL的兴趣有所增加,特别是在图像、文本和生物信息学等未标记数据丰富的应用领域。这是对SSL的第一次全面概述,介绍了最先进的算法、该领域的分类、选定的应用程序、基准测试,以及对未来研究的展望。半监督学习首先提出了该领域的关键假设和思想:平滑性、聚类或低密度分离、流形结构和转导。本书的核心是介绍根据算法策略组织的SSL方法。经过对生成模型的检查,本书描述了实现低密度分离假设的算法,基于图的方法,和执行两步学习的算法。然后,本书讨论了SSL应用程序,并通过分析大量基准测试的结果为SSL实践者提供了指导方针。最后,本书还介绍了SSL研究的有趣方向。本书以半监督学习和转导之间的关系的讨论结束。

https://mitpress.mit.edu/books/semi-supervised-learning

成为VIP会员查看完整内容
0
66

主动学习是一种有监督的机器学习协议,其中学习算法从大量未标记数据中序列地请求选定数据点的标签。这与被动学习形成了对比,被动学习是随机获取有标记的数据。主动学习的目标是产生一个高度精确的分类器,理想情况下使用的标签要比被动学习达到同样目的所需的随机标记数据的数量少。这本书描述了我们对主动学习的理论益处的理解的最新进展,以及对设计有效的主动学习算法的启示。文章的大部分内容都集中在一种特殊的方法上,即基于不同意见的主动学习,到目前为止,这种方法已经积累了大量的文献。它还从文献中简要地考察了几种可供选择的方法。重点是关于一些一般算法的性能的定理,包括适当的严格证明。然而,本文的目的是教学,集中于说明基本思想的结果,而不是获得最强或最普遍的已知定理。目标受众包括机器学习和统计学领域的研究人员和高级研究生,他们有兴趣更深入地了解主动学习理论最近和正在进行的发展。

成为VIP会员查看完整内容
1
66

近年来,图论已经成为一个重要的数学工具在广泛的学科,从运筹学和化学到遗传学和语言学,从电气工程和地理学到社会学和建筑学。与此同时,它本身也成为一门有价值的数学学科。鉴于此,有必要编写一份廉价的关于这一主题的介绍性文本,既适合学习图论课程的数学家,也适合希望尽快学习这一主题的非专业人士。我希望这本书能在某种程度上满足这一需求。阅读它的唯一先决条件是初等集合理论和矩阵理论的基本知识,尽管抽象代数的进一步知识需要更困难的练习。

这本书的内容可以很方便地分为四部分。第一部分(1-4章)提供了一个基本的基础课程,包括图的定义和例子,连通性,欧拉和哈密顿路径和循环,以及树。接下来是关于平面性和着色的两章(第5章和第6章),特别提到了四色定理。第三部分(第7章和第8章)讨论有向图理论和截线理论,以及在关键路径分析、马尔可夫链和网络流中的应用。书的最后一章是关于matroids的(第9章),这一章将前几章的材料联系在一起,并介绍了一些最近的发展。

成为VIP会员查看完整内容
0
45

在凸性假设下,几何算法问题往往变得易于处理。优化,体积计算,几何学习和寻找质心都是凸集明显容易的问题的例子。我们将对这一现象进行深入的研究,探索三个相互联系紧密的路径。第一个是几何不等式理论。我们从经典的主题开始,如Brunn-Minkowski不等式,然后处理更近期的发展,如凸体的等周定理及其对对数凹函数的推广。第二个轨迹的动机是通过随机游走对几何分布进行抽样。这里我们将开发一些通用工具并使用它们来分析几何随机游动。第一条轨迹的不等式在限定这些轨迹的收敛速度方面起着关键作用。最后一个方面是采样和各种算法问题之间的联系,最显著的是,计算凸体的体积(或更普遍地说,积分一个对数凹函数)。有些令人惊讶的是,随机抽样将是用于这些问题的多项式时间算法的常见和基本特征。在某些情况下,包括体积问题,随机游走采样是唯一已知的得到多项式时间算法的方法。

https://www.cc.gatech.edu/~vempala/acg/notes.pdf

成为VIP会员查看完整内容
0
34

选择Sheldon M Ross所著的《A First Course in Probability》,英文版在 2013 年出到第九版(18 年马上要出第十版),中译本名为《概率论基础教程》,对应原书第九版,也有英文影印本。这本书抛开测度,从中心极限定理的角度讨论概率问题,对概念的解释更加通俗,书中还包含海量紧密联系生活的应用实例与例题习题。

本书旨在为数学、统计、工程和科学(包括计算机科学、生物学、社会科学和管理科学)的学生提供概率论的基本介绍,他们拥有基本微积分的先决知识。它不仅试图呈现概率论的数学,而且通过无数的例子,这门学科的许多不同的可能的应用。

第一章介绍组合分析的基本原理,这些原理在计算概率方面是最有用的。第二章处理概率论的公理,并说明如何应用它们来计算各种利息的概率。第三章讨论了条件概率和事件独立性这两个极其重要的问题。通过一系列的例子,我们说明了条件概率如何发挥作用,不仅当某些部分信息是可用的,而且作为一个工具,使我们能够更容易地计算概率,即使没有部分信息是存在的。这种通过“条件反射”获得概率的极其重要的技术在第七章中再次出现,我们用它来获得期望。

成为VIP会员查看完整内容
0
40

这本书没有假设读者在统计方面有任何预先训练,这本书的第一部分描述了基本的统计原理,从一个观点,使他们的缺点直观和容易理解。重点是用语言和图形来描述概念。第二部分描述了解决第一部分所涵盖问题的现代方法。使用来自实际研究的数据,包括许多例子来说明传统程序的实际问题,以及更多的现代方法如何能对统计研究的许多领域中得出的结论产生实质性的影响。

这本书的第二版包括了自从第一版出现以来发生的一些进展和见解。包括与中位数相关的新结果,回归,关联的测量,比较依赖组的策略,处理异方差的方法,以及效应量的测量。

成为VIP会员查看完整内容
0
42

统计学习是一套以复杂数据建模和数据理解为目的的工具集,是近期才发展起来的统计学的一个新领域。本书出自统计学习领域声名显赫的几位专家,结合R语言介绍了分析大数据必不可少的工具,提供一些重要的建模和预测技术,并借助丰富的实验来解释如何用R语言实现统计学习方法。论题包括线性回归、分类、重抽样方法、压缩方法、基于树的方法、支持向量机、聚类等,作者借助彩图和实际案例直观解释这些方法。为了读者更好地理解书中内容,每章后还配有丰富的概念性和应用性练习题。

  书中内容与《The Elements of Statistical Learning》的大部分内容相同,但是本书起点低,弱化了数学推导的细节,更注重方法的应用,所以更适合作为入门教材。当然,这本《统计学习导论》不仅是优秀的“统计学习”或“机器学习”课程的教材,也是数据挖掘、数据分析等相关从业者不可或缺的参考书。

Gareth James 斯坦福大学统计学博士毕业,师从Trevor Hastie。现为南加州大学马歇尔商学院统计学教授,美国统计学会会士,数理统计协会终身会员,新西兰统计协会会员。《Statistica Sinica》、《Applications and Case Studies》、《Theory and Methods》等期刊的副主编。

  Daniela Witten 斯坦福大学统计学博士毕业,师从Robert Tibshirani。现为华盛顿大学生物统计学副教授,美国统计学会和国际数理统计协会会士,《Journal of Computational and Graphical Statistics》和《Biometrika》等期刊副主编。

  Trevor Hastie 美国统计学家和计算机科学家,斯坦福大学统计学教授,英国皇家统计学会、国际数理统计协会和美国统计学会会士。Hastie参与开发了 R 中的大部分统计建模软件和环境,发明了主曲线和主曲面。

  Robert Tibshirani 斯坦福大学统计学教授,国际数理统计协会、美国统计学会和加拿大皇家学会会士,1996年COPSS总统奖得主,提出lasso方法。Hastie和Tibshirani都是统计学习领域的泰山北斗,两人合著《The Elements of Statistical Learning》,还合作讲授斯坦福大学的公开课《统计学习》。  

成为VIP会员查看完整内容
0
137

统计学习理论是一个新兴的研究领域,它是概率论、统计学、计算机科学和最优化的交叉领域,研究基于训练数据进行预测的计算机算法的性能。以下主题将包括:统计决策理论基础;集中不平等;监督学习和非监督学习;经验风险最小化;complexity-regularized估计;学习算法的泛化界VC维与复杂性;极大极小下界;在线学习和优化。利用一般理论,我们将讨论统计学习理论在信号处理、信息论和自适应控制方面的一些应用。

成为VIP会员查看完整内容
0
90

【导读】MIT开设的深度学习课程邀请了众多机器学习大拿进行报告。最近,统计学习理论之父-SVM作者Vladimir Vapnik 给了关于学习统计理论的报告《Complete Statistical Theory of Learning》,介绍了统计学习一系列的基础理论,是当下深度学习时代探究学习理论值得认真思考的部分​。​

报告地址:

  • 0:00 -介绍
  • 0:46 -概述:完整的学习统计理论
  • 3:47 -第一部分:VC泛化理论
  • 11:04 -第二部分:最小化的目标函数
  • 27:13 -第三部分:可接受的函数集的选择
  • 37:26 -第4部分:再现核希尔伯特空间的完全解
  • 53:16 -第5部分:神经网络中的LUSI方法
  • 59:28 -第6部分:谓词的例子
  • 1:10:39——结论

成为VIP会员查看完整内容
0
64

机器学习是计算机科学发展最快的领域之一,有着广泛的应用。这本教科书的目的是以一种有原则的方式介绍机器学习和它提供的算法范例。这本书提供了一个基本的理论基础的机器学习和数学推导,将这些原则转化为实际的算法。在介绍了基础知识之后,这本书涵盖了以前教科书没有涉及到的一系列广泛的中心主题。这些包括讨论学习的计算复杂性和凸性和稳定性的概念;重要的算法范例包括随机梯度下降、神经网络和结构化输出学习;以及新兴的理论概念,如PAC-Bayes方法和基于压缩的边界。为高级本科生或刚开始的研究生设计,文本使学生和非专业读者在统计,计算机科学,数学和工程的机器学习的基础和算法。

成为VIP会员查看完整内容
understanding-machine-learning-theory-algorithms.pdf
0
103
小贴士
相关论文
Junpei Komiyama,Shunya Noda
0+阅读 · 9月20日
Daniel A. Roberts,Sho Yaida,Boris Hanin
17+阅读 · 6月18日
Peter L. Bartlett,Andrea Montanari,Alexander Rakhlin
14+阅读 · 3月16日
Self-supervised pre-training and contrastive representation learning for multiple-choice video QA
Seonhoon Kim,Seohyeong Jeong,Eunbyul Kim,Inho Kang,Nojun Kwak
4+阅读 · 2020年12月14日
Eugene A. Golikov
5+阅读 · 2020年12月10日
Ting Chen,Simon Kornblith,Mohammad Norouzi,Geoffrey Hinton
18+阅读 · 2020年2月13日
Interpretable machine learning: definitions, methods, and applications
W. James Murdoch,Chandan Singh,Karl Kumbier,Reza Abbasi-Asl,Bin Yu
12+阅读 · 2019年1月14日
Learning From Positive and Unlabeled Data: A Survey
Jessa Bekker,Jesse Davis
4+阅读 · 2018年11月12日
Alexander Jung
9+阅读 · 2018年8月19日
Na Lei,Zhongxuan Luo,Shing-Tung Yau,David Xianfeng Gu
3+阅读 · 2018年5月31日
Top