高斯过程(GPs)为核机器的学习提供了一种有原则的、实用的、概率的方法。在过去的十年中,GPs在机器学习社区中得到了越来越多的关注,这本书提供了GPs在机器学习中理论和实践方面长期需要的系统和统一的处理。该书是全面和独立的,针对研究人员和学生在机器学习和应用统计学。

这本书处理监督学习问题的回归和分类,并包括详细的算法。提出了各种协方差(核)函数,并讨论了它们的性质。从贝叶斯和经典的角度讨论了模型选择。讨论了许多与其他著名技术的联系,包括支持向量机、神经网络、正则化网络、相关向量机等。讨论了包括学习曲线和PAC-Bayesian框架在内的理论问题,并讨论了几种用于大数据集学习的近似方法。这本书包含说明性的例子和练习,和代码和数据集在网上是可得到的。附录提供了数学背景和高斯马尔可夫过程的讨论。

成为VIP会员查看完整内容
0
91

相关内容

高斯过程(Gaussian Process, GP)是概率论和数理统计中随机过程(stochastic process)的一种,是一系列服从正态分布的随机变量(random variable)在一指数集(index set)内的组合。 高斯过程中任意随机变量的线性组合都服从正态分布,每个有限维分布都是联合正态分布,且其本身在连续指数集上的概率密度函数即是所有随机变量的高斯测度,因此被视为联合正态分布的无限维广义延伸。高斯过程由其数学期望和协方差函数完全决定,并继承了正态分布的诸多性质

这本书来自统计学习课程,这是一门统计机器学习的入门课程,面向具有一些微积分、线性代数和统计学背景的学生。这门课程的重点是监督学习:分类和回归。本课程将涵盖机器学习和数据科学中使用的一系列方法,包括:

  • 线性回归(包括岭回归和Lasso)
  • 通过logistic回归和k近邻进行分类
  • 线性和二次判别分析
  • 回归和分类树(包括套袋林和随机林)
  • Boosting
  • 神经网络和深度学习

这些方法将在整个课程中被研究并应用于来自各种应用的真实数据。课程还涵盖了一些重要的实际问题,如交叉验证、模型选择和偏方差权衡。课程包括理论(例如,推导和证明)以及实践(特别是实验室和小型项目)。实际部分将使用Python实现。

成为VIP会员查看完整内容
0
83

【导读】《机器学习:贝叶斯和优化的视角》是雅典大学信息学和通信系的教授Sergios Theodoridis的经典著作,对所有主要的机器学习方法和新研究趋势进行了深入探索,涵盖概率和确定性方法以及贝叶斯推断方法。非常值得学习。

Sergios Theodoridis教授是雅典大学信息学和通信系的教授,香港中文大学(深圳)客座教授。他的研究领域是信号处理和机器学习。他的研究兴趣是自适应算法,分布式和稀疏性感知学习,机器学习和模式识别,生物医学应用中的信号处理和学习以及音频处理和检索。

他的几本著作与合著蜚声海内外,包括《机器学习:贝叶斯和优化的视角》以及畅销书籍《模式识别》。他是2017年EURASIP Athanasios Papoulis奖和2014年EURASIP Meritorious Service奖的获得者。

http://cgi.di.uoa.gr/~stheodor/

机器学习:贝叶斯和优化方法

本书对所有主要的机器学习方法和新研究趋势进行了深入探索,涵盖概率和确定性方法以及贝叶斯推断方法。其中,经典方法包括平均/小二乘滤波、卡尔曼滤波、随机逼近和在线学习、贝叶斯分类、决策树、逻辑回归和提升方法等,新趋势包括稀疏、凸分析与优化、在线分布式算法、RKH空间学习、贝叶斯推断、图模型与隐马尔可夫模型、粒子滤波、深度学习、字典学习和潜变量建模等。全书构建了一套明晰的机器学习知识体系,各章内容相对独立,物理推理、数学建模和算法实现精准且细致,并辅以应用实例和习题。本书适合该领域的科研人员和工程师阅读,也适合学习模式识别、统计/自适应信号处理和深度学习等课程的学生参考。

成为VIP会员查看完整内容
0
176

本书涵盖了这些领域中使用Python模块演示的概率、统计和机器学习的关键思想。整本书包括所有的图形和数值结果,都可以使用Python代码及其相关的Jupyter/IPython Notebooks。作者通过使用多种分析方法和Python代码的有意义的示例,开发了机器学习中的关键直觉,从而将理论概念与具体实现联系起来。现代Python模块(如panda、y和Scikit-learn)用于模拟和可视化重要的机器学习概念,如偏差/方差权衡、交叉验证和正则化。许多抽象的数学思想,如概率论中的收敛性,都得到了发展,并用数值例子加以说明。本书适合任何具有概率、统计或机器学习的本科生,以及具有Python编程的基本知识的人。

成为VIP会员查看完整内容
0
108

机器学习方法以有限的资源快速地从大量的数据中提取价值。它们是在广泛的工业应用中建立起来的工具,包括搜索引擎、DNA测序、股票市场分析和机器人移动,它们的使用正在迅速蔓延。了解这些方法的人可以选择有回报的工作。这个动手实践书册为计算机科学学生打开这些机会。它是专为具有有限的线性代数和微积分背景的大四本科生和硕士生设计的。它在图模型的框架内开发了从基本推理到高级技术的所有内容。学生们学到的不仅仅是一系列的技巧,他们还会发展分析和解决问题的技巧,这些技巧使他们能够适应真实的世界。许多例子和练习,以计算机为基础和理论,包括在每一章。为学生和教师的资源,包括一个MATLAB工具箱,可在网上获得。

成为VIP会员查看完整内容
0
112

作为布尔逻辑的替代

虽然逻辑是理性推理的数学基础和计算的基本原理,但它仅限于信息既完整又确定的问题。然而,许多现实世界的问题,从金融投资到电子邮件过滤,本质上是不完整或不确定的。概率论和贝叶斯计算共同提供了一个处理不完整和不确定数据的框架。

不完全和不确定数据的决策工具和方法

贝叶斯编程强调概率是布尔逻辑的替代选择,它涵盖了为真实世界的应用程序构建概率程序的新方法。本书由设计并实现了一个高效概率推理引擎来解释贝叶斯程序的团队编写,书中提供了许多Python示例,这些示例也可以在一个补充网站上找到,该网站还提供了一个解释器,允许读者试验这种新的编程方法。

原则和建模

只需要一个基本的数学基础,本书的前两部分提出了一种新的方法来建立主观概率模型。作者介绍了贝叶斯编程的原理,并讨论了概率建模的良好实践。大量简单的例子突出了贝叶斯建模在不同领域的应用。

形式主义和算法

第三部分综合了已有的贝叶斯推理算法的工作,因为需要一个高效的贝叶斯推理引擎来自动化贝叶斯程序中的概率演算。对于想要了解贝叶斯编程的形式主义、主要的概率模型、贝叶斯推理的通用算法和学习问题的读者,本文提供了许多参考书目。

常见问题

第四部分连同词汇表包含了常见问题的答案。作者比较了贝叶斯规划和可能性理论,讨论了贝叶斯推理的计算复杂性,讨论了不完全性的不可约性,讨论了概率的主观主义和客观主义认识论。

贝叶斯计算机的第一步

创建一个完整的贝叶斯计算框架需要新的建模方法、新的推理算法、新的编程语言和新的硬件。本书着重于方法论和算法,描述了实现这一目标的第一步。它鼓励读者探索新兴领域,例如仿生计算,并开发新的编程语言和硬件架构。

成为VIP会员查看完整内容
0
131

统计学习是一套以复杂数据建模和数据理解为目的的工具集,是近期才发展起来的统计学的一个新领域。本书出自统计学习领域声名显赫的几位专家,结合R语言介绍了分析大数据必不可少的工具,提供一些重要的建模和预测技术,并借助丰富的实验来解释如何用R语言实现统计学习方法。论题包括线性回归、分类、重抽样方法、压缩方法、基于树的方法、支持向量机、聚类等,作者借助彩图和实际案例直观解释这些方法。为了读者更好地理解书中内容,每章后还配有丰富的概念性和应用性练习题。

  书中内容与《The Elements of Statistical Learning》的大部分内容相同,但是本书起点低,弱化了数学推导的细节,更注重方法的应用,所以更适合作为入门教材。当然,这本《统计学习导论》不仅是优秀的“统计学习”或“机器学习”课程的教材,也是数据挖掘、数据分析等相关从业者不可或缺的参考书。

Gareth James 斯坦福大学统计学博士毕业,师从Trevor Hastie。现为南加州大学马歇尔商学院统计学教授,美国统计学会会士,数理统计协会终身会员,新西兰统计协会会员。《Statistica Sinica》、《Applications and Case Studies》、《Theory and Methods》等期刊的副主编。

  Daniela Witten 斯坦福大学统计学博士毕业,师从Robert Tibshirani。现为华盛顿大学生物统计学副教授,美国统计学会和国际数理统计协会会士,《Journal of Computational and Graphical Statistics》和《Biometrika》等期刊副主编。

  Trevor Hastie 美国统计学家和计算机科学家,斯坦福大学统计学教授,英国皇家统计学会、国际数理统计协会和美国统计学会会士。Hastie参与开发了 R 中的大部分统计建模软件和环境,发明了主曲线和主曲面。

  Robert Tibshirani 斯坦福大学统计学教授,国际数理统计协会、美国统计学会和加拿大皇家学会会士,1996年COPSS总统奖得主,提出lasso方法。Hastie和Tibshirani都是统计学习领域的泰山北斗,两人合著《The Elements of Statistical Learning》,还合作讲授斯坦福大学的公开课《统计学习》。  

成为VIP会员查看完整内容
0
100

贝叶斯数据分析第三版,这本经典的书被广泛认为是关于贝叶斯方法的主要著作,用实用的方法来分析数据和解决研究问题。贝叶斯数据分析,第三版继续采取一种实用的方法来分析使用最新的贝叶斯方法。作者——统计界权威——在介绍高级方法之前,先从数据分析的角度介绍基本概念。在整个文本中,大量的工作示例来自实际应用和研究,强调在实践中使用贝叶斯推理。

第三版新增

  • 非参数建模的四个新章节
  • 覆盖信息不足的先验和边界回避的先验
  • 关于交叉验证和预测信息标准的最新讨论
  • 改进的收敛性监测和有效的样本容量计算迭代模拟
  • 介绍了哈密顿的蒙特卡罗、变分贝叶斯和期望传播
  • 新的和修改的软件代码

这本书有三种不同的用法。对于本科生,它介绍了从第一原则开始的贝叶斯推理。针对研究生,本文提出了有效的方法,目前贝叶斯建模和计算的统计和相关领域。对于研究人员来说,它提供了应用统计学中的各种贝叶斯方法。其他的资料,包括例子中使用的数据集,所选练习的解决方案,以及软件说明,都可以在本书的网页上找到。

贝叶斯数据分析课程

https://avehtari.github.io/BDA_course_Aalto/index.html

成为VIP会员查看完整内容
0
132

【导读】这本书对自动化机器学习(AutoML)的一般化方法进行了全面的阐述,并且收集了以这些方法为基础的系统的描述和一系列关于自动化机器学习系统领域的挑战。最近,机器学习在商业领域取得的成就和该领域的快速增长对机器学习产生了大量的需求,尤其是可以很容易地使用,并且不需要专家知识的机器学习方法。然而,当前许多表现优异的机器学习方法的大多都依赖人类专家去手动选择适当的机器学习架构以及模型的超参数(深度学习架构或者更加传统的机器学习方法)。为了克服这个问题,AutoML基于优化原理和机器学习本身去逐步实现机器学习的自动化。这本书可以为为研究人员和高年级学生提供一个进入这个快速发展的领域的切入点,同时也为打算在工作中使用AutoML的从业者提供参考。

第一部分 自动机器学习方法

每个机器学习系统都有超参数,而自动化机器学习最基本的任务就是自动设置这些超参数来优化性能。尤其是最近的深度神经网络严重依赖对于神经网络的结构、正则化和优化等超参数的选择。自动优化超参数(HPO)有几个重要的用例:​

  • 减少机器学习应用过程中所需的人力。这在自动化机器学习(AutoML)的上下文中尤其重要。
  • 提高机器学习算法的性能(根据实际问题调整算法);这已经在一些研究中对重要的机器学习基准方法产生了效果。
  • 提高科学研究的再现性和公平性。自动化的HPO显然比手工搜索更具可重复性。它使得不同的方法可以公平的比较,因为不同的方法只有在它们在相同级别的问题上调优时才能公平地进行比较。

第二部分 自动化机器学习系统

越来越多的非领域专家开始学习使用机器学习工具,他们需要非独立的解决方案。机器学习社区通过开源代码为这些用户提供了大量复杂的学习算法和特征选择方法,比如WEKA和mlr。这些开源包需要使用者做出两种选择:选择一种学习算法,并通过设置超参数对其进行定制。然而想要一次性做出正确的选择是非常具有挑战性的,这使得许多用户不得不通过算法的声誉或直觉来进行选择,并将超参数设置为默认值。当然,采用这种方法所获得的性能要比最佳方法进行超参数设置差得多。

第三部分 自动化机器学习面临的挑战

直到十年之前,机器学习还是一门鲜为人知的学科。对于机器学习领域的科学家们来说,这是一个“卖方市场”:他们研究产出了大量的算法,并不断地寻找新的有趣的数据集。大的互联网公司积累了大量的数据,如谷歌,Facebook,微软和亚马逊已经上线了基于机器学习的应用,数据科学竞赛也吸引了新一代的年轻科学家。如今,随着开放性数据的增加,政府和企业不断发掘机器学习的新的应用领域。然而,不幸的是机器学习并不是全自动的:依旧很难确定哪个算法一定适用于哪种问题和如何选择超参数。完全自动化是一个无界的问题,因为总是有一些从未遇到过的新设置。AutoML面临的挑战包括但不限于:

  • 监督学习问题(分类和回归)
  • 特征向量表示问题
  • 数据集特征分布问题(训练集,验证集和测试集分布相同)
  • 小于200兆字节的中型数据集
  • 有限的计算资源
成为VIP会员查看完整内容
0
93

简要介绍: 高斯过程(GPs)提供了一种原理,实用,概率的方法来学习内核机器。在过去的十年中,GP在机器学习中受到了越来越多的关注,这本书为机器学习中GP的理论和实践方面提供了系统、统一的处理方法。针对机器学习和应用统计领域的研究人员和学生。 该书探讨了回归和分类方面的监督学习问题,并包括详细的算法。提出了各种各样的协方差(内核)函数,并讨论了它们的特性。从贝叶斯和经典角度讨论了模型选择。讨论了从机器学习和统计数据到其他算法,包括支持向量机,神经网络,正则化网络等。处理了包括学习曲线和PAC-贝叶斯框架在内的理论问题,并讨论了几种用于大型数据集学习的近似方法。该书包含许多示例和练习,并且代码和数据集可从Web上获得。附录提供了数学背景和对高斯马尔可夫过程的讨论。

作者介绍: Carl Edward Rasmussen, Machine Learning Group的教授,也是剑桥大学工程系信息工程系计算与生物学习实验室主任。

Chris Williams,爱丁堡大学信息学院机器学习教授

下载链接: https://pan.baidu.com/s/16BgMKXYKXbZy8vsKP-nrIw

提取码:nf6z

成为VIP会员查看完整内容
0
60
小贴士
相关资讯
【资源】机器学习数学全书,1900页PDF下载
全球人工智能
66+阅读 · 2019年10月17日
自然语言处理常识推理综述论文,60页pdf
专知
29+阅读 · 2019年4月4日
解读 | 得见的高斯过程
机器学习算法与Python学习
10+阅读 · 2019年2月13日
下载 | 100页机器学习入门完整版,初学者必备!
机器学习算法与Python学习
8+阅读 · 2018年12月18日
相关论文
Optimization for deep learning: theory and algorithms
Ruoyu Sun
76+阅读 · 2019年12月19日
Bernhard Schölkopf
9+阅读 · 2019年11月24日
Liang Yao,Chengsheng Mao,Yuan Luo
7+阅读 · 2019年9月11日
Deep Learning for Energy Markets
Michael Polson,Vadim Sokolov
4+阅读 · 2019年4月10日
Claudio Gambella,Bissan Ghaddar,Joe Naoum-Sawaya
7+阅读 · 2019年1月16日
Borja Ibarz,Jan Leike,Tobias Pohlen,Geoffrey Irving,Shane Legg,Dario Amodei
4+阅读 · 2018年11月15日
Dinghan Shen,Martin Renqiang Min,Yitong Li,Lawrence Carin
5+阅读 · 2018年8月30日
Felix Laumann,Kumar Shridhar,Adrian Llopart Maurin
17+阅读 · 2018年6月27日
Wenhao Jiang,Lin Ma,Xinpeng Chen,Hanwang Zhang,Wei Liu
6+阅读 · 2018年4月3日
Yike Liu,Abhilash Dighe,Tara Safavi,Danai Koutra
3+阅读 · 2017年4月12日
Top