2012年,我出版了一本1200页的书《机器学习:概率视角》(Machine learning: a probability perspective),在概率建模的统一视角下,对当时的机器学习(ML)领域进行了较为全面的覆盖。这本书很受欢迎,并在2013年获得了 De Groot奖。

2012年也被普遍认为是“深度学习革命”的开始。术语“深度学习”指的是ML的一个分支,它基于多层神经网络(因此术语“深度”)。尽管这种基本技术已经存在很多年了,但直到2012年,它才开始在一些具有挑战性的基准测试上显著优于其他更“经典”的ML方法。例如,[KSH12]使用深度神经网络(DNNs)赢得了ImageNet图像分类挑战赛,[CMS12]使用DNNs赢得了另一场图像分类挑战赛,[DHK13]使用DNNs在语音识别方面大大优于现有方法。这些突破的实现得益于硬件技术的进步(特别是,从视频游戏到ML的快速图形处理单元的再利用)、数据收集技术(特别是,使用众包收集大型标记数据集,如ImageNet),以及各种新的算法思想。

自2012年以来,深度学习领域出现了爆炸式的发展,新的进展不断加快。由于该技术的商业成功以及其应用范围的广泛,人们对该领域的兴趣也出现了爆炸式的增长。因此,在2018年,我决定写我的书的第二版,试图总结一些进展。

我的书的第二版,试图总结一些进展。到2020年春天,我的第二版草稿已经增加到大约1600页,但我仍然没有完成。此时,发生了3件大事。首先,COVID-19大流行袭来,所以我决定“转向”,这样我就可以把大部分时间花在COVID-19建模上。其次,麻省理工学院出版社告诉我,他们不能出版1600页的书,我需要把它分成两卷。第三,我决定招募几个同事来帮我完成最后⇠15%的“缺失的内容”。(见下面的确认。)

结果是两本新书,“概率机器学习:简介”,你目前正在阅读,以及“概率机器学习:高级主题”,这是这本书的续集[Mur22]。这两本书使用了我在第一本书中使用的概率建模和贝叶斯决策理论的统一视角,试图对ML c. 2020领域进行相当广泛的覆盖。

第一本书的大部分内容都被重复使用了,但现在它被两本新书平均分配了。此外,每本书都有大量的新材料,涵盖了一些主题从深度学习,但也在其他领域的进展,如生成模型,变分推理和强化学习。为了使这本书更加完备和对学生有用,我还添加了一些更多的背景内容,关于优化和线性代数等主题,这些内容由于篇幅不足在第一本书中被省略了。

另一个主要的变化是几乎所有的软件现在都使用Python而不是Matlab。新代码利用了标准的Python库,如numpy、scipy、scikit-learn等。有些例子也依赖于各种深度学习库,如TensorFlow、PyTorch和JAX。除了创建一些图形的脚本之外,每一章还配有Jupyter记事本,这些记事本讨论了我们在主要文本中没有空间覆盖的实际方面。详情请访问http://mlbayes.ai。

地址: https://probml.github.io/pml-book/book1.html

目录内容:

成为VIP会员查看完整内容
0
94

相关内容

概率论起源于17世纪的法国,当时两位伟大的法国数学家,布莱斯·帕斯卡和皮埃尔·德·费马,对两个来自机会博弈的问题进行了通信。帕斯卡和费马解决的问题继续影响着惠更斯、伯努利和DeMoivre等早期研究者建立数学概率论。今天,概率论是一个建立良好的数学分支,应用于从音乐到物理的学术活动的每一个领域,也应用于日常经验,从天气预报到预测新的医疗方法的风险。

本文是为数学、物理和社会科学、工程和计算机科学的二、三、四年级学生开设的概率论入门课程而设计的。它提出了一个彻底的处理概率的想法和技术为一个牢固的理解的主题必要。文本可以用于各种课程长度、水平和重点领域。

在标准的一学期课程中,离散概率和连续概率都包括在内,学生必须先修两个学期的微积分,包括多重积分的介绍。第11章包含了关于马尔可夫链的材料,为了涵盖这一章,一些矩阵理论的知识是必要的。

文本也可以用于离散概率课程。材料被组织在这样一种方式,离散和连续的概率讨论是在一个独立的,但平行的方式,呈现。这种组织驱散了对概率过于严格或正式的观点,并提供了一些强大的教学价值,因为离散的讨论有时可以激发更抽象的连续的概率讨论。在离散概率课程中,学生应该先修一学期的微积分。

为了充分利用文中的计算材料和例子,假设或必要的计算背景很少。所有在文本中使用的程序都是用TrueBASIC、Maple和Mathematica语言编写的。

成为VIP会员查看完整内容
0
31

为土木工程专业的学生和专业人士介绍概率机器学习的关键概念和技术;有许多循序渐进的例子、插图和练习。

这本书向土木工程的学生和专业人员介绍了概率机器学习的概念,以一种对没有统计学或计算机科学专业背景的读者可访问的方式提出了关键的方法和技术。通过一步步的例子、插图和练习,它清晰而直接地展示了不同的方法。掌握了材料,读者将能够理解更高级的机器学习文献,从这本书中提取。

本书介绍了概率机器学习的三个子领域的关键方法:监督学习、非监督学习和强化学习。它首先涵盖了理解机器学习所需的背景知识,包括线性代数和概率论。接着介绍了有监督和无监督学习方法背后的贝叶斯估计,以及马尔可夫链蒙特卡洛方法,该方法使贝叶斯估计能够在某些复杂情况下进行。这本书接着涵盖了与监督学习相关的方法,包括回归方法和分类方法,以及与非监督学习相关的概念,包括聚类、降维、贝叶斯网络、状态空间模型和模型校准。最后,本书介绍了不确定环境下理性决策的基本概念,以及不确定和序列上下文下理性决策的基本概念。在此基础上,这本书描述了强化学习的基础,虚拟代理学习如何通过试验和错误作出最优决策,而与它的环境交互。

目录内容: Chapter 1: 引言 Introduction Part one: 背景 Background
Chapter 2: 线性代数 Chapter 3: 概率理论 Probability Theory Chapter 4: 概率分布 Probability Distributions Chapter 5: 凸优化 Convex Optimization Part two: 贝叶斯估计 Bayesian Estimation Chapter 6: 从数据中学习 Learning from Data Chapter 7: 马尔科夫链蒙特卡洛 Markov Chain Monte Carlo
Part three: 监督学习 Supervised Learning Chapter 8: 回归 Regression Chapter 9: 分类 Classification Part four: 无监督学习 Unsupervised Learning Chapter 10: 聚类 Clustering Chapter 11: 贝叶斯网络 Bayesian Networks Chapter 12: 状态空间 State-Space Models Chapter 13: 模型 Model Calibration Part five: 强化学习 Reinforcement Learning Chapter 14: 不确定上下文决策 Decision in Uncertain Contexts Chapter 15: 序列决策 Sequential Decisions

成为VIP会员查看完整内容
0
38

当看到这些材料时,一个明显的问题可能会出现:“为什么还要写一本深度学习和自然语言处理的书呢?”一些优秀的论文已经出版,涵盖了深度学习的理论和实践方面,以及它在语言处理中的应用。然而,从我教授自然语言处理课程的经验来看,我认为,尽管这些书的质量非常好,但大多数都不是针对最有可能的读者。本书的目标读者是那些在机器学习和自然语言处理之外的领域有经验的人,并且他们的工作至少部分地依赖于对大量数据,特别是文本数据的自动化分析。这些专家可能包括社会科学家、政治科学家、生物医学科学家,甚至是对机器学习接触有限的计算机科学家和计算语言学家。

现有的深度学习和自然语言处理书籍通常分为两大阵营。第一个阵营专注于深度学习的理论基础。这对前面提到的读者肯定是有用的,因为在使用工具之前应该了解它的理论方面。然而,这些书倾向于假设一个典型的机器学习研究者的背景,因此,我经常看到没有这种背景的学生很快就迷失在这样的材料中。为了缓解这个问题,目前存在的第二种类型的书集中在机器学习从业者;也就是说,如何使用深度学习软件,而很少关注理论方面。我认为,关注实际方面同样是必要的,但还不够。考虑到深度学习框架和库已经变得相当复杂,由于理论上的误解而滥用它们的可能性很高。这个问题在我的课程中也很常见。

因此,本书旨在为自然语言处理的深度学习搭建理论和实践的桥梁。我涵盖了必要的理论背景,并假设读者有最少的机器学习背景。我的目标是让任何上过线性代数和微积分课程的人都能跟上理论材料。为了解决实际问题,本书包含了用于讨论的较简单算法的伪代码,以及用于较复杂体系结构的实际Python代码。任何上过Python编程课程的人都应该能够理解这些代码。读完这本书后,我希望读者能有必要的基础,立即开始构建真实世界的、实用的自然语言处理系统,并通过阅读有关这些主题的研究出版物来扩展他们的知识。

http://clulab.cs.arizona.edu/gentlenlp/gentlenlp-book-05172020.pdf

成为VIP会员查看完整内容
0
42

Edwin Thompson Jaynes所著的Probability Theory: The Logic of Science,本书暂无中译本,影印本名为《概率论沉思录》也已绝版。这本书是作者的遗著,花费半个世纪的时间完成,从名字就可以看出是一部神书。作者从逻辑的角度探讨了基于频率的概率,贝叶斯概率和统计推断,将概率论这门偏经验的学科纳入数理逻辑的框架之下。如果读这本书,千万要做好烧脑的准备。

《概率论沉思录(英文版)》将概率和统计推断融合在一起,用新的观点生动地描述了概率论在物理学、数学、经济学、化学和生物学等领域中的广泛应用,尤其是它阐述了贝叶斯理论的丰富应用,弥补了其他概率和统计教材的不足。全书分为两大部分。第一部分包括10章内容,讲解抽样理论、假设检验、参数估计等概率论的原理及其初等应用;第二部分包括12章内容,讲解概率论的高级应用,如在物理测量、通信理论中的应用。《概率论沉思录(英文版)》还附有大量习题,内容全面,体例完整。

《概率论沉思录(英文版)》内容不局限于某一特定领域,适合涉及数据分析的各领域工作者阅读,也可作为高年级本科生和研究生相关课程的教材。

成为VIP会员查看完整内容
0
48

这是第一本介绍随机过程贝叶斯推理程序的书。贝叶斯方法有明显的优势(包括对先验信息的最佳利用)。最初,这本书以贝叶斯推理的简要回顾开始,并使用了许多与随机过程分析相关的例子,包括四种主要类型,即离散时间和离散状态空间以及连续时间和连续状态空间。然后介绍了理解随机过程所必需的要素,接着是专门用于此类过程的贝叶斯分析的章节。重要的是,这一章专门讨论随机过程中的基本概念。本文详细描述了离散时间马尔可夫链、马尔可夫跳跃过程、常规过程(如布朗运动和奥恩斯坦-乌伦贝克过程)、传统时间序列以及点过程和空间过程的贝叶斯推理(估计、检验假设和预测)。书中着重强调了许多来自生物学和其他科学学科的例子。为了分析随机过程,它将使用R和WinBUGS。

http://dl.booktolearn.com/ebooks2/science/statistics/9781138196131_Bayesian_Inference_for_Stochastic_Processes_52c4.pdf

成为VIP会员查看完整内容
0
51

本书介绍了自由软件Python及其在统计数据分析中的应用。它涵盖了连续、离散和分类数据的常见统计测试,以及线性回归分析和生存分析和贝叶斯统计的主题。每个测试的Python解决方案的工作代码和数据,以及易于遵循的Python示例,可以被读者复制,并加强他们对主题的直接理解。随着Python生态系统的最新进展,Python已经成为科学计算的一种流行语言,为统计数据分析提供了一个强大的环境,并且是R的一个有趣的替代选择。本书面向硕士和博士学生,主要来自生命和医学科学,具有统计学的基本知识。由于该书还提供了一些统计方面的背景知识,因此任何想要执行统计数据分析的人都可以使用这本书。

成为VIP会员查看完整内容
0
55

强化一词来源于实验心理学中对动物学习的研究,它指的是某一事件的发生,与某一反应之间有恰当的关系,而这一事件往往会增加该反应在相同情况下再次发生的可能性。虽然心理学家没有使用“强化学习”这个术语,但它已经被人工智能和工程领域的理论家广泛采用,用来指代基于这一强化原理的学习任务和算法。最简单的强化学习方法使用的是一个常识,即如果一个行为之后出现了一个令人满意的状态,或者一个状态的改善,那么产生该行为的倾向就会得到加强。强化学习的概念在工程领域已经存在了几十年(如Mendel和McClaren 1970),在人工智能领域也已经存在了几十年(Minsky 1954, 1961;撒母耳1959;图灵1950)。然而,直到最近,强化学习方法的发展和应用才在这些领域占据了大量的研究人员。激发这种兴趣的是两个基本的挑战:1) 设计能够在复杂动态环境中在不确定性下运行的自主机器人代理,2) 为非常大规模的动态决策问题找到有用的近似解。

成为VIP会员查看完整内容
0
111

本备忘单是机器学习手册的浓缩版,包含了许多关于机器学习的经典方程和图表,旨在帮助您快速回忆起机器学习中的知识和思想。

这个备忘单有两个显著的优点:

  1. 清晰的符号。数学公式使用了许多令人困惑的符号。例如,X可以是一个集合,一个随机变量,或者一个矩阵。这是非常混乱的,使读者很难理解数学公式的意义。本备忘单试图规范符号的使用,所有符号都有明确的预先定义,请参见小节。

  2. 更少的思维跳跃。在许多机器学习的书籍中,作者省略了数学证明过程中的一些中间步骤,这可能会节省一些空间,但是会给读者理解这个公式带来困难,读者会在中间迷失。

成为VIP会员查看完整内容
0
119

强化学习导论第二版全新出炉。本书,由麻省理工大学出版社出版,预计于11月开印。它的电子版目前已经被作者公开,让我们可以在出版前,抢先阅读。

下载链接:https://pan.baidu.com/s/1BMy9seCGx_SlTHZRhpfdlA 密码:ka1a

成为VIP会员查看完整内容
0
66
小贴士
相关VIP内容
专知会员服务
31+阅读 · 2020年11月25日
专知会员服务
38+阅读 · 2020年11月12日
专知会员服务
42+阅读 · 2020年11月7日
专知会员服务
48+阅读 · 2020年10月18日
专知会员服务
51+阅读 · 2020年8月27日
专知会员服务
111+阅读 · 2020年4月19日
机器学习速查手册,135页pdf
专知会员服务
119+阅读 · 2020年3月15日
相关论文
Thien Duc Nguyen,Phillip Rieger,Hossein Yalame,Helen Möllering,Hossein Fereidooni,Samuel Marchal,Markus Miettinen,Azalia Mirhoseini,Ahmad-Reza Sadeghi,Thomas Schneider,Shaza Zeitouni
0+阅读 · 1月21日
Quantum Computing: Lecture Notes
Ronald de Wolf
0+阅读 · 1月20日
Paolo Tell,Jil Klünder,Steffen Küpper,David Raffo,Stephen G. MacDonell,Jürgen Münch,Dietmar Pfahl,Oliver Linssen,Marco Kuhrmann
0+阅读 · 1月20日
Clément L. Canonne,Gautam Kamath,Thomas Steinke
0+阅读 · 1月18日
Andrei Paleyes,Raoul-Gabriel Urma,Neil D. Lawrence
0+阅读 · 1月18日
Joseph A. Goguen
0+阅读 · 1月16日
Jinat Ara,Hanif Bhuiyan,Yeasin Arafat Bhuiyan,Salma Begum Bhyan,Muhammad Ismail Bhuiyan
0+阅读 · 1月16日
Edward J Oughton,Julius Kusuma,Thibault Peyronel,Jon Crowcroft
0+阅读 · 1月15日
Weinan E,Chao Ma,Lei Wu
5+阅读 · 2019年12月30日
Kriste Krstovski,Michael J. Kurtz,David A. Smith,Alberto Accomazzi
3+阅读 · 2017年12月18日
Top