决策理论是现代人工智能和经济学的基础。本课程主要从统计学的角度,也从哲学的角度,为决策理论打下坚实的基础。本课程有两个目的:

  • 深入了解统计决策理论、实验设计的自动化方法,并将其与人类决策联系起来。
  • 通过开发算法和智能代理的实验,将该理论应用到强化学习和人工智能的实际问题中。

课程可分为两部分。

  • 第一部分,我们介绍了主观概率和效用的概念,以及如何用它们来表示和解决决策问题。然后讨论未知参数的估计和假设检验。最后,我们讨论了顺序抽样、顺序实验,以及更一般的顺序决策。

  • 第二部分是不确定性下的决策研究,特别是强化学习和专家咨询学习。首先,我们研究几个有代表性的统计模型。然后,我们给出了使用这些模型做出最优决策的算法的概述。最后,我们来看看学习如何根据专家的建议来行动的问题,这个领域最近在在线广告、游戏树搜索和优化方面有很多应用。

成为VIP会员查看完整内容
0
97

相关内容

最新的技术进步提高了交通运输的质量。新的数据驱动方法为所有基于控制的系统(如交通、机器人、物联网和电力系统)带来了新的研究方向。将数据驱动的应用与运输系统相结合在最近的运输应用程序中起着关键的作用。本文综述了基于深度强化学习(RL)的交通控制的最新应用。其中,详细讨论了基于深度RL的交通信号控制(TSC)的应用,这在文献中已经得到了广泛的研究。综合讨论了TSC的不同问题求解方法、RL参数和仿真环境。在文献中,也有一些基于深度RL模型的自主驾驶应用研究。我们的调查广泛地总结了这一领域的现有工作,并根据应用程序类型、控制模型和研究的算法对它们进行了分类。最后,我们讨论了基于深度可编程逻辑语言的交通应用所面临的挑战和有待解决的问题。

成为VIP会员查看完整内容
0
71

强化一词来源于实验心理学中对动物学习的研究,它指的是某一事件的发生,与某一反应之间有恰当的关系,而这一事件往往会增加该反应在相同情况下再次发生的可能性。虽然心理学家没有使用“强化学习”这个术语,但它已经被人工智能和工程领域的理论家广泛采用,用来指代基于这一强化原理的学习任务和算法。最简单的强化学习方法使用的是一个常识,即如果一个行为之后出现了一个令人满意的状态,或者一个状态的改善,那么产生该行为的倾向就会得到加强。强化学习的概念在工程领域已经存在了几十年(如Mendel和McClaren 1970),在人工智能领域也已经存在了几十年(Minsky 1954, 1961;撒母耳1959;图灵1950)。然而,直到最近,强化学习方法的发展和应用才在这些领域占据了大量的研究人员。激发这种兴趣的是两个基本的挑战:1) 设计能够在复杂动态环境中在不确定性下运行的自主机器人代理,2) 为非常大规模的动态决策问题找到有用的近似解。

成为VIP会员查看完整内容
0
136

对因果推理的简明和自成体系的介绍,在数据科学和机器学习中越来越重要。

因果关系的数学化是一个相对较新的发展,在数据科学和机器学习中变得越来越重要。这本书提供了一个独立的和简明的介绍因果模型和如何学习他们的数据。在解释因果模型的必要性,讨论潜在的因果推论的一些原则,这本书教读者如何使用因果模型:如何计算干预分布,如何从观测推断因果模型和介入的数据,和如何利用因果思想经典的机器学习问题。所有这些主题都将首先以两个变量的形式进行讨论,然后在更一般的多元情况下进行讨论。对于因果学习来说,二元情况是一个特别困难的问题,因为经典方法中用于解决多元情况的条件独立不存在。作者认为分析因果之间的统计不对称是非常有意义的,他们报告了他们对这个问题十年来的深入研究。

本书对具有机器学习或统计学背景的读者开放,可用于研究生课程或作为研究人员的参考。文本包括可以复制和粘贴的代码片段、练习和附录,其中包括最重要的技术概念摘要。

首先,本书主要研究因果关系推理子问题,这可能被认为是最基本和最不现实的。这是一个因果问题,需要分析的系统只包含两个可观测值。在过去十年中,作者对这个问题进行了较为详细的研究。本书整理这方面的大部分工作,并试图将其嵌入到作者认为对研究因果关系推理问题的选择性至关重要的更大背景中。尽管先研究二元(bivariate)案例可能有指导意义,但按照章节顺序,也可以直接开始阅读多元(multivariate)章节;见图一。

第二,本书提出的解决方法来源于机器学习和计算统计领域的技术。作者对其中的方法如何有助于因果结构的推断更感兴趣,以及因果推理是否能告诉我们应该如何进行机器学习。事实上,如果我们不把概率分布描述的随机实验作为出发点,而是考虑分布背后的因果结构,机器学习的一些最深刻的开放性问题就能得到最好的理解。
成为VIP会员查看完整内容
0
267

题目:Applied Reinforcement Learning with Python With OpenAI Gym, Tensorflow, and Keras

深入研究强化学习算法,并通过Python将它们应用到不同的用例中。这本书涵盖了重要的主题,如策略梯度和Q学习,并利用框架,如Tensorflow, Keras,和OpenAI Gym。

Python中的应用增强学习向您介绍了强化学习(RL)算法背后的理论和用于实现它们的代码。您将在指导下了解OpenAI Gym的特性,从使用标准库到创建自己的环境,然后了解如何构建强化学习问题,以便研究、开发和部署基于rl的解决方案。

你将学习:

  • 用Python实现强化学习
  • 使用AI框架,如OpenAI Gym、Tensorflow和Keras
  • 通过云资源部署和培训基于增强学习的解决方案
  • 应用强化学习的实际应用

这本书是给谁看的: 数据科学家、机器学习工程师和软件工程师熟悉机器学习和深度学习的概念。

地址:

https://www.springerprofessional.de/en/applied-reinforcement-learning-with-python/17098944

目录:

第1章 强化学习导论

在过去的一年里,深度学习技术的不断扩散和发展给各个行业带来了革命性的变化。毫无疑问,这个领域最令人兴奋的部分之一是强化学习(RL)。这本身往往是许多通用人工智能应用程序的基础,例如学习玩视频游戏或下棋的软件。强化学习的好处是,假设可以将问题建模为包含操作、环境和代理的框架,那么代理就可以熟悉大量的任务。假设,解决问题的范围可以从简单的游戏,更复杂的3d游戏,自动驾驶汽车教学如何挑选和减少乘客在各种不同的地方以及教一个机械手臂如何把握对象和地点在厨房柜台上。

第二章 强化学习算法

读者应该知道,我们将利用各种深度学习和强化学习的方法在这本书。然而,由于我们的重点将转移到讨论实现和这些算法如何在生产环境中工作,我们必须花一些时间来更详细地介绍算法本身。因此,本章的重点将是引导读者通过几个强化学习算法的例子,通常应用和展示他们在使用Open AI gym 不同的问题。

第三章 强化学习算法:Q学习及其变体

随着策略梯度和Actor-Critic模型的初步讨论的结束,我们现在可以讨论读者可能会发现有用的替代深度学习算法。具体来说,我们将讨论Q学习、深度Q学习以及深度确定性策略梯度。一旦我们了解了这些,我们就可以开始处理更抽象的问题,更具体的领域,这将教会用户如何处理不同任务的强化学习。

第四章 通过强化学习做市场

除了在许多书中发现的强化学习中的一些标准问题之外,最好看看那些答案既不客观也不完全解决的领域。在金融领域,尤其是强化学习领域,最好的例子之一就是做市。我们将讨论学科本身,提出一些不基于机器学习的基线方法,然后测试几种基于强化学习的方法。

第五章 自定义OpenAI强化学习环境

在我们的最后一章,我们将专注于Open AI Gym,但更重要的是尝试理解我们如何创建我们自己的自定义环境,这样我们可以处理更多的典型用例。本章的大部分内容将集中在我对开放人工智能的编程实践的建议,以及我如何编写这个软件的建议。最后,在我们完成创建环境之后,我们将继续集中精力解决问题。对于这个例子,我们将集中精力尝试创建和解决一个新的视频游戏。

成为VIP会员查看完整内容
0
78

书名

部分观测动态系统的贝叶斯学习:Bayesian Learning for partially observed dynamical systems

书简介

本书主要整理了最近关于动态系统中贝叶斯学习的著名讲座,这里包含了关于该方面的最新知识讲解,方便机器学习从事者及时快捷了解相关最新技术与研究。

目录

  • 马尔可夫链:核,不变测度。包括观察驱动模型的示例
  • 贝叶斯推论,马尔可夫链极大似然估计的渐近性质
  • 马尔可夫链蒙特卡罗算法
  • MCMC算法的一些性质
  • 伪边缘MCMC及其应用
  • 哈密顿蒙特卡罗算法
成为VIP会员查看完整内容
0
30

前言: 目标:本课程旨在让学生对人工智能的基本概念和实践有一个坚实的(通常是有点理论性的)基础。这门课程在第一学期主要涉及符号化的人工智能,有时也被称为优秀的老式人工智能(GofAI),并在第二学期提供统计方法的基础。事实上,一个完整的基于机器学习的AI应该有专业课程,并且需要比我们在这门课程中更多的数学基础。

课程内容

目标: 使学生对人工智能领域的基本概念和实践有一个坚实的基础。该课程将基于Russell/Norvig的书《人工智能》:现代方法[RN09]

Artificial Intelligence I(第一部分): 介绍人工智能作为一个研究领域,讨论作为人工智能统一概念范式的理性代理,并涵盖问题解决、搜索、约束传播、逻辑、知识表示和规划。

Artificial Intelligence II(第二部分): 更倾向于让学生接触基于统计的人工智能的基础知识:我们从不确定性下的推理开始,用贝叶斯网络建立基础,并将其扩展到理性决策理论。在此基础上,我们介绍了机器学习的基础知识。

成为VIP会员查看完整内容
0
109

题目: Reinforcement Learning:Theory and Algorithms

简介:

强化学习是近几年研究的热点,特别是伴随DeepMind AlphaGo的出现名声大噪。强化学习(RL)是一种机器学习范式,在这种范式中,agent从经验中学习完成顺序决策任务,RL在机器人、控制、对话系统、医疗等领域有广泛的应用。《强化学习:理论与算法》这本书讲述了强化学习最新进展,包括MDP、样本复杂度、策略探索、PG、值函数等关键议题,是了解强化学习的材料。

章节:

  • 第一章:马尔科夫决策过程MDP 预介绍
  • 第二章:生成模型的样本复杂度
  • 第三章:强化学习的策略探索
  • 第四章:策略梯度方法
  • 第五章:值函数近似
  • 第六章:RL的战略探索和丰富的观测资料
  • 第七章:行为克隆和学徒学习

作者简介:

Alekh Agarwal目前是微软人工智能研究中心的研究员,领导强化学习研究小组。之前,在加州大学伯克利分校获得计算机科学博士学位后,与彼得·巴特利特(Peter Bartlett)和马丁·温赖特(Martin Wainwright)一起在纽约微软研究院(Microsoft Research)度过了六年美好的时光。

姜楠,UIUC助理教授,机器学习研究员。核心研究领域是强化学习(RL),关注于RL的样本效率,并利用统计学习理论中的思想来分析和开发RL算法。

沙姆·卡卡德(Sham M. Kakade)是华盛顿研究基金会(Washington Research Foundation)数据科学主席,同时在华盛顿大学(University of Washington)艾伦学院(Allen School)和统计学系任职。他致力于机器学习的理论基础,专注于设计(和实现)统计和计算效率的算法。

成为VIP会员查看完整内容
rl_monograph_AJK.pdf
0
72
小贴士
相关论文
Advances and Open Problems in Federated Learning
Peter Kairouz,H. Brendan McMahan,Brendan Avent,Aurélien Bellet,Mehdi Bennis,Arjun Nitin Bhagoji,Keith Bonawitz,Zachary Charles,Graham Cormode,Rachel Cummings,Rafael G. L. D'Oliveira,Salim El Rouayheb,David Evans,Josh Gardner,Zachary Garrett,Adrià Gascón,Badih Ghazi,Phillip B. Gibbons,Marco Gruteser,Zaid Harchaoui,Chaoyang He,Lie He,Zhouyuan Huo,Ben Hutchinson,Justin Hsu,Martin Jaggi,Tara Javidi,Gauri Joshi,Mikhail Khodak,Jakub Konečný,Aleksandra Korolova,Farinaz Koushanfar,Sanmi Koyejo,Tancrède Lepoint,Yang Liu,Prateek Mittal,Mehryar Mohri,Richard Nock,Ayfer Özgür,Rasmus Pagh,Mariana Raykova,Hang Qi,Daniel Ramage,Ramesh Raskar,Dawn Song,Weikang Song,Sebastian U. Stich,Ziteng Sun,Ananda Theertha Suresh,Florian Tramèr,Praneeth Vepakomma,Jianyu Wang,Li Xiong,Zheng Xu,Qiang Yang,Felix X. Yu,Han Yu,Sen Zhao
15+阅读 · 2019年12月10日
Object-centric Forward Modeling for Model Predictive Control
Yufei Ye,Dhiraj Gandhi,Abhinav Gupta,Shubham Tulsiani
4+阅读 · 2019年10月8日
Borja Ibarz,Jan Leike,Tobias Pohlen,Geoffrey Irving,Shane Legg,Dario Amodei
4+阅读 · 2018年11月15日
Yutian Chen,Yannis Assael,Brendan Shillingford,David Budden,Scott Reed,Heiga Zen,Quan Wang,Luis C. Cobo,Andrew Trask,Ben Laurie,Caglar Gulcehre,Aäron van den Oord,Oriol Vinyals,Nando de Freitas
7+阅读 · 2018年9月27日
Yong Wang,Xiao-Ming Wu,Qimai Li,Jiatao Gu,Wangmeng Xiang,Lei Zhang,Victor O. K. Li
8+阅读 · 2018年7月8日
Jian Liu,Naveed Akhtar,Ajmal Mian
3+阅读 · 2018年5月1日
Ermo Wei,Drew Wicke,David Freelan,Sean Luke
10+阅读 · 2018年4月25日
Hyrum S. Anderson,Anant Kharkar,Bobby Filar,David Evans,Phil Roth
3+阅读 · 2018年1月30日
Ashish Mishra,M Shiva Krishna Reddy,Anurag Mittal,Hema A Murthy
5+阅读 · 2018年1月27日
Top