【导读】佛罗里达大学电子与计算机工程系教授Sean Meyn撰写的新书稿《强化学习与控制系统》,重点讲述了与强化学习最相关的控制基础,以及基于这些基础的RL算法设计的大量工具。

Sean Meyn,佛罗里达大学电子与计算机工程系教授兼Robert C. Pittman杰出学者主席,认知与控制实验室主任,佛罗里达可持续能源研究所所长。Sean于1982年获得加利福尼亚大学洛杉矶分校数学学士学位,于1987年获得麦吉尔大学电子工程博士学位。他的学术研究兴趣包括决策和控制的理论与应用,随机过程和优化。他在这些主题上的研究获得了许多奖项,并且是IEEE会士。

http://www.meyn.ece.ufl.edu/

为了定义强化学习(RL),首先需要定义自动控制。例如,在你的日常生活中,可能包括你的汽车巡航控制,你的空调恒温器,冰箱和热水器,以及现代的衣物烘干机的决策规则。有收集数据的传感器,有收集数据以了解世界状态的计算机”(汽车以正确的速度行驶吗?毛巾还湿吗?),根据这些测量结果,由计算机驱动的算法会发出命令来调整需要调整的东西:油门、风扇速度、加热盘管电流,或者……更令人兴奋的例子包括太空火箭、人造器官和微型机器人来进行手术。RL的目标是真正自动的自动控制:没有任何物理学或生物学或医学知识,RL算法调整自己成为一个超级控制器: 最平稳的飞行进入太空,和最专业的微型外科医生! 这个梦想在大多数应用中肯定是遥不可及的,但最近的成功故事鼓舞了工业界、科学家和新一代学生。继2015年击败欧洲围棋冠军樊麾之后,DeepMind的AlphaGo再次刷新了世界纪录。不久之后的新闻是令人震惊的AlphaZero续集,它在“没有任何专家帮助的情况下”自学下国际象棋和围棋。这在现在看来已经不是什么新鲜事了,似乎每个月都会有新的突破。

今天的强化学习有两个同等重要的基础: 1. 最优控制:两个最著名的RL算法,TD-和q -学习,都是关于逼近最优控制的核心价值函数。2. 统计和信息理论。RL中的loration是本书的一大焦点,它强调了最优控制的几何性质,以及为什么创建可靠的学习算法并不困难。我们不会忽视第二个基础: 动机和成功的启发式将在不深入研究理论的情况下进行解释。读者将学到足够的知识,开始尝试自制的计算机代码,并拥有一个大的算法设计选择库。在完成这本书的一半之前,我希望学生能对为什么这些算法被期望是有用的以及为什么它们有时会失败有一个扎实的理解。

本书的重点是与强化学习最相关的控制基础,以及基于这些基础的RL算法设计的大量工具。

成为VIP会员查看完整内容
119
0

相关内容

强化学习(RL)是机器学习的一个领域,与软件代理应如何在环境中采取行动以最大化累积奖励的概念有关。除了监督学习和非监督学习外,强化学习是三种基本的机器学习范式之一。 强化学习与监督学习的不同之处在于,不需要呈现带标签的输入/输出对,也不需要显式纠正次优动作。相反,重点是在探索(未知领域)和利用(当前知识)之间找到平衡。 该环境通常以马尔可夫决策过程(MDP)的形式陈述,因为针对这种情况的许多强化学习算法都使用动态编程技术。经典动态规划方法和强化学习算法之间的主要区别在于,后者不假设MDP的确切数学模型,并且针对无法采用精确方法的大型MDP。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
专知会员服务
21+阅读 · 2021年9月14日
【干货书】电子工程与计算机科学概率论,389页pdf
专知会员服务
33+阅读 · 2021年7月24日
专知会员服务
64+阅读 · 2021年7月11日
【斯坦福经典书】强化学习在金融应用,414页pdf
专知会员服务
72+阅读 · 2021年3月30日
专知会员服务
62+阅读 · 2021年2月17日
【2020新书】机器学习在能源行业中的应用,315页pdf
专知会员服务
78+阅读 · 2020年11月3日
【康奈尔】最新《强化学习基础》CS 6789课程
专知会员服务
51+阅读 · 2020年9月27日
最新《智能交通系统的深度强化学习》综述论文,22页pdf
【资源】机器学习数学全书,1900页PDF下载
新智元
8+阅读 · 2019年10月17日
TensorFlow 2.0深度强化学习指南
云栖社区
12+阅读 · 2019年2月1日
Arxiv
3+阅读 · 2020年7月16日
dynnode2vec: Scalable Dynamic Network Embedding
Arxiv
11+阅读 · 2018年12月6日
小贴士
相关VIP内容
专知会员服务
21+阅读 · 2021年9月14日
【干货书】电子工程与计算机科学概率论,389页pdf
专知会员服务
33+阅读 · 2021年7月24日
专知会员服务
64+阅读 · 2021年7月11日
【斯坦福经典书】强化学习在金融应用,414页pdf
专知会员服务
72+阅读 · 2021年3月30日
专知会员服务
62+阅读 · 2021年2月17日
【2020新书】机器学习在能源行业中的应用,315页pdf
专知会员服务
78+阅读 · 2020年11月3日
【康奈尔】最新《强化学习基础》CS 6789课程
专知会员服务
51+阅读 · 2020年9月27日
最新《智能交通系统的深度强化学习》综述论文,22页pdf
微信扫码咨询专知VIP会员