论文题目

视频游戏中深度强化学习的研究综述,A Survey of Deep Reinforcement Learning in Video

论文摘要

摘要深度强化学习(DRL)自提出以来取得了很大的成就。通常,DRL代理在每个步骤都接收高维输入,并根据基于深度神经网络的策略进行操作。这种学习机制通过端到端的方法更新策略以最大化回报。本文综述了DRL方法的研究进展,包括基于价值的方法、基于策略梯度的方法和基于模型的方法,比较了它们的主要技术和性能,并指出DRL在智能游戏中的重要作用。我们还回顾了DRL在各种电子游戏中的成就,包括经典的街机游戏、第一人称视角游戏和多智能体实时战略游戏,从2D到3D,从单智能体到多智能体,大量带有DRL的电子游戏AIs都取得了超人的性能,在这个领域还有一些挑战。因此,我们还讨论了将DRL方法应用于该领域的一些关键点,包括探索性开发、样本效率、泛化和迁移、多智能体学习、不完全信息和延迟备用研究,以及一些研究方向。

论文作者

Kun Shao, Zhentao Tang, Yuanheng Zhu,IEEE成员。Nannan Li, Dongbin Zhao,IEEE资深会员。

成为VIP会员查看完整内容
0
27

相关内容

赵冬斌,中国科学院自动化所,IEEE资深会员。 http://sourcedb.ia.cas.cn/cn/iaexpert/200908/t20090804_2310521.html

导航是移动机器人所需要的最基本的功能之一,允许它们从一个源穿越到一个目的地。传统的办法严重依赖于预先确定的地图的存在,这种地图的取得时间和劳力都很昂贵。另外,地图在获取时是准确的,而且由于环境的变化会随着时间的推移而退化。我们认为,获取高质量地图的严格要求从根本上限制了机器人系统在动态世界中的可实现性。本论文以无地图导航的范例为动力,以深度强化学习(DRL)的最新发展为灵感,探讨如何开发实用的机器人导航。

DRL的主要问题之一是需要具有数百万次重复试验的不同实验设置。这显然是不可行的,从一个真实的机器人通过试验和错误,所以我们反而从一个模拟的环境学习。这就引出了第一个基本问题,即弥合从模拟环境到真实环境的现实差距,该问题将在第3章讨论。我们把重点放在单眼视觉避障的特殊挑战上,把它作为一个低级的导航原语。我们开发了一种DRL方法,它在模拟世界中训练,但可以很好地推广到现实世界。

在现实世界中限制移动机器人采用DRL技术的另一个问题是训练策略的高度差异。这导致了较差的收敛性和较低的整体回报,由于复杂和高维搜索空间。在第4章中,我们利用简单的经典控制器为DRL的局部导航任务提供指导,避免了纯随机的初始探索。我们证明,这种新的加速方法大大减少了样本方差,并显著增加了可实现的平均回报。

我们考虑的最后一个挑战是无上限导航的稀疏视觉制导。在第五章,我们提出了一种创新的方法来导航基于几个路点图像,而不是传统的基于视频的教学和重复。我们证明,在模拟中学习的策略可以直接转移到现实世界,并有能力很好地概括到不可见的场景与环境的最小描述。

我们开发和测试新的方法,以解决障碍规避、局部引导和全球导航等关键问题,实现我们的愿景,实现实际的机器人导航。我们将展示如何将DRL作为一种强大的无模型方法来处理这些问题

成为VIP会员查看完整内容
0
57

本文综述了元学习在图像分类、自然语言处理和机器人技术等领域的应用。与深度学习不同,元学习使用较少的样本数据集,并考虑进一步改进模型泛化以获得更高的预测精度。我们将元学习模型归纳为三类: 黑箱适应模型、基于相似度的方法模型和元学习过程模型。最近的应用集中在将元学习与贝叶斯深度学习和强化学习相结合,以提供可行的集成问题解决方案。介绍了元学习方法的性能比较,并讨论了今后的研究方向。

成为VIP会员查看完整内容
0
207

智能视频监控(IVS)是当前计算机视觉和机器学习领域的一个活跃研究领域,为监控操作员和取证视频调查者提供了有用的工具。人的再识别(PReID)是IVS中最关键的问题之一,它包括识别一个人是否已经通过网络中的摄像机被观察到。PReID的解决方案有无数的应用,包括检索显示感兴趣的个体的视频序列,甚至在多个摄像机视图上进行行人跟踪。文献中已经提出了不同的技术来提高PReID的性能,最近研究人员利用了深度神经网络(DNNs),因为它在类似的视觉问题上具有令人信服的性能,而且在测试时执行速度也很快。鉴于再识别解决方案的重要性和广泛的应用范围,我们的目标是讨论在该领域开展的工作,并提出一项最先进的DNN模型用于这项任务的调查。我们提供了每个模型的描述以及它们在一组基准数据集上的评估。最后,我们对这些模型进行了详细的比较,并讨论了它们的局限性,为今后的研究提供了指导。

成为VIP会员查看完整内容
0
60

主题: Comprehensive Review of Deep Reinforcement Learning Methods and Applicationsin Economic

摘要: 深度强化学习(DRL)方法在经济学中的应用已成倍增加。 DRL通过从强化学习(RL)和深度学习(DL)的广泛功能来处理复杂的动态业务环境提供了广阔的机遇。 DRL的特点是可伸缩性,它有可能结合经济数据的噪声和非线性模式应用于高维问题。在这项工作中,我们首先考虑对经济学中各种应用中的DL,RL和深层RL方法进行简要回顾,以提供对最新技术水平的深入了解。此外,研究了应用于经济应用的DRL体系结构,以突出其复杂性,鲁棒性,准确性,性能,计算任务,风险约束和获利能力。调查结果表明,与传统算法相比,DRL可以提供更好的性能和更高的精度,同时在存在风险参数和不确定性不断增加的情况下面临实际的经济问题。

成为VIP会员查看完整内容
0
37

题目

深度残差强化学习,Deep Residual Reinforcement Learning

关键字

强化学习,残差算法,机器学习

简介

我们在无模型和基于模型的强化学习设置中重新研究残差算法。 我们建议使用双向目标网络技术来稳定残差算法,从而产生DDPG的残差版本,该版本明显优于DeepMind Control Suite基准测试中的原始DDPG。 此外,我们发现残差算法是解决基于模型的规划中分布不匹配问题的有效方法。 与现有的TD(k)方法相比,我们的基于残差的方法对模型的假设更弱,并且性能提升更大。

作者

Shangtong Zhang, Wendelin Boehmer, Shimon Whiteson,来自牛津大学

成为VIP会员查看完整内容
0
50

报告题目:

Deep Reinforcement Learning for Computer Vision

报告简介:

近年来,深度强化学习作为机器学习的基本技术之一得到了发展,并成功地应用于各种计算机视觉任务(表现出最先进的性能)。在本教程中,我们将概述深度强化学习技术的趋势,并讨论如何使用它们来提高各种计算机视觉任务的性能(解决计算机视觉中的各种问题)。首先,我们简要介绍了深度强化学习的基本概念,并指出了在不同的计算机视觉任务中所面临的主要挑战。其次,介绍了一些用于计算机视觉任务的深度强化学习技术及其种类:策略学习、注意感知学习、不可微优化和多智能体学习。第三,介绍了深度强化学习在计算机视觉不同领域的应用。最后,我们将讨论深度强化学习中的一些开放性问题,以说明未来如何进一步发展更先进的计算机视觉算法。

嘉宾介绍:

Jiwen Lu,副教授,中国清华大学,自动化系。清华大学自动化系副教授,2015.11-至今,新加坡高级数字科学中心研究科学家,2011.3-2015.11,2003.7-2007.7西安理工大学信息科学系助理讲师。

Liangliang Ren ,清华大学博士生,研究方向是计算机视觉与机器学习、度量学习与深度强化学习

成为VIP会员查看完整内容
0
47

*《Stabilizing Transformers for Reinforcement Learning》E Parisotto, H. F Song, J W. Rae, R Pascanu, C Gulcehre, S M. Jayakumar, M Jaderberg, R L Kaufman, A Clark, S Noury, M M. Botvinick, N Heess, R Hadsell [DeepMind] (2019)

成为VIP会员查看完整内容
0
30

题目: A Survey and Critique of Multiagent Deep Reinforcement Learning

简介: 近年来,深度强化学习(RL)取得了出色的成绩。这使得应用程序和方法的数量急剧增加。最近的工作探索了单智能体深度强化之外的学习,并考虑了多智能体深度强化学习的场景。初步结果显示在复杂的多智能体领域中的成功,尽管有许多挑战需要解决。本文的主要目的是提供有关当前多智能体深度强化学习(MDRL)文献的概述。此外,我们通过更广泛的分析对概述进行补充:(i)我们回顾了以前RL中介绍的基础内容,并强调了它们如何适应多智能深度强化学习设置。 (ii)我们为该领域的新开业者提供一般指导:描述从MDRL工作中汲取的经验教训,指出最新的基准并概述研究途径。 (iii)我们提出了MDRL的实际挑战(例如,实施和计算需求)。

作者介绍: Pablo Hernandez-Leal,Borealis AI的研究员,在此之前,曾与Michael Kaisers一起参与过阿姆斯特丹CWI的智能和自治系统。研究方向:单智能体环境开发的算法以及多智能体。计划开发一种算法,该算法使用博弈论,贝叶斯推理和强化学习中的模型和概念在战略交互中得到使用。

成为VIP会员查看完整内容
0
92

题目: Deep Learning in Video Multi-Object Tracking: A Survey

简介: 多对象跟踪(MOT)的问题在于遵循序列中不同对象(通常是视频)的轨迹。 近年来,随着深度学习的兴起,提供解决此问题的算法得益于深度模型的表示能力。 本文对采用深度学习模型解决单摄像机视频中的MOT任务的作品进行了全面的调查。 确定了MOT算法的四个主要步骤,并对这些阶段的每个阶段如何使用深度学习进行了深入的回顾。 还提供了对三个MOTChallenge数据集上提出的作品的完整实验比较,确定了表现最好的方法之间的许多相似之处,并提出了一些可能的未来研究方向。

成为VIP会员查看完整内容
DEEP LEARNING IN VIDEO MULTI-OBJECT TRACKING.pdf
0
38

题目: Understanding Deep Learning Techniques for Image Segmentation

简介: 机器学习已被大量基于深度学习的方法所淹没。各种类型的深度神经网络(例如卷积神经网络,递归网络,对抗网络,自动编码器等)有效地解决了许多具有挑战性的计算机视觉任务,例如在不受限制的环境中对对象进行检测,定位,识别和分割。尽管有很多关于对象检测或识别领域的分析研究,但相对于图像分割技术,出现了许多新的深度学习技术。本文从分析的角度探讨了图像分割的各种深度学习技术。这项工作的主要目的是提供对图像分割领域做出重大贡献的主要技术的直观理解。从一些传统的图像分割方法开始,本文进一步描述了深度学习对图像分割域的影响。此后,大多数主要的分割算法已按照专用于其独特贡献的段落进行了逻辑分类。

成为VIP会员查看完整内容
Understanding Deep Learning Techniques for Image Segmentation.pdf
0
90
小贴士
相关资讯
小样本学习(Few-shot Learning)综述
黑龙江大学自然语言处理实验室
27+阅读 · 2019年4月1日
论文推荐 | 生成对抗网络GAN论文TOP 10
机器学习算法与Python学习
5+阅读 · 2019年3月20日
PlaNet 简介:用于强化学习的深度规划网络
谷歌开发者
8+阅读 · 2019年3月16日
深度强化学习入门,这一篇就够了!
机器学习算法与Python学习
19+阅读 · 2018年8月17日
Reinforcement Learning: An Introduction 2018第二版 500页
CreateAMind
9+阅读 · 2018年4月27日
入门 | 通过 Q-learning 深入理解强化学习
机器之心
9+阅读 · 2018年4月17日
【深度强化学习】深度强化学习揭秘
产业智能官
15+阅读 · 2017年11月13日
相关论文
A Survey on Bayesian Deep Learning
Hao Wang,Dit-Yan Yeung
48+阅读 · 2020年7月2日
Tuomas Haarnoja,Aurick Zhou,Sehoon Ha,Jie Tan,George Tucker,Sergey Levine
6+阅读 · 2018年12月26日
Ziwei Zhang,Peng Cui,Wenwu Zhu
40+阅读 · 2018年12月11日
Deep Reinforcement Learning: An Overview
Yuxi Li
12+阅读 · 2018年11月26日
Borja Ibarz,Jan Leike,Tobias Pohlen,Geoffrey Irving,Shane Legg,Dario Amodei
4+阅读 · 2018年11月15日
Image Captioning based on Deep Reinforcement Learning
Haichao Shi,Peng Li,Bo Wang,Zhenyu Wang
7+阅读 · 2018年9月13日
Relational Deep Reinforcement Learning
Vinicius Zambaldi,David Raposo,Adam Santoro,Victor Bapst,Yujia Li,Igor Babuschkin,Karl Tuyls,David Reichert,Timothy Lillicrap,Edward Lockhart,Murray Shanahan,Victoria Langston,Razvan Pascanu,Matthew Botvinick,Oriol Vinyals,Peter Battaglia
6+阅读 · 2018年6月28日
Benjamin Recht
5+阅读 · 2018年6月25日
Ermo Wei,Drew Wicke,David Freelan,Sean Luke
10+阅读 · 2018年4月25日
Ju Dai,Pingping Zhang,Huchuan Lu,Hongyu Wang
5+阅读 · 2018年2月22日
Top
微信扫码咨询专知VIP会员