OpenAI 首次突破,AI 在 Dota 2 五对五团战中打败人类


2017 年,OpenAI 在 Dota2 TI 决赛现场以 1 对 1 solo 的方式击败了「Dota2」世界顶级玩家。经过一年的发展,由马斯克和 Sam Altman 创立的著名人工智能非营利组织 OpenAI 于昨日宣布其由 5 个神经网络组成的算法 OpenAI Five,已经能够战胜 Dota 2 的业余玩家队伍,且平均天梯分数超过 4200 分。


Dota2 是一个实时的 5 v 5 策略游戏,每个玩家控制一个英雄。在广袤的地图上推倒对方的防御塔和遗迹,才能获得最终的胜利。玩家们使用的英雄有各自的强项、弱项、技能和属性。在游戏里,玩家需要获得金钱,购买和升级装备,思考战略,还要和对手厮杀。


OpenAI 开发了一套名为“ OpenAI Five”的算法,如果独立的看这种算法,其实并没有什么特别的,就是一种学会了如何玩 Dota 2 的神经网络,而且此前也有AI算法在一对一 Dota 2 比赛中胜过人类玩家的先例。但 AI 的这次胜利却有着完全不同的意义,因为5套算法间已经学会了如何与“队友”协作。 


通过自我对抗学习,OpenAIFive 每天相当于玩 180 年的游戏。训练上,它使用256 块 GPU、12 万 8000 个 CPU 核心使用近端策略优化(Proximal Policy Optimization)方法进行训练,这是在OpenAI去年建立的 solo Dota2 系统上的扩增。



尽管目前OpenAI Five 还只能在有限条件下打 Dota 2。AI只会使用游戏所提供的 115 位可选英雄中的 5 位,且人类玩家不能使用真假眼、魔瓶等道具。但人工智能专家表示,这一成就意义重大。匹兹堡卡内基梅隆大学的研究员 Noam Brown 说:“ Dota2 是一个极其复杂的游戏,能打败强大的业余玩家就已经很不容易了,而且,处理 Dota2 这种大型游戏中的隐藏信息是一个很大的挑战。”




从Deep Blue到AlphaGo,再到现在的Dota2,将人工智能与人类之间进行较量,一直是计算机科学领域的有趣传统。


与围棋和国际象棋等回合制的游戏模式不同,虽然玩 Dota 2 所需的战略不像国际象棋和围棋那样有更多自由发挥的空间,但Dota2更需要大量的实时决策以及队友之间的默契合作。


玩 Dota 的 AI 需要掌握以下技能:


  • 长线策略。Dota 游戏平均每秒 30 帧,一场时常 45 分钟,大概 8 万     tick。大部分操作(例如操纵英雄移动)都有单独的小影响,但一些个体行为可能会影响到游戏战略,例如     TP 回家。此外,还有一些策略可能会终结整场游戏。


  • OpenAI Five 每 4 帧观察一次,产生了 2 万个决策。相比之下,国际象棋一般在 40 步之前就结束了,围棋大概 150 步,但这些游戏每一步都很有策略性。


  • 局部可观测状态。己方单位和建筑的视野都有限。地图的其他部分是没有视野的,可能藏有敌人和敌方策略。高玩通常需要基于不完整数据做推理,以及建模敌方意图。而国际象棋和围棋都是完全信息博弈。


  • 高维、持续的行为空间。在 Dota 中,每个英雄能采取数十种行为,而且许多行为要么面向敌方单位,要么点地移动位置。我们把这个空间离散到每个英雄 17 万种可能的操作(不是每 tick 都有效,例如在技能冷却时放技能就是无效操作);不计算连续部分,每 tick 平均 1000 个可能有效行为。国际象棋的行为数量大概是 35,围棋 250。


  • 高维、连续的观察空间。Dota 是在一张包含 10 个英雄、20 几个塔、数十个 NPC 单位的地图上操作的游戏,此外还有神符、树、眼卫等。通过 Valve(Dota 2 的运营公司)的 Bot API,我们的模型把 Dota 游戏视为 2 万个状态,也就代表人类在游戏中可获取到的所有信息。国际象棋代表大概 70     个枚举值(8x8 的棋盘,6 类棋子和较小的历史信息)。围棋大概有 400 个枚举值(19x19 的棋盘,黑白 2 子,加上 Ko)。


尽管OpenAI在本次Dota 2 五对五团战中打败人类,但OpenAI仍需要一些限制条件,比如,和AI比赛的人类对手必须遵守某些规则,包括不使用某些物品和策略。


OpenAI将在下个月举办一场Dota 2巡回赛,展示自己在与顶级玩家竞争时的实力。

 

参考链接:

https://blog.openai.com/openai-five/

-END-

专 · 知


人工智能领域主题知识资料查看与加入专知人工智能服务群

【专知AI服务计划】专知AI知识技术服务会员群加入人工智能领域26个主题知识资料全集获取欢迎微信扫一扫加入专知人工智能知识星球群,获取专业知识教程视频资料和与专家交流咨询


请PC登录www.zhuanzhi.ai或者点击阅读原文,注册登录专知,获取更多AI知识资料

请加专知小助手微信(扫一扫如下二维码添加),加入专知主题群(请备注主题类型:AI、NLP、CV、 KG等)交流~



关注专知公众号,获取人工智能的专业知识!

点击“阅读原文”,使用专知

展开全文
Top
微信扫码咨询专知VIP会员