【深度强化学习】灵魂一问：深度强化学习终到尽头？

 

新智元原创 

编辑：金磊

【新智元导读】近日，Reddit一位网友根据近期OpenAI Five、AlphaStar的表现，提出“深度强化学习是否已经到达尽头”的问题。此问题一出便引起了众网友的热烈讨论，观点向一边倒：根本没到尽头！

深度强化学习已经达到了尽头？

前几日，OpenAI Five摆擂三天，以99%的胜率秒杀人类玩家。但值得注意的是，OpenAI Five是接受了45000年的训练，而人类只通过一天的时间便找到了战胜它的策略。

OpenAI Five和AlphaStar都是深度强化学(DRL)最大规模、最精细的实现方式。但即便是AlphaStar上场，估计结果都是一样的。

Reddit网友便针对此现象，抛出了这样一个问题：

有很多研究正在进行，以使DRL更具数据效率，并使深度学习对于分布不均和对抗性的例子更加强大，但与人类的差距是如此极端以至于我怀疑是不是快要达到深度学习的极限了？亦或还是有希望能够推动范式的发展？

许多网友比较倾向的观点是：根本没有达到所谓的极限，而只是可能到了人们不再用“智能”这样的词来谈论DRL的地步。

网友hobbesfanclub认为：

我觉得我们才刚刚开始。每天都有很多东西被释放出来，我甚至都跟不上。几天前我认为是最先进的技术突然间就不存在了，因为在这个领域里有大量的工作要做。对于我们这些在这一领域工作的人来说，这些进步仍然是令人难以置信的，在我看来，真正令人印象深刻的是，这些技术在整体上仍然非常年轻……

网友adventuringraw认为：

这是一个很有趣的问题，关于深度学习本身也有类似的讨论——我们已经达到神经网络的极限了吗？如果没有根本性的范式转变，是否更不可能？

但是你看，在神经网络上有各种各样的方法，这些方法在2012年可能会让一些人大吃一惊。很明显，GAN、VAE、神经风格迁移、深度强化学习本身就属于神经网络范畴内，与其说深学习被取代了，不如说它被置于“堆栈”之下了。它是一个组成部分，一个解决问题的策略，一种思考方式。即使是深度网络自己，也是建立在过去各种进步和见解的基础上的。

我个人的想法是：这似乎是无模型方法的一个基本问题。你需要在特征空间中进行密集的覆盖，或者换句话说，你知道在一个已经完全探索过的领域里该做什么，但你不一定能够推断和推理出新的环境，你需要一个全局模型来进行推理。

我之前看过基于Google Brain的'SimPLe'模型的RL论文，开始向基于模型的RL过渡并不是一个全新的概念。但是在我们得到一个能够在空间中进行抽象推理的智能体之前，还有一些严重的问题有待解决：

• 它如何学习空间中相关的独立实体、动作、等等？

• 它能在无人监督的情况下完成吗?

• 它如何将当前的世界理解压缩为一个更低的维度表示，从而完美地捕捉到解决当前问题最需要的维度?

• 它能学会周围环境的地图吗?

• 创建分层长期计划的最佳方法是什么？

• ......

即使只使用图像分类，我们仍然很难提取基于形状的特征而不是基于纹理的特征。一般来说，局部模式似乎比全局模式更容易获取，所以我想OpenAI Five更容易利用局部模式所采用的策略，这使得它很容易受到具有正确洞察力的玩家的攻击。

我一直在读Judea Pearl的《因果关系》(Causality)，有一些有趣的东西是值得思考的。我不认为他的因果关系模型是我们需要让智能体明确地向世界学习什么东西，但是若是让一个智能体能够完全适应新环境并在宏观规模上进行规划的整体似乎是需要它能够反事实地推理，并对它自己的世界有一个强有力的理解。

考虑到我们才刚刚开始了解创建一个鲁棒的图像分类器需要什么(即使是在有监督的环境中，更不用说无监督的环境了)，我认为在深度强化学习完全成长之前，我们已经有了一些基础理论。

但非常疯狂的事情是，我们似乎正在逐步消除了这些障碍。而另一方面，却出现 了一个可以玩Dota2、学会合作、学会对世界进行推理的无监督系统，这似乎让人觉得我们快要到达技术的顶尖了，但实际上并没有。所以我对于OpenAI没有到达那个点并不感到惊讶。但对于接下来即将发生的事情还是抱有很大的期待的。

该问题似乎在reddit的讨论热度很高，但是纵观网友们的评论，可以很容易看出对这个问题的看法是向一边倾倒的：

深度强化学习远未及极限，还有很长的一段路要走。

“寒冬论”四起，荣耀属于熬过寒冬的人

但其实，人们不仅会对深度强化学习提出“寒冬论”的言论，深度学习亦是如此。

多年来，深度学习一直处于所谓的人工智能革命的最前沿，许多人相信深度学习将带领我们进入通用AI时代。在2014，2015，2016年，很多事件每每推动人们对 Ai的理解边界。例如Alpha Go等。特斯拉等公司甚至宣称：全自动驾驶汽车正在路上。

但是现在，2018年中期，事情开始发生变化。从表面上看，NIPS会议仍然很火，关于AI的新闻也很多，Elon Mask仍然看好自动驾驶汽车，而Google CEO不断重申Andrew Ng的口号，即AI比电力作出了更大的贡献。但是这些言论已经开始出现裂纹。裂纹最明显的地方是自动驾驶 - 这种现实世界中的实际应用。

当ImageNet有了很好的解决方案（注意这并不意味着视觉问题得到已经解决），该领域的许多杰出研究人员（甚至包括一直保持低调的Geoff Hinton）都在积极地接受采访，在社交媒体上发布内容（例如Yann Lecun，吴恩达，李飞飞等）。他们的话，可以总结为：世界正处在一场巨大的AI革命中。然而，好几年已经过去了，这些人的Twitter信息变得不那么活跃了，比如 Andrew Ng：

2013年 - 每天0.413推文

2014 年- 每天0.605条推文

2015 -每天0.320条推文

2016 -每天0.802推文

2017 -每天0.668推文

2018 -每天0.263推文（至5月24日）

也许这是因为Andrew 的某些夸张言论，在当下会被进行更详细的审查，如下面的推文所示：

不可否认，深度学习的热度已经大大下降，赞美深度学习作为AI终极算法的推文少得多了，而且论文正在变得不那么“革命”，现在大家换了个词，叫：进化。

自从Alpha Zero以来，DeepMind已经许久没有产出令人惊叹的东西了。OpenAI更是相当的低调，他们最近一次出现在媒体的报道上，是他们做了一个自动打Dota 2的机器人 [我一开始以为，这是跟 Alpha Go 一样的伟大，然后后来证明，并不是]。

从某些文章来看，貌似Google实际上并不知道如何处理Deepmind，因为他们的结果显然不如原先预期的那么实际......至于杰出的研究人员，他们一般都为了funding 在各种政府机构间游走，Yann Lecun甚至从 Facebook的AI首席科学家的位置上下台了。

像这种从富有的大公司向政府资助的研究机构的逐渐转变表明，这些公司对这类研究的兴趣（我认为是谷歌和Facebook）实际上正在慢慢消失。这些都是早期迹象，没有人大声的宣扬，但这些行动就像肢体语言，也能传达某种意思。

深度学习的一个重要口号是它可以轻松的扩展。我们在2012年拥有60M参数的AlexNet，现在我们已经有至少1000倍的数量的模型了吗？好吧，我们可能会这样做，但问题是 - 这些东西有1000x的能力提升吗？100倍的能力？openAI的研究派上用场：

因此，就视觉应用而言，我们看到VGG和Resnets在计算资源应用的一个数量级上饱和（就参数数量而言实际上较少）。Xception是谷歌Inception架构的一种变体，实际上它在ImageNet上的表现只是略微优于其他模型，因为AlexNet基本上解决了ImageNet。

因此，在比AlexNet计算量提高100倍的情况下，我们在视觉方面已经有了近乎饱和的体系结构，换句话说，图像分类的精确已经提不动了。

神经机器翻译是所有大型网络搜索玩家(google, baidu, yahoo 等)的一大努力，难怪它有多少机器就用多少机器（尽管谷歌翻译仍然很糟糕，虽然已经在变得更好了）。

该图上的最新三点有趣地显示了Deep Mind和OpenAI应用于游戏的强化学习相关项目。特别是AlphaGo Zero和稍微更通用的Alpha Zero需要大量计算，但不适用于真实世界的应用程序，因为需要大量计算来模拟和生成这些数据来供这些模型使用。

好的，现在我们可以在几分钟内完成AlexNet的训练，但是我们可以在几天内训练一个比AlexNet大1000倍，质量更好的模型吗？显然不是。

迄今为止，对深度学习的声誉打击最大的事件来自自动驾驶领域。一开始人们认为End-to-End的深度学习可以以某种方式解决自动驾驶问题 (Nvidia特别推崇这一理念)。现在我觉得地球上应该没有人还相信这一点（尽管我可能是错的）。

看看前年加州车辆管理局DMV给各个厂商的自动驾驶车辆人为干预报告，Nvidia的自动驾驶汽车在缺少人为干预的情况下，连开10英里都做不到。

自2016年以来，特斯拉自动驾驶系统发生了几起事故，其中一些事件是致命的。可以说，特斯拉的自动驾驶辅助技术不应该与自动驾驶混淆起来虽然在核心上它依赖于同一种技术。

都到今天了，它仍然不能自动停在路口，不能识别交通信号灯，甚至不能通过环形交叉路口。那是在2018年5月，在承诺特斯拉将自动驾驶从西海岸开到东海岸的几个月后（尽管传言是他们已经尝试过但是在小于30次人工干预的情况下无法实现）。几个月前（2018年2月），伊隆马斯克（Elon Musk）在一次电话会议上被问及海岸到海岸的行驶问题时重复说到：

“我们本可以实现海岸到海岸的驾驶，但它需要太多的专门代码来有效地进行游戏；或者使代码变得脆弱一些，这样它只适用于一个特定的路线，这不是通用的解决方案。

我对神经网络方面取得的进展感到非常兴奋。但是看起来并没有太多的进展。它会觉得这是一个蹩脚的司机。就像…好吧，这是一个非常好的司机。像“Holy Cow！”

因此，有许多人开始对深度学习提出“寒冬论”：

预测人工智能的冬天就像是猜测股市崩盘一样——不可能精确地知道发生的时间，但几乎可以肯定会在某个时刻发生，就像股市崩盘之前，有迹象表明会发生危机，但在当时的环境中，却很容易被大家忽视。

在我看来，深度学习已经出现了明显的下降迹象。我并不知道这个冬天会有多“深度”，我也不知道接下来会发生什么，但我可以肯定，这个冬天一定会来临，并且只会来的比想象的要早。

然而，上个月2018年图灵奖公布，深度学习三巨头：Yoshua Bengio、Geoffrey Hinton、Yann LeCun获奖，三人瓜分100万美元奖金。

Yann LeCun、Geoffrey Hinton、Yoshua Bengio

去年，”深度学习寒冬论“频起，三位大神也在多个场合对”寒冬“做出了回应。实际上，三人对“寒冬”早有抗体，在上世纪八十年代，Geoffrey Hinton等人坐了数年的冷板凳，直到本世纪AI的再度爆发。

不仅如此，Geoffrey Hinton还提出新的神经网络模型Capsule Network（胶囊网络），试图找到解决深度学习缺陷的新方法，这位71岁的老人熬过最冷的AI冬天，并且认定下一个“冬天”不会到来。

事实证明，荣耀是属于熬过寒冬的人。

参考链接：

https://www.reddit.com/r/MachineLearning/comments/bgvefd/d_have_we_hit_the_limits_of_deep_reinforcement/

先进制造业+工业互联网

---

产业智能官  AI-CPS

加入知识星球“产业智能研究院”：先进制造业OT（自动化+机器人+工艺+精益）技术和工业互联网IT技术（云计算+大数据+物联网+区块链+人工智能）深度融合，在场景中构建“状态感知-实时分析-自主决策-精准执行-学习提升”的机器智能、认知计算系统；实现产业转型升级、DT驱动业务、价值创新创造的产业互联生态链。

云、大、物、链、智等工业互联网IT技术分支用来的今天，制造业者必须了解如何将“技术”全面渗入整个公司、产品、业务等商业场景中， 利用工业互联网形成数字化、网络化和智能化力量，实现行业的重新布局、企业的重新构建和焕然新生。

深度融合的先进OT技术和工业互联网IT技术作为第四次工业革命的核心驱动力，将进一步释放历次科技革命和产业变革积蓄的巨大能量，并创造新的强大引擎。 重构生产、分配、交换、消费等经济活动各环节，形成从宏观到微观各领域的智能化新需求，催生新技术、新产品、新产业、新业态、新模式。引发经济结构重大变革，深刻改变人类生产生活方式和思维模式，实现社会生产力的整体跃升。

版权声明：产业智能官（ID：AI-CPS）推荐的文章，除非确实无法确认，我们都会注明作者和来源，涉权烦请联系协商解决，联系、投稿邮箱：erp_vip@hotmail.com。