强化学习怎么入门好？

我在几年前开始自学RL，我的感觉是RL远比统计机器学习、深度学习难学。我是从Rich Sutton的书开始入门的，后来觉得我绕了远路。Sutton的书确实是经典，但对初学者不友好，而且有old-school的感觉，书中很多内容今天用途不大，而当今最有用的知识在书中讲的又不够。

有些其他的书绕开数学，乍看起来是捷径，但学完之后对学术没有任何帮助。想学好RL就不该躲开数学，而是应该理解数学公式的意义。所有RL方法都是从几个核心公式衍生出来的。彻底理解那几个公式，就能轻松看透一切套路。

对我来说，学习DRL的捷径是直接读论文，把当今最有影响力的DRL论文都看一遍，远比读Sutton的书有效率。但是这种方法只适合我这种有经验的researcher，而不适合初学者。

我在读书、读论文的时候做了很多笔记，后来在教学、写proposal的时候又不断梳理DRL的知识点，有了很多积累。我们把深度强化学习的基础、前沿梳理清楚，放在统一的框架内，用统一的语言和符号，写成了《深度强化学习》。如果对深度学习有一定的了解，那么阅读我们的《深度强化学习》不会有太大困难。看这本书，会比自己读论文要轻松，毕竟每一篇论文的语言风格、符号系统都是不一样的。

初稿已经写完了，现在还在做校对。目前书中错误还很多，而且每一遍校对都能发现很多错误。如果大家可以容忍错误，不妨下载看看。如果发现错误，或者有建议，请告知我，多谢！

写书的时候，我努力在通俗和严谨之间找平衡，在实用和学术之间找平衡。我认为最重要的是“说人话”，把数学和算法解释清楚，尽量降低门槛。为了把很多原理解释清楚，我花了大量时间画图，尽量让这本书看起来像是现代的书，而不是上世纪的书。

我们的书的目的是讲清楚DRL的原理，没有实现的代码。想读代码的可以看这本书：

Deep Reinforcement Learning Hands-On

这本书跟我们的书互补。这本书只有实现，几乎没有讲原理。

如果中国买不到，可以在 Library Genesis 上下载到电子(dao)版(ban)。