[推荐] 这些年，我用过的点击率（CTR）预估模型！！！

2017 年 7 月 31 日 菜鸟的机器学习 潇湘

作者：Not Enough Forever

原文：我用过的CTR预估模型

链接：http://www.doesbetter.com/862/

编辑：菜鸟的机器学习

菜鸟说：这篇文章是我见过写的介绍点击率预估模型比较全面的文章了，佩服作者的全面性和实践性，从Batch Learning到Online Learning，涉及LR、LBFGS、OWLQN、FTRL、FM、FFM等，再到DNN，等等，都有实践，写的真好，值得学习。未来有时间菜鸟也写一写与互联网广告相关的内容。

话不多说，正如如下

之前也想过把实习和工作中曾经用过的模型总结一下，但是由于工作的原因一直抽不出时间，最近刚好有时间做一下总结。总体上来说只是记录个大概，因为有太多东西要写了，所以有兴趣的朋友可以在合适的时间，采用对话的形式针对每个细节讨论。主要包括以下几个模型：LR，GBDT，FM，FFM，DNN，还有一些自己对分布式系统的想法。

第一次看到工业界使用LR模型，是在阿里实习的时候，当时用它来做展示广告的CTR预估，我们作为一个业务部门使用公司内部的分布式机器学习平台，当时还是用MPI实现的。后来在百度实习，用到了LR和DNN模型，LR也是用MPI实现的，有多种优化算法可选，SGD，LBFGS，OWLQN，对于做广告CTR预估的我们来说，选用OWLQN的最多，毕竟我们对模型的稀疏性有要求，OWLQN能对带有L1正则项的目标函数进行优化。DNN用的现在比较有名的paddle，当时还没开源但是内部已经开始用了。最后一份实习在360，当时主要是探索DNN在搜索广告上的效果，由于内部没有可用的分布式深度学习系统，在经过对比之后就选择了Petuum(http://www.petuum.com/),在这里感谢一下Petuum团队的朋友们，感谢他们非常热情的回复邮件帮我解答问题，希望我那蹩脚的英文也曾给他们带来过一些欢乐。。。主要工作是根据360搜索广告已有数据构造特征，并针对petuum系统修改源代码做一些小改动，例如改变激活函数类型、参数初始化方式等。在360实习期间和纽约大学的一个小伙伴参加了kaggle上的一个展示广告CTR预估比赛，用到了FM模型，主要还是特征的处理，特别是连续值特征的离散化处理,成绩一般般第16名。

毕业之后在第一家公司做风险控制，用到了GBDT和GBRT模型，因为是不同的业务需求，前者用来做分类，后者用来做回归。第二家公司，先是用GBDT做新闻推荐，后来使用ps-lite实现了用ftrl做优化算法的LR模型，又使用MPI实现集成了LR、FM、FFM三个模型的系统，同时提供了SGD和FTRL优化算法，本来要再提供OWLQN优化算法，但是要测性能，OWLQN的代码写完后就没来得及测。主要目的是打算做online learning，做出来之后做过一些性能测试实验，通过观察测试集AUC，FM在初期学习速率比LR快，例如LR在40次迭代之后达到0.7，FM在20次迭代之后就达到了，但是最终的结果FM并没有比LR高，两者的结果是差不多的，这和当时没有充分调参有关。

总体上来说，LR是使用最广泛的模型，一般是结合onehot encoding之后的特征使用，我总结它有以下几个优点：1，模型简单，可以尽管拍脑袋加特征，2，容易debug,线上出了问题很容易就能根据模型和结果定位到是哪些特征出了问题，并且可以马上采取补救措施，例如人工修改模型权重，以达到增强或者减弱某些特征对结果的影响。3，有非常多的优化算法可选择，例如SGD，CD，LBFGS，OWLQN，FTRL等等，而且这些优化算法又有各种变体，可以尽管尝试，4，繁多的优化算法中，有些算法可以有效的产生稀疏模型并使得效果不损失，这对上线非常有利，也有利于减少线上平响时间。缺点：1，只是个线性模型，不是对所有的数据都能很有效，不同的业务其数据分布都不同，有些业务的数据可能还是需要非线性的模型来学习。

GBDT也是一个被广泛使用的模型，一般是配合连续值特征使用，它的特点是：1，特征值在不断变化，knowledge存在于数据和模型中，因此，即使模型更新频率低一些，结果也暂时不会差到哪里去，从这个角度来讲，GBDT比较“稳定”。2，非线性模型，能学习复杂的数据分布。和LR相比，他不需要那么频繁的更新模型，而且基本上不存在线上特征miss的问题，如果是LR模型，可能一天之内某些ID特征就发生了很大的变化，导致线上出现大量的新ID特征无法命中。

FM比LR、GBDT更晚一些，它的发明者是来自德国的一个大神也就是libFM的作者。与LR模型相比较，输入给FM模型的每个特征，除了学到一个对应的权重之外，还能得到一组权重，存在于vector之中，当需要把特征a和特征b进行组合时，就把a的那个vector和b的那个vector拿来做内积，这么做的好处：1，可以自动的进行特征组合，是的模型具有更强的学习能力。2，不但能做特征组合，vector的方式还解决了特征组合后维度过大的问题。关于FM模型的数学推导，可以找到那篇论文进行学习。现在FM模型也被各个公司广泛使用了。

FFM是FM的增强版，它也能做特征组合，而且对于每个特征，它可以得到好几个vector，例如，对于特征a它可以有v1,v2两组权重，这两组权重分别用来和其它不同特征做组合，当特征a和特征b组合时用v1,当特征a和特征c组合时用v2. 这么做的好处是，即使是同一个特征，和其它不同特征组合时是有强弱之分的，这样使得模型更“个性化”，从而得到更好的效果。关于FFM模型的数学推导，也可以参考原始论文。目前在线上用FFM的并不多，因为线上预测时平响相对较大。

DNN模型很多人都非常熟悉了，一般使用连续值特征，否则离线训练时间难以承受。优点是：非线性，模型表达能力强，只需简单的三层就能表示任意阶的函数。缺点是：1，离线训练时间较慢，不过目前好在有TensorFlow，Mxnet这样的分布式训练系统。2，线上预测时间较长，这也是阻碍DNN被广泛使用的原因之一。

以上LR，GBDT，FM，FFM，DNN模型，都有相关的论文可以阅读学习，最好是找到关于理论推导方面的论文进行研究。

从最开始的LR，GBDT到后来的FM，DNN，关于这些模型在广告和推荐问题上的应用的论文也越来越多，从简单到复杂，从单模型到模型融合，比如LR和GBDT，LR和DNN，FM和DNN各种各样的模型组合方式:stacking,bagging,boosting, 相信以后这方面的论文会越来越多。

另外就是关于oneline learning，以上几个模型除了GBDT无法做online learning之外，其它几个模型理论上都是可以的，online learning的好处是可以更快地学到用户的行为，但这会造成它的模型不太稳定，整体上来看最终结果不一定比batch learning更好。因此，一般是采用一个离线的稳定模型+增量模型的方式，这又涉及到几个问题：1，模型的更新频率；2，增量模型中新特征参数的加入方式；2，增量模型中旧特征参数的加入方式。以上三个因素会严重影响online learning的效果。online learning一般是结合特定的优化算法例如SGD，FTRL来实现的，目的是为了使得模型更新频率更快，FTRL会让得到的模型更稀疏。

关于优化算法，对于LR模型来说，使用不同的正则项就选择对应的优化算法，L2正则就选LBFGS或者SGD，不过SGD一般很少用，L1正则就选择OWLQN或者FTRL，OWLQN是用来做batch learning，FTRL是用来做online learning，现在FTRL已经被非常多的使用了。针对FM，FFM模型，目前最常用的方式也是FTRL，而且对于这两个模型，可以分别针对w和v采用不同的优化算法，例如DMLC的wormhole中对FM模型的优化就采用了两种不同优化算法。这取决于用户是否希望v更稀疏，如果希望得到dense的v就不对v加L1约束，如果希望得到sparse的v就对v加L1约束，这要看用户是打算如何使用FM产出的v向量，是否要和其它模型组合使用等。DNN模型常用的优化算法就是SGD了，也有不少是结合分布式框架做的一些SGD优化。还有些优化算法能在模型训练过程中自适应调整学习率，这一般是在参数较多时使用，有些reinforcement learning的意思了。一般在实际工作中去研究优化算法的并不是非常多，因为它是和分布式训练系统紧密结合的，想改变一个优化算法，需要改动分布式训练系统的代码，这一般很难做到，除非分布式系统的代码就是由自己管理。所以一般情况下业务部门都比较喜欢自己来实现分布式训练系统，方便自己根据业务需求灵活定制相应的模型和算法。

在2013年年初的时候我就有自己动手实现分布式机器学习模型的想法，当时不知道用什么手段实现分布式，后来听说了MPI，就开始研究如何用MPI实现分布式LR。当时花了不少时间在MPI的用法上，现在想想MPI只是个通信库，即使不用MPI也可以用ZMQ，也可以用socket，其实重点应该是怎么设计算法的并行方式，怎样使得整个训练系统更快更准。就像现在各种开源或者自研的深度学习训练系统一样，用什么网络库不重要，重要的是怎么设计整个分布式系统。我分别仔细研读过TensorFlow和mxnet的代码，个人认为mxnet代码解耦合模块化做的很好，结构很清晰，这可能也和我最初先研究了ps-lite代码有关，我在这篇文章中对比过mxnet和TensorFlow的分布式框架：http://www.doesbetter.com/836/。以后会记录更多的关于这两个分布式深度学习框架的对比笔记。

在实际业务中，分为召回、排序、策略这三个环节，算法工程师大部分时间都是在做特征做策略。特征工程方面，分为几个步骤，首先是特征准备，根据实际的业务特点和数据选择出足够多的候选集出来；其次是特征处理，一般情况下是对离散值最onehot encoding，对连续值做归一化或者等频、等值离散化等等；最后是特征选择，可以看单特征AUC，也可以加新特征到已有特征集合中，可以观察单日AUC变化，可以观察多日AUC衰减情况，也可以根据ROC曲线形状判断等等。特征工程是和业务和数据紧密结合的，关于这方面的工作，有很多方法可能要真正做业务的时候才能具体情况具体对待，所以在这里就不做深入拓展。策略是和业务结合最紧密的，是最直接影响业务指标的，所以有不少部分策略都是在指标出来之后做的应对方案。

关于以上模型的实际应用，是无法通过笔记来充分表达的，所有的工作都体现在实验过程中。也欢迎各位感兴趣的同行可以针对一些细节进行深入讨论，刚好也帮我回忆一下那些实验过程。