SIGIR2022 | 从Prompt的角度考量强化学习推荐系统

2022 年 5 月 24 日 机器学习与推荐算法

嘿，记得给“机器学习与推荐算法”添加星标

转自：社媒派 SMP

责任编辑：李晨亮

Next item推荐系统是现代在线网络服务的核心组件之一，根植于应用程序中，例如音乐、视频和电子商务网站，帮助用户（user）导航和查找新内容。一般来说，系统被建模为序列预测任务，通常在递归神经网络或其他生成序列模型之上实现。其目的在于回答问题：在知晓用户过去的交互情况下，用户感兴趣的下一个物品(item)是什么。强化学习是训练Agent在给定观察到的环境状态的情况下采取相应行动，以最大化预定义的奖励。现有的基于价值的 RL 算法通常涉及策略评估和策略改进，分别如图1a和图1b所示。因为强化学习自然符合推荐系统的优化目标：最大化一个交互会话的总体收益，RL 中灵活的奖励设置可以灵活地定制推荐目标。因此，在推荐中使用 RL 已成为一个新兴话题。

（图1 策略评估、策略改进算法和PRL范式）

然而，发展基于强化学习的推荐方法并非易事。具体来说，当前RL 的学习范式通过与环境交互然后观察奖励来训练主体（Agent）。这个过程需要Agent本身进行大量的交互。传统RL的关键是通过大量在线探索试错来训练推荐引擎，但在推荐系统中，我们无法进行大量在线试错，糟糕的推荐结果会影响用户体验。因此，需要通过在不同推荐策略下收集的历史隐性反馈进行推荐引擎的离线训练。然而，历史数据不是由Agent本身产生的，而是来自不同甚至未知的行为策略。策略评估的期望估计很容易受到分布差异的影响，即所谓的离线训练挑战。

针对离线训练的场景，我们提出了一种新的学习范式，基于提示的强化学习(Prompt-Based Reinforcement Learning, PRL)。传统的RL算法试图将“状态-行为”输入对映射到预期的奖励，而PRL直接从“状态-奖励”输入中推断行为，如图1c所示。简而言之，通过简单的监督学习，根据先前的交互和观察到的奖励价值训练Agent来预测推荐的物品。在部署时，历史（训练）数据充当知识库，“状态-奖励”对充当提示。因而Agent将用来解决问题：在给定的先前交互与提示的价值奖励条件下，应该推荐哪种物品？我们在四种推荐模型上实例化PRL，并在两个电子商务数据集上进行实验，实验结果表明了我们方法的有效性。

我们工作的贡献总结如下：

● 对于基于强化学习的Next item推荐系统的离线训练，我们提出了PRL。我们建议使用“状态-奖励”对作为提示，通过查询历史隐式反馈数据知识库来推断行为。

● 我们提出使用一个有监督的自注意力模块来学习和存储“状态-奖励”对的输入和行为的输出之间的信号。

● 我们在四种推荐模型上实例化PRL，并在两个真实世界的电子商务数据集上进行了实验。实验结果表明，推荐性能有了普遍的提高。

基于提示的强化学习（Prompt-Based Reinforcement Learning）

在本节中，我们将详细介绍使用PRL的Next item推荐的训练和推理过程。

在训练阶段，使用生成序列模型将用户之前的交互编码为隐藏状态，将历史数据组织在{state, cumulative reward}–>{observed action}（{状态，累积奖励}–>{行为}）模板中，然后使用监督自注意力模块来学习和存储这些信号。PRL训练过程包括三个部分：提示生成、提示编码和有监督的注意力学习，如图2所示。

（图2 PRL的训练框架）

提示生成旨在将离线训练数据制定为知识模板，即在先前user-item交互序列为

x1:t

的条件下，如果我们想要获得累积奖励

Rt

，则应该采取行动

xt+1

。提示编码旨在利用深度神经网络将生成的提示映射成为hidden state表示。监督自注意力学习模块则用来学习和存储经过编码的prompt潜在表示和观察到的行为之间的映射信号。图3中的算法给出了PRL的prompt生成过程。

（图3 PRL的训练模版生成过程）

在推理阶段，给定当前状态，我们向模型提供我们想要获得的预期累积奖励，模型可以通过查询历史知识库直接推断行为。在训练过程中，累积奖励可以从离线数据中计算出来，而对于模型推理，我们需要提供推理奖励（prompt reward），以便Agent可以根据奖励来调整行为，实现探索。

实验

我们用四种基于深度学习的序列推荐模型来实例化PRL，在两个电商数据集，Challenge15 和RetailRocket4，进行了实验。实验旨在回答以下三个研究问题，以验证PRL学习范式的有效性：

● 当在不同的序列推荐模型上实例化时，PRL的表现如何？

● 包括自注意力模块和加权损失函数在内，监督注意力学习的效果是什么?

● 在推理阶段，prompt reward设置如何影响PRL的表现？

针对问题一，我们通过与基线模型进行比较，在两个数据集上实验结果如表1和表2所示。无论在Challenge15数据集还是在RetailRocket4数据集上，PRL在几乎所有情况下都取得了最好的性能，证明了PRL持续且显著地提高了基于RL的推荐任务的离线学习性能，并可应用于各种序列推荐模型。

（表1 PRL和其他模型在Challenge15数据集Top-10推荐性能比较）

（表2 PRL和其他模型在RetailRocket4数据集Top-10推荐性能比较）

对于问题二，我们针对不同方面进行了消融实验。针对自注意力模块效果的研究，我们用平均池化(即PRL-mean)或多层感知器(MLP)(即PRL-MLP)替换自注意块进行实验，结果如表3所示，使用自注意模块的PRL取得了显著的改善性能。

（表3 自注意力模块的效果）

针对重新加权模式（re-weighting）的效果研究，我们与没有任何重新加权(即PRL-w/o)的PRL的结果和通过累积奖励(即PRL-cumu)重新加权的PRL的结果进行对比，结果如表4所示，证明了PRL的re-weighting成功地帮助模型推荐更多有更高的prompt reward的购买产品。

（表4 加权损失的影响）

针对问题三，我们进行实验，通过研究推理奖励期望μ与推理奖励偏差ϵ的影响，以了解推理奖励设置如何影响模型的性能。结果分别如图4和图5所示：

（图4 推理奖励期望μ的效果）

（图5 推理奖励偏差ϵ的效果）

总结

我们提出了prompt-based强化学习的方法，用于基于强化学习的Next item推荐引擎的离线训练。从理论上分析了利用 RL 进行推荐时的离线训练挑战，我们建议将历史离线数据作为知识库，将推荐任务制定为问题：如果在状态观察下期望获得prompt reward，应该采取什么行动。我们使用四个序列推荐模型实例化了PRL，并在两个真实世界的数据集上进行实验，证明了所提方法的有效性。