会员服务 ·

ACL20 | 基于无监督用户偏好解耦的新闻推荐系统

2020 年 8 月 10 日 专知

作者：北邮 GAMMA Lab 硕士生许斯泳

题目： 基于无监督用户偏好解耦的新闻推荐系统

会议： ACL 2020

论文代码：

https://github.com/siyongxu/GUND

随着新闻信息的爆炸式增长，个性化的新闻推荐对于用户快速找到其感兴趣的内容已变得非常重要。大多数现有方法通常从新闻内容中学习用户和新闻的特征表示来进行推荐。但是，他们很少考虑用户新闻交互背后的高阶连接。此外，现有方法无法对导致用户点击新闻的潜在偏好因素进行解耦。在本文中，我们将用户与新闻的交互建模为二部图，并提出了一种新的具有无监督偏好解耦的图神经新闻推荐模型（Graph Neural News Recommendation model with Unsupervised Preference Disentanglement），即GNUD。通过图上的信息传播，我们的模型可以将高阶关系编码到用户和新闻表示中。此外，通过邻域路由算法将学到的表示解耦成与潜在偏好因素相关，这可以增强表达能力和可解释性。另外，设计一个偏好正则器使得每个解耦的潜在子空间能够独立地反映某一个偏好，从而提高解耦表示的质量。最后在真实世界的新闻数据集上的实验结果表明，我们提出的模型可以有效地提高新闻推荐的性能，并优于最新的新闻推荐方法。

1 引言

新闻推荐的核心问题是学习更好的用户和新闻表示，利用新闻丰富的文本信息，基于候选新闻与用户浏览过的新闻，精心设计一个news encoder 和user encoder。然而，已有deep learning-based方法通常只关注新闻内容，很少考虑到用户-新闻交互中潜在的高阶关系带来的协同信号。捕获用户和新闻之间的高阶连接可以进一步利用结构特征来减轻稀疏性，从而提高推荐性能。

如图1所示， - - 反映了和的行为相似性，而 - - 又反映了和很可能有相似的目标用户。另外，用户通常是基于不同潜在偏好点击不同的新闻，用户-新闻交互的背后包含了复杂的潜在偏好因素，又如图1所示，用户由于对娱乐新闻的偏好而点击新闻，又因为对政治新闻的关注而点击新闻。因此，学习基于偏好因素解耦的用户与新闻表示可以增强新闻推荐的有效性和解释性。

图1：左图展示用户-新闻交互图，右图展示了交互图中的高阶联系，以及按潜在偏好因素解耦的用户与新闻表示

2 方法

给定用户与新闻的历史交互{(u,d)}，预测一个用户是否会点击一个她未曾看过的候选新闻。一个新闻文章，本文考虑其标题和概要 (包括实体和相应的实体类型 )作为特征。

图2：模型整体框架图（模型在聚合高阶结构信息时，将表示空间解离到K个偏好相关的潜在子空间（不同颜色代表不同子空间），得到解耦表示之后再做预测，不同空间通过正则器增强独立性。）

新闻内容信息提取

本文利用两个并行卷积神经网络(PCNN)作为新闻内容信息特征提取网络，定义标题的表示 , 实体集的表示，实体类型表示， , 和分别是词 , 实体 , 实体类型的表示。进一步定义概要层次初始表示，学习标题层次表示和概要层次表示，拼接经过MLP层最终得到一个新闻的特征表示。

对于只包含id信息用户，则对其随机初始化得到用户初始特征表示

\mathbf{h}_u

。由于这两种表示来自不同的语义空间，利用两个类型矩阵将与映射到同一空间中。

GNUD

论文的核心是在于如何构建解耦的用户和新闻表示。首先，为了捕获用户与新闻的高阶关系，将用户与新闻的交互构造成二部图。然后利用GCN来聚集邻居信息得到用户u的表示，同理新闻d的表示。假设有K种偏好因素，我们希望 (或 )可以由K个部分组成，每个部分与第k种偏好因素相关联。

在单个卷积层中，给定节点u以及其邻居节点d，用K个子空间相关的映射矩阵统一将其特征投影到K个子空间中：

\textbf{s}_{i,k} = \frac{{\rm ReLU}(\textbf{W}_k^\top\textbf{h}_{i}+\textbf{b}_{k})}{\parallel {\rm ReLU}(\textbf{W}_k^\top\textbf{h}_{i}+\textbf{b}_{k})\parallel_2}

然而当前的并不等同于最终表示的第k部分，因为还没有聚集任何邻居信息，而只有邻居节点信息才能帮助它们发现这种偏好因素。

现以用户u为中心节点为例来说明，对新闻而言同理。为了构建，应当挖掘同邻居节点特征的信息。值得注意的是，刻画了节点u的第k方面信息，聚集邻居新闻时不应该利用所有邻居信息，而应该尽可能选择用户u由于第k方面的偏好因素点击的那些邻居。这里，作者利用一种邻居路由机制来实现：

假设为用户u由于因素k点击新闻d的概率，同时也是利用新闻d去构建的概率。它是隐变量，可以从迭代过程中进行推断。
若已知，可以通过衡量用户u和新闻d在第k个方面的相似性来计算(初始设 )：

$r^{(t)}_{d,k}= \frac{\exp({\textbf{z}_{u,k}}^{(t)\top}\textbf{s}_{d,k})}{\sum^K_{k^{'}=1}\exp({\textbf{z}_{u,k}}^{(t)\top}\textbf{s}_{d,k})}$

当得到隐变量，就可以通过聚合用户u点击过的新闻信息来估计：

$\textbf{z}^{(t+1)}_{u,k} = \frac{\textbf{s}_{u,k}+\sum_{d:(u,d)\in \mathcal{G}} r^{(t)}_{d,k}\textbf{s}_{d,k}}{\parallel\textbf{s}_{u,k}+\sum_{d:(u,d)\in \mathcal{G}} r^{(t)}_{d,k}\textbf{s}_{d,k}\parallel_2}$

经过T轮迭代，输出即用户u在第k个潜在子空间的最终表示，从而获得。最后通过L个卷积层堆叠，则获得。

现在希望解耦的每一个子空间能够更加独立地关联相应的潜在偏好因素。由于训练数据中并没有显式的关于用户偏好的标签，因此文章设计一种偏好正则器，来最大化偏好因素与解耦表示的互信息。互信息最大化可以转换为以下形式。给定用户的第个潜在子空间的表示，偏好正则器用于估计属于第个子空间（即第个偏好）的概率：

P(k|\textbf{z}_{u,k}) = \text{softmax}(\mathbf{W}_p\cdot\textbf{z}_{u,k}+\mathbf{b}_p)

模型训练

最后，对用户与新闻的表示分别再增加一层全连接层，通过点积形式计算候选新闻的点击概率。

点击预测的loss函数为：

\mathcal{L}_{1}= -[y_{u,d}\ln(\hat{y}_{u,d})+(1-y_{u,d})\ln(1-\hat{y}_{u,d})]

偏好正则器项的loss函数为：

\mathcal{L}_{2}=-\frac{1}{K}\sum_{k=1}^{K}\sum_{i\in\{u,d\}}\ln{P(k|\textbf{z}_{i,k})}

总的训练loss可以写成：

\mathcal{L}=\sum_{(u,d)\in\mathcal{T}_{\text{train}}}((1-\lambda)\mathcal{L}_{1}+ \lambda\mathcal{L}_{2})+ \eta\|\Theta\|

3 实验

文章在Adressa数据集上做实验评估模型结果，该数据集包含一周的和十周的两个子数据集。对于一周的数据集，文章利用前五天的历史数据构图，第六天的数据用于构建训练样本{(u,d)}，最后一天的数据，20%用于验证，80%用于测试。对于10周的数据集按同样方式划分。下面是在测试集上的主要结果：

表1：不同新闻推荐方法的效果对比（后三行是GNUD模型的变体对比，包括去掉解耦与去掉偏好正则器两种）

表2：不同层数的GNUD结果对比

图3：可视化用户点击的新闻，这些新闻属于不同的解耦空间（不同的偏好因素）。我们使用六个关键词来展示新闻内容

如图3所示，不同的子空间反映了不同的偏好因素。例如，一个子空间（蓝色）与“能源”相关，因为头两个新闻包含诸如“石油工业”，“氢”和“风能”之类的关键字。另一个子空间（绿色）可能指向有关“健康饮食”的潜在偏好因素，因为相关新闻包含诸如“健康”，“维生素”和“蔬菜”之类的关键字。关于家庭的新闻在两个子空间中的概率都较低，因此它不属于这两个偏好因素。

本期责任编辑：杨成

本期编辑：刘佳玮

北邮 GAMMA Lab 公众号

主编：石川

责任编辑：王啸、杨成

编辑：刘佳玮

副编辑：郝燕如，纪厚业

长按下图并点击“识别图中二维码”

即可关注北邮 GAMMA Lab 公众号