多任务学习+知识图谱+推荐系统

大家好,今天给大家分享一篇关于多任务学习结合推荐系统和知识图谱的文章:《Multi-Task Feature Learning for Knowledge Graph Enhanced Recommendation》。它发表于2019年的WWW会议上。论文地址是https://arxiv.org/pdf/1901.08907.pdf。代码地址为github.com/hwwang55/MKR


摘要:

在真实的推荐场景中,协同过滤往往存在稀疏性和冷启动问题,因此,研究人员和工程师通常利用侧信息(side-information)来解决问题,提高推荐系统的性能。本文将知识图谱(KG)作为边信息的来源。提出了一种多任务特征学习方法MKR,用于知识图增强推荐。MKR是一个利用知识图嵌入任务来辅助推荐任务的深度端到端框架。这两个任务通过交叉压缩单元(cross&compress unit)相关联,该单元自动共享潜在特征,并学习知识图中推荐系统和实体之间的高阶交互。证明了交叉压缩单元具有足够的多项式逼近能力,证明了MKR是多种典型推荐系统和多任务学习方法的广义框架。通过对真实世界数据集的大量实验,我们证明了MKR在电影、书籍、音乐和新闻推荐方面取得了超越最新基线的实质性进展。即使用户-项目交互很少,MKR也能够保持良好的性能。

正文:

为了解决以往工作的局限性,我们提出了一种用于知识图增强推荐的多任务学习(MTL)方法MKR。MKR是一个通用的端到端深度推荐框架,旨在利用KGE任务来辅助推荐任务。注意,这两个任务不是相互独立的,而是高度相关的,因为RS中的一个项目可能与KG中的一个或多个实体相关联。

因此,一个项目及其对应的实体可能在RS和KG中具有相似的邻近结构,在低层和非任务特定的潜在特征空间中具有相似的特征。我们将在实验部分进一步验证相似性。为了对项和实体之间的共享特性建模,我们在MKR中设计了一个交叉压缩单元。交叉压缩单元显式地对项目和实体特性之间的高阶交互进行建模,并自动控制这两个任务的交叉知识传输。通过交叉压缩单元,项目和实体的表示可以互相补充,帮助避免拟合噪声和提高泛化能力。通过交替优化两个不同频率的任务,可以对整个框架进行训练,使得MKR在真实的推荐场景中具有很高的灵活性和适应性。

我们探讨了MKR的表达能力,并通过理论分析表明,交叉压缩单元能够近似地表示项目和实体之间的高阶特征交互。我们也证明了MKR是一个广义的框架,它涵盖了几种典型的推荐系统和多任务学习方法,包括factorization machines ,deep&cross network以及deep cross-stitch network。根据经验,我们在四个推荐场景中评估我们的方法,即电影、书籍、音乐和新闻推荐。结果表明,MKR在点击率(CTR)预测(例如,电影的平均AUC提高了11.6%)和top-K推荐(例如,书籍的平均recall10提高了66.4%)两方面都比最先进的基线有了显著的提高。MKR还可以在稀疏场景中保持良好的性能。

主要贡献:

本文研究的问题也可以建模为跨域推荐或迁移学习,因为我们更关心推荐任务的性能。、

虽然跨域推荐和转移学习对目标域有单一的目标,但它们的损失函数仍然包含测量源域内数据分布或两个域之间相似性的约束条件。在我们提出的MKR中,KGE任务明确地作为约束条件,为推荐系统提供正则化。

本文的主要贡献为通过多任务学习的方式对推荐问题进行建模: 相比于跨域(cross domain)和迁移学习(transfer learning),我们发现任务间的相似性不仅有助于提升推荐系统的效果,而且有助于增强图知识的向量表征特性。本文的理论分析和实验结果给出证明。

模型结构:

1 Cross&Compress Unit

用户向量u和物品向量v用one-hot来表示,u连接多层MLP提取特征,v通过Cross&Compress unit来提取特征。然后接入inner product内积或者H-layer MLP全连接来预测推荐的概率(0-1之间)。

2 Knowledge Graph Embedding Module

head边和item一样,用Cross&Compress unit提取特征。relation和User侧一样用全连接。之后合并,再接全连接,与真实的tail向量合并,求最小向量差。

3 损失函数:

总损失=推荐的损失+图谱的损失+正则化损失。

其中图谱的损失采用正负差值的方法,是图谱中三元组的得分要大于非图谱中三元组的分数。


数据集:

采用四组数据集。

实验结果:

结论:

提出了一种用于知识图增强推荐的多任务学习方法MKR。MKR是一个深入的端到端的框架,它由两部分组成:推荐模块和KGE模块。两个模块都采用多重非线性层来从输入中提取潜在特征,并适应用户-项目和头-关系对的复杂交互。由于这两个任务不是相互独立的,而是由项目和实体连接起来的,因此我们在MKR中设计了一个ross&compress单元,将这两个任务关联起来,自动学习项目和实体特征的高阶交互,并在两个任务之间传递知识。我们在四个推荐场景中进行了大量的实验。结果表明,与强基线相比,MKR有显著的优越性,KG的使用也有显著的效果。

发布于 2020-02-26 15:00