题目: M2GRL: A Multi-task Multi-view Graph Representation Learning Framework for Web-scale Recommender Systems

摘要: 将图表示学习与多视图数据(边信息)相结合进行推荐是当前行业的发展趋势。现有的方法大多可归纳为多视图表示融合;它们首先构建一个图,然后将多视图数据集成到图中每个节点的一个紧凑表示中。然而,这些方法在工程和算法方面都引起了关注:1)工业中的多视图数据丰富且信息量大,可能超过单个矢量的能力;2)由于多视图数据往往来自不同的分布,可能会引入归纳偏差。在本文中,我们使用多视图表示对齐方法来解决这个问题。特别地,我们提出了一个多任务多视图图表示学习框架(M2GRL),用于从多视图图中学习节点表示。M2GRL为每个单视图数据构造一个图,从多个图中学习多个独立的表达式,并执行与模型跨视图关系的对齐。M2GRL选择了多任务学习范式来联合学习视图内表示和跨视图关系。M2GRL运用同方差不确定性自适应调整训练过程中任务的减重。我们在淘宝上部署了M2GRL,并对它进行了570亿例的培训。根据离线度量和在线A/B测试,M2GRL显著优于其他最先进的算法。在淘宝上对多样性推荐的进一步探索表明,利用M2GRL产生的多重表示是有效的,我们认为这是一个很有前途的方向,为各种不同重点的行业推荐任务。

成为VIP会员查看完整内容
0
18

相关内容

推荐系统,是指根据用户的习惯、偏好或兴趣,从不断到来的大规模信息中识别满足用户兴趣的信息的过程。推荐推荐任务中的信息往往称为物品(Item)。根据具体应用背景的不同,这些物品可以是新闻、电影、音乐、广告、商品等各种对象。推荐系统利用电子商务网站向客户提供商品信息和建议,帮助用户决定应该购买什么产品,模拟销售人员帮助客户完成购买过程。个性化推荐是根据用户的兴趣特点和购买行为,向用户推荐用户感兴趣的信息和商品。随着电子商务规模的不断扩大,商品个数和种类快速增长,顾客需要花费大量的时间才能找到自己想买的商品。这种浏览大量无关的信息和产品过程无疑会使淹没在信息过载问题中的消费者不断流失。为了解决这些问题,个性化推荐系统应运而生。个性化推荐系统是建立在海量数据挖掘基础上的一种高级商务智能平台,以帮助电子商务网站为其顾客购物提供完全个性化的决策支持和信息服务。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

题目: Multi-view Knowledge Graph Embedding for Entity Alignment

摘要: 我们研究了知识图谱之间基于嵌入的实体对齐问题。之前的研究主要集中在实体的关系结构上。有些还进一步合并了另一种类型的特性,比如属性,以进行细化。然而,大量的实体特征尚未被探索或没有被平等地放在一起处理,这损害了基于嵌入的实体对齐的准确性和鲁棒性。在本文中,我们提出了一个新的框架,统一实体的多个视图来学习嵌入来实现实体对齐。具体来说,我们根据实体名称、关系和属性的视图嵌入实体,并使用几种组合策略。此外,我们设计了一些跨KG推理方法来增强两个KG之间的对齐。我们在真实数据集上的实验表明,所提出的框架显著优于目前最先进的基于嵌入的实体对齐方法。所选择的视图、跨KG推理和组合策略都有助于性能的提高。

成为VIP会员查看完整内容
0
27

主题: TIMME-Twitter Ideology-detection via Multi-task Multi-relational Embedding

摘要: 跨平台帐户匹配在社交网络分析中起着重要作用,并且有利于广泛的应用。但是,现有方法要么严重依赖高质量的用户生成内容(包括用户配置文件),要么遭受数据不足的问题为了解决这一问题,我们提出了一种新颖的框架,该框架同时考虑了本地网络结构和超图结构上的多级图卷积。所提出的方法克服了现有工作的数据不足的问题,并且不必依赖于用户人口统计信息。此外,为了使所提出的方法能够处理大规模社交网络,我们提出了一种两阶段空间调节机制,以在基于网络分区的并行训练和不同社交网络上的帐户匹配中对齐嵌入空间。在两个大型的现实生活社交网络上进行了广泛的实验。实验结果表明,所提出的方法在很大程度上优于最新模型。

成为VIP会员查看完整内容
0
12

Combining graph representation learning with multi-view data (side information) for recommendation is a trend in industry. Most existing methods can be categorized as \emph{multi-view representation fusion}; they first build one graph and then integrate multi-view data into a single compact representation for each node in the graph. However, these methods are raising concerns in both engineering and algorithm aspects: 1) multi-view data are abundant and informative in industry and may exceed the capacity of one single vector, and 2) inductive bias may be introduced as multi-view data are often from different distributions. In this paper, we use a \emph{multi-view representation alignment} approach to address this issue. Particularly, we propose a multi-task multi-view graph representation learning framework (M2GRL) to learn node representations from multi-view graphs for web-scale recommender systems. M2GRL constructs one graph for each single-view data, learns multiple separate representations from multiple graphs, and performs alignment to model cross-view relations. M2GRL chooses a multi-task learning paradigm to learn intra-view representations and cross-view relations jointly. Besides, M2GRL applies homoscedastic uncertainty to adaptively tune the loss weights of tasks during training. We deploy M2GRL at Taobao and train it on 57 billion examples. According to offline metrics and online A/B tests, M2GRL significantly outperforms other state-of-the-art algorithms. Further exploration on diversity recommendation in Taobao shows the effectiveness of utilizing multiple representations produced by \method{}, which we argue is a promising direction for various industrial recommendation tasks of different focus.

0
7
下载
预览

将图表示学习与多视图数据(边信息)相结合进行推荐是行业发展的趋势。现有的方法大多可以归类为多视图表示融合;他们首先构建一个图,然后将多视图数据集成到图中每个节点的一个紧凑表示中。然而,这些方法在工程和算法方面都引起了关注:1)多视图数据在工业中是丰富的,信息量大,可能超过单个向量的容量,2)由于多视图数据往往来自不同的分布,可能会引入归纳偏差。在本文中,我们使用一种多视图表示对齐方法来解决这个问题。特别地,我们提出了一个多任务多视图图表示学习框架(M2GRL)来学习网络规模推荐系统的多视图图的节点表示。M2GRL为每个单视图数据构造一个图,从多个图中学习多个单独的表示,并对跨视图关系进行对齐。M2GRL选择多任务学习范式,共同学习视图内表示和跨视图关系。此外,M2GRL利用同方差不确定性自适应调整训练任务的权重损失。我们在淘宝上部署了M2GRL,并在570亿个例子上训练它。根据离线指标和在线A/B测试,M2GRL的性能显著优于其他最先进的算法。淘宝多样性推荐的进一步探索表明了利用所产生的多种表示的有效性,我们认为这对于不同焦点的行业推荐任务是一个很有前景的方向。

成为VIP会员查看完整内容
0
24

随着网络新闻的爆炸式增长,个性化的新闻推荐对于网络新闻平台帮助用户发现感兴趣的信息变得越来越重要。现有的新闻推荐方法通过从新闻内容和用户与新闻的直接交互(如点击)中构建精确的新闻表示和用户表示来实现个性化,而忽略了用户与新闻之间的高阶关联。**本文提出了一种新闻推荐方法,通过对用户和新闻之间的关系进行图形化建模,增强用户和新闻之间的表示学习。**在我们的方法中,用户和新闻都被看作是历史用户点击行为构造的二部图中的节点。对于新闻表示,首先利用transformer架构构建新闻语义表示。然后通过一个图注意力网络将其与图中相邻新闻信息相结合。对于用户表示,我们不仅表示来自其历史上单击的新闻的用户,而且还仔细地将其邻居用户的表示合并到图中。在大型真实数据集上的改进性能验证了我们所提方法的有效性。

成为VIP会员查看完整内容
0
40

With the explosion of online news, personalized news recommendation becomes increasingly important for online news platforms to help their users find interesting information. Existing news recommendation methods achieve personalization by building accurate news representations from news content and user representations from their direct interactions with news (e.g., click), while ignoring the high-order relatedness between users and news. Here we propose a news recommendation method which can enhance the representation learning of users and news by modeling their relatedness in a graph setting. In our method, users and news are both viewed as nodes in a bipartite graph constructed from historical user click behaviors. For news representations, a transformer architecture is first exploited to build news semantic representations. Then we combine it with the information from neighbor news in the graph via a graph attention network. For user representations, we not only represent users from their historically clicked news, but also attentively incorporate the representations of their neighbor users in the graph. Improved performances on a large-scale real-world dataset validate the effectiveness of our proposed method.

0
18
下载
预览

题目: Representation Learning on Graphs: Methods and Applications

摘要:

图机器学习是一项重要且普遍存在的任务,其应用范围从药物设计到社交网络中的友情推荐。这个领域的主要挑战是找到一种表示或编码图形结构的方法,以便机器学习模型能够轻松地利用它。传统上,机器学习方法依赖于用户定义的启发法来提取对图的结构信息进行编码的特征(例如,度统计或内核函数)。然而,近年来,使用基于深度学习和非线性降维的技术,自动学习将图结构编码为低维嵌入的方法激增。在这里,我们提供了一个概念上的回顾,在这一领域的关键进展,图表示学习,包括基于矩阵分解的方法,随机漫步的算法和图神经网络。我们回顾了嵌入单个节点的方法以及嵌入整个(子)图的方法。在此过程中,我们开发了一个统一的框架来描述这些最近的方法,并强调了一些重要的应用程序和未来工作的方向。

作者简介:

William L. Hamilton是麦吉尔大学计算机科学的助理教授,也是加拿大魁北克Mila AI研究所的CIFAR AI主席。William L. Hamilton开发的机器学习模型可以对这个复杂的、相互联系的世界进行推理。研究兴趣集中在机器学习、网络科学和自然语言处理的交叉领域,目前的重点是快速发展的图表示学习和图神经网络。

Rex Ying是斯坦福大学计算机科学二年级的博士生,研究主要集中在开发应用于图形结构数据的机器学习算法。曾致力于开发可扩展到网络规模数据集的广义图卷积网络,应用于推荐系统、异常检测和生物学。

成为VIP会员查看完整内容
0
98

论文题目: A Structural Graph Representation Learning Framework

论文摘要: 许多基于图的机器学习任务的成功在很大程度上取决于从图数据中学习到的适当表示。大多数工作都集中在于学习保留邻近性的节点嵌入,而不是保留节点之间结构相似性的基于结构的嵌入。这些方法无法捕获对基于结构的应用程序(如web日志中的visitor stitching)至关重要的高阶结构依赖和连接模式。在这项工作中,我们阐述了高阶网络表示学习,并提出了一个称为HONE的通用框架,用于通过节点邻域中的子图模式(network motifs, graphlet orbits/positions)从网络中学习这种结构性节点嵌入。HONE引入了一种通用的diffusion机制和一种节省空间的方法,该方法避免了使用k-step线性算子来显式构造k-step motif-based矩阵。此外,HONE被证明是快速和有效的,最坏情况下的时间复杂度几乎是线性的。实验结果表明,该算法能有效地处理大量的网络日志数据,包括链接预测和visitor stitching。

作者简介:

Ryan A. Rossi,目前在Adobe Research工作,研究领域是机器学习;涉及社会和物理现象中的大型复杂关系(网络/图形)数据的理论、算法和应用。在普渡大学获得了计算机科学博士和硕士学位。

Nesreen K. Ahmed,英特尔实验室的高级研究员。我在普渡大学计算机科学系获得博士学位,在普渡大学获得统计学和计算机科学硕士学位。研究方向是机器学习和数据挖掘,涵盖了大规模图挖掘、统计机器学习的理论和算法,以及它们在社会和信息网络中的应用。

成为VIP会员查看完整内容
0
56

Collaborative filtering often suffers from sparsity and cold start problems in real recommendation scenarios, therefore, researchers and engineers usually use side information to address the issues and improve the performance of recommender systems. In this paper, we consider knowledge graphs as the source of side information. We propose MKR, a Multi-task feature learning approach for Knowledge graph enhanced Recommendation. MKR is a deep end-to-end framework that utilizes knowledge graph embedding task to assist recommendation task. The two tasks are associated by cross&compress units, which automatically share latent features and learn high-order interactions between items in recommender systems and entities in the knowledge graph. We prove that cross&compress units have sufficient capability of polynomial approximation, and show that MKR is a generalized framework over several representative methods of recommender systems and multi-task learning. Through extensive experiments on real-world datasets, we demonstrate that MKR achieves substantial gains in movie, book, music, and news recommendation, over state-of-the-art baselines. MKR is also shown to be able to maintain a decent performance even if user-item interactions are sparse.

0
12
下载
预览
小贴士
相关VIP内容
专知会员服务
39+阅读 · 2020年6月11日
专知会员服务
51+阅读 · 2020年2月10日
相关论文
Menghan Wang,Yujie Lin,Guli Lin,Keping Yang,Xiao-ming Wu
7+阅读 · 2020年6月1日
Suyu Ge,Chuhan Wu,Fangzhao Wu,Tao Qi,Yongfeng Huang
18+阅读 · 2020年3月31日
Xiang Li,Chao Wang,Jiwei Tan,Xiaoyi Zeng,Dan Ou,Bo Zheng
20+阅读 · 2020年3月7日
Aravind Sankar,Yanhong Wu,Liang Gou,Wei Zhang,Hao Yang
39+阅读 · 2019年6月15日
Wenqi Fan,Yao Ma,Qing Li,Yuan He,Eric Zhao,Jiliang Tang,Dawei Yin
6+阅读 · 2019年2月19日
Hongwei Wang,Fuzheng Zhang,Miao Zhao,Wenjie Li,Xing Xie,Minyi Guo
12+阅读 · 2019年1月23日
Stefan Constantin,Jan Niehues,Alex Waibel
3+阅读 · 2018年12月17日
Yongfeng Zhang,Qingyao Ai,Xu Chen,Pengfei Wang
21+阅读 · 2018年3月22日
Alberto Garcia-Duran,Roberto Gonzalez,Daniel Onoro-Rubio,Mathias Niepert,Hui Li
8+阅读 · 2018年1月30日
Bryan Perozzi,Rami Al-Rfou,Steven Skiena
7+阅读 · 2014年6月27日
Top