清华张敏教授: 个性化推荐的可解释性、鲁棒性和公平性( 附报告下载)

2019 年 2 月 24 日 专知
清华张敏教授: 个性化推荐的可解释性、鲁棒性和公平性( 附报告下载)

授权转载于公众号: 数据派THU datapi 

[导读]本文是清华大学张敏教授在Byte Tech 2019 机器智能前沿论坛上的分享实录。在报告中,张老师分享了关于构建可信推荐系统进展,包括可解释性、鲁棒性和公平性。

张敏老师主页:

http://www.thuir.org/group/~mzhang/


大家好,今天和大家分享一下个性化推荐研究进展。主要探讨三个关键词:可解释性、鲁棒性和公平性。我们大概2013年左右就开始做可解释的推荐,此后也开始逐渐研究鲁棒性和公平性。为什么这三个词很重要呢?


图说:可解释性、鲁棒性和公平性是人工智能目前面对的三个重要挑战。


可能大家对人工智能的发展非常耳熟能详。的确,在这次人工智能热潮开始之后,人们认为人工智能越来越强大。但对很多从事人工智能研究的学者来说,现在更多想的是人工智能在哪些地方遇到了最大的瓶颈。目前大家基本达成了共识:当前人工智能领域的两个核心的挑战是可解释性和鲁棒性。


除了可解释性和鲁棒性之外,从两三年前开始,国外的研究越来越关注第三个问题:公平性。我们在研究过程中发现,可解释性、鲁棒性和公平性这三点并不是完全割裂的。所以今天的报告既会分别讨论这三点,但也试图呈现它们之间的关联。因为这三个话题很大,所以我们用一个具体的领域来讨论,也就是我们课题组这些年一直在研究的个性化推荐。

    

首先是可解释性。什么叫可解释性?其实很简单。我们除了知道怎么做一件事,怎么完成一个任务之外,还想知道“为什么”。这个“为什么”其实有两个不同角度。首先从用户的角度来说,我们不仅希望给用户看到推荐的结果,例如在线购物网站呈现的推荐商品,还能告诉用户为什么推荐这个商品。另一个例子是新闻推荐。为什么系统从今天的几百条新闻中给用户推了这些内容。我们需要理由,并且要把这个理由解释给用户。这就是结果的可解释性。第二个方面是系统角度的可解释性,也就是系统开发人员需要的解释。在我们实验室的研究过程中,有时候学生对我说这个结果很好或很不好,他们可能很怕我问一个问题:为什么结果会这样?为什么我们方法的效果比别人的好?如果不好,问题出在哪里?特别的,到底是哪些因素/特征/数据带来了问题,有没有可能改进?这是关于系统的可解释性。在现在的人工智能(特别是深度学习)研究中,大家对解释性机器学习探讨得比较多。很多人说深度学习的缺点是不知道结果是怎么给出来的,就是指缺少系统的可解释性


我们现在先讨论一下面向用户的可解释性。之后在讨论鲁棒性问题时会提到系统的可解释性。


目前推荐系统已经有了非常广泛的应用。大家一定用过推荐系统,无论是新闻阅读信息流还是在线购物等。现在推荐系统给出的理由非常简单,最常见的理由之一是买了某件商品的用户也买了其他什么东西,然后说“你可能也感兴趣…”。事实上,现在推荐系统没有给出更有说服力的推荐理由的原因,并不是不想给,而是给不出来。为什么呢?我们从推荐算法说起。这里我简单介绍一下基本概念,尽量让没有推荐系统背景的朋友也能理解。


推荐系统简明原理


在推荐系统技术中,协同过滤是一个很常用也很有效的办法。在协同过滤技术中,我们经常会看到类似下图所示的矩阵。这个矩阵中记录了某个用户是否买了什么商品,这时系统根据买了同一个商品的人,还买过什么其他商品,来产生推荐的商品候选。但系统并不是直接查矩阵就把结果推出来了。人们会把这个矩阵分解成两部分:一部分是用户,另一部分是商品。这两个部分的隐变量会共享相同的维度,对接用户和商品,把它们映射到同一个空间上。这就是常用的隐变量分解机模型。事实上,给你推荐这个商品的真正理由可能是,在你的第三个、第十个、第十二个维度代表的向量上,你的喜好和被推荐商品的这三个维度代表的向量非常匹配。但如果系统告诉用户说,“我把这个商品推荐给你,是因为你在第十二维上的特征和商品的第十二维很匹配”,用户可能会觉得莫名其妙。


图说:分解机模型可以用来协助基于协同过滤方法的推荐系统的实现。


所以我们想知道,到底有没有一种方法,既可以给出精准的推荐,同时还能给出可靠的解释。于是人们开始在这个方向做一些尝试。我们在2014年左右提出了Explainable Recommendation这个概念(如下图)。后来也有不少人在这个方向做了相关研究,我们提出的EFM模型也成为了大家做可解释推荐时经常用来比较的baseline方法。当时的思路就是,虽然中间的隐变量是不可解释的,但如果找到中间桥梁——这个桥梁就是具体的特征,比如商品的特性——那么推荐的结果就能被解释。例如,系统在推荐一个手机的时候,会解释说这款手机拍照性能好,外观漂亮。这样可能会比较适合一个时尚的女孩。如果系统发现其他用户感兴趣的是另外的特征,就能找到别的合适的手机来推荐,例如把一款屏幕大、字体大、操作简单、待机时间长的手机推荐给你,而你正在给父母买一款智能老人机,你就很可能会被说服。我们用了这种方法后,可以把用户点击率从3%到4%,这是非常大的提升。


人们可能会问:“也许我们不需要理由呢?”所以我们用在线购物网站真实的数据做了实验来分析这样的解释到底有没有效果。第一组实验直接给推荐结果,没有解释;第二组给同样的推荐结果,只是同时给出了“看过这个商品的这个用户还看了什么”的简单解释,这样就可以把点击率从3.20%到3.22%;第三,我们给了新的解释,提供了例如屏幕较大,待机时间较长这样更具体的信息,发现点击率又进一步提升到4.34%。所以真实的用户实验告诉我们,只要给出了合理的解释,推荐精准度会有非常大的提升 —— 有时候人做事情需要别人给我们一个理由。

    

图说:可解释的推荐算法EFM的原理解释


但是,上述方法也有问题。首先,并不是所有东西都很容易找出特征。比如对新闻来说,我们很难描述这个新闻带有什么样的属性,让我们可以做类似的处理。此外,因为人的语言表达很自由,所以自然语言处理表达有非常大的多样性。比如说有人可能在评论中说“这个东西也没有明显的缺点,但是感觉不太好用”。这种情况很难快速找出完整、精准的特征描述。所以我们认为也许可以尝试把粒度提升一点,不在那么细的粒度上做特征级别的可解释性。于是这就给了我们更多的思路。下图是亚马逊购上的评论。大家可能会发现其实除了用户对商品的评论和打分之外,其他用户还会对某个用户的评论打分:分数代表了其他用户觉得这个评论到底有没有用。如果我们对所有商品都找到这样的有用的评论信息,当用户浏览购买的时候,我们可以把最有用的评论呈现给用户,那么推荐系统影响的不单是购买的结果,还会帮助用户挑选商品时的早期和中间的选择决策过程。


图说:用户的评论也可以被其他用户评论。


因此,我们从这个角度做了一些工作。我们首先研究是否可以自动发现评论的有用性。因为互联网上有一个重要的原则叫“lazy user”,也就是不要指望用户主动做太多事情。所以愿意给出别人的评论是否有用的用户非常少,数据就很稀疏。那么我们系统能不能自己学习出来呢?其次我们在研究有用性的过程中有没有可能把它与最终的推荐算法结合在一起?而不是仅仅判断某些评论是否有用却没有让推荐系统利用到这一点。


所以我们设计了下图中的模型,这是一个基于注意力机制网络(Attention network)的深度学习模型。我们在这个模型中,试图在最终给出评论推荐的同时,通过中间注意力的机制的选择,挑出更有用更可靠的评论。这个工作我们发表在2018年的WWW会议上。模型的效果非常好,与经典的推荐算法以及基于深度学习的算法等state of art方法相比,我们的模型都会有统计意义上显著的提升。此外,模型是否考虑Attention,效果会有非常大的差异和变化。如下图所示。


图说:基于Neural Attention Network来给出评论级别的可解释的推荐算法。


图说:加入了基于attention 机制的可解释推荐方法,模型的性能得到显著提升。


怎么看这个模型对用户是否有效?我们对比了几种常见的方式。比如现在大多数购物网站主要有以下几种方式对评论排序:


  • 时间排序,最近的评论在前面;

  • 随机排序;

  • 排除垃圾评论后按照内容长度排序(因为一般认为越长的评论越有用)。


然而,基于时间和长度的排序往往效果比随机还要差,而我们提出的方法表现更好。这里有一点值得注意的是,事实上,我们这个拿来做标准答案的大规模用户标注的有效性数据,是有偏的(bias)。因为曾经被人评过有用的东西,会因为马太效应,更容易被其他人认为有用。而那些事实上有用,但却没有机会立刻呈现的评论会永远沉寂下去。而这个bias也是我们所说的“不公平性”的情况之一。所以我们做了第三方更客观的评价,发现这种bias的确存在,而通过算法分析找到的方法,比靠用户在系统中的投票,是更可靠更有效的方法。


在可解释性方面还有更多要讨论的问题,比如应该用产生式的方法还是判别式的方法,我们的观点是都可以。还有怎么评价这个解释的有效性呢?我们觉得一个可行的思路是要和用户的行为结合在一起。另外,推荐算法可能带来的偏差怎么处理?尤其是解释本身是否带来不公平性?这也是非常容易存在的一个问题,有可能变成哲学问题。


鲁棒性问题


第二个要讨论的问题,是鲁棒性。这个问题涉及到很多方面。在个性化推荐领域,鲁棒性问题的具体表现之一是很严重的数据缺失的挑战。我们都知道可以根据用户的历史做推荐,但如果一个新用户什么历史都没有,你要怎么做推荐呢?这称作冷启动(cold-start)问题。


在推荐系统中有一类方法基于协同过滤,还有一类方法是基于内容匹配,前者虽然一般来说效果更好但是无法处理冷启动情况,而后者即使冷启动时还能够工作。我们可以把他们融合起来,用历史数据学到给这两种方法分配的权值:例如0.8和0.2。冷启动的时候,协同过滤那部分是0,但还至少有0.2权重的基于内容(content-based)的方法能够使用。但很显然对不同用户、不同的商品,这种融合的权值应该是不一样的。所以我们提出一个思路(如下图):我们不要固定选好一个对所有人一样的权值,而是提出一个统一的框架(unified framework),自动用注意力网络学习出在不同的情况下不一样的权值。如果大家感兴趣的话,可以看一下我们发表在CIKM 2018上的论文:Attention-based Adaptive Model to Unify Warm and Cold Starts Recommendation。效果确实非常好,能非常有效地解决冷启动问题,并且对总体效果非常有帮助。


图说:统一的框架可以解决冷启动推荐问题。


更有趣的是,当学生把下图拿给我的时候,我觉得这可以算是个很漂亮的工作了,因为这项工作同时也体现了系统的可解释性。为什么刚才提到的模型结果很好呢?这是因为通过学习到的不同Attention,会发现左上角是新的item(例如新商品或新的消息),右下角是新的用户。对于信息充足的情况和信息严重不足的情况(新的商品+新的用户),这幅图都给了解释。所以你会发现,当我们解决鲁棒性的同时,对于系统级别的可解释性也有非常大的改善。


图说:提升推荐系统的鲁棒性同时也可能提升系统的可解释性。


公平性问题


最后我们用很短的时间再探讨一下公平性问题。公平性问题很值得注意。比如2018年的一个研究发现,在两个公开数据集MovieLens和LastFM上,对男性的推荐效果比对女性推荐效果好,对老人和18岁以下年轻人的推荐效果,比18岁到50岁之间的人群的推荐效果更好,这不是系统有意识地产生偏见,可能和数据量以及用户习惯有关,但是不公平性的确存在。另一方面对被推荐物及相关信息也存在不公平性,例如我们前面讨论过的对评论的不公平性,以及更多推荐流行的东西,也会带来对不热门的东西的不公平性。有时候对用户和对物品的公平性,是有冲突的。例如我们希望增加推荐的多样性,但是有研究表明,增加多样性的时候提升了对被推荐物的公平性,但是却降低了对用户的公平性。


图说:推荐系统对不同人群的效果不同,降低了对用户和对推荐物的公平性。


最后一分钟时间分享一下我们在用户行为的不公平性上发现的有趣现象。人们常在看新闻的信息流时经常说这个文章质量太差了,怎么给我推荐这些呢?事实上我们来看看点击率,会吃惊地发现:低质量的新闻总体点击率(下面左图中的蓝线)始终比高质量新闻点击率(图中的红线)高,甚至我们会发现有一些用户在点击之前其实是知道这条新闻的质量肯定不怎么样的,但人们还是有猎奇心理,“我知道它不太好可我就是要点”,点完以后发现这条新闻质量果然是不怎么样。但反过来,对推荐系统来说就感到很奇怪了——用户们你们明明喜欢点的呀,怎么还觉得不好呢。所以这种大量存在的点击的偏置也是不公平的,是对高质量新闻的不公平。



图说:低质量新闻的点击率始终比高质量新闻的点击率高。


怎么解决呢?从算法思路可以一定程度上来解决。我们的思路是不要光看点击,不能只拿点击率来做评价指标,而要看用户的满意度。这个满意度虽然没有被用户显式地给出来,但是可以从用户的行为找到蛛丝马迹来进行自动分析。相关的工作我们发表到了2018年的SIGIR上(文章和主要方法可见下图)。


图说:低质量新闻的点击率始终比高质量新闻的点击率高。


以上是我今天跟大家简短分享的内容,主要是希望大家关注到可解释性、鲁棒性、公平性这三个非常重要的因素,而且这三个因素并非独立存在,而是在相互作用的。如果我们希望有一个更好的人工智能系统,一定要在这三个方面做进一步的工作。真正智能化的人工智能技术依然前路漫漫,还有非常多的挑战和非常多的机会等待我们去发现和面对。


附录张老师相关《个性化推荐系统:可解释性、鲁棒性、公平性》PPT便捷下载:

 请关注专知公众号(点击上方蓝色专知关注

  • 后台回复“推荐进展” 就可以获取个性化推荐系统:可解释性、鲁棒性、公平性的报告PPT下载链接~ 


    

原文编辑:文婧

校对:洪舒越

重新编辑:专知


-END-

专 · 知

专知《深度学习:算法到实战》课程全部完成!480+位同学在学习,现在报名,限时优惠!网易云课堂人工智能畅销榜首位!

欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程视频资料和与专家交流咨询!

请加专知小助手微信(扫一扫如下二维码添加),加入专知人工智能主题群,咨询《深度学习:算法到实战》课程,咨询技术商务合作~

请PC登录www.zhuanzhi.ai或者点击阅读原文,注册登录专知,获取更多AI知识资料!

点击“阅读原文”,了解报名专知《深度学习:算法到实战》课程

登录查看更多
8

相关内容

广义上的可解释性指在我们需要了解或解决一件事情的时候,我们可以获得我们所需要的足够的可以理解的信息,也就是说一个人能够持续预测模型结果的程度。按照可解释性方法进行的过程进行划分的话,大概可以划分为三个大类: 在建模之前的可解释性方法,建立本身具备可解释性的模型,在建模之后使用可解释性方法对模型作出解释。

【导读】近来,知识图谱用于推荐系统是关注的焦点,能够提升推荐系统的准确性与可解释性。如何将知识图谱融入到推荐系统呢? 最近中科院计算所百度微软等学者最新综述论文《A Survey on Knowledge Graph-Based Recommender Systems》,阐述对基于知识图谱的推荐系统进行了系统的研究。

地址:https://www.zhuanzhi.ai/paper/90d0d696560bc88ea93f629b478a2128

为了解决各种在线应用中的信息爆炸问题,提高用户体验,推荐系统被提出来进行用户偏好建模。尽管人们已经做出了许多努力来实现更加个性化的推荐,但是推荐系统仍然面临着一些挑战,比如数据稀疏性和冷启动。近年来,以知识图谱作为边信息生成推荐引起了人们的极大兴趣。这种方法不仅可以缓解上述问题,提供更准确的推荐,而且可以对推荐的项目进行解释。本文对基于知识图谱的推荐系统进行了系统的研究。我们收集了这一领域最近发表的论文,并从两个角度进行了总结。一方面,我们通过研究论文如何利用知识图谱进行准确和可解释的推荐来研究所提出的算法。另一方面,我们介绍了这些工作中使用的数据集。最后,我们提出了几个可能的研究方向。

概述

随着互联网的快速发展,数据量呈指数级增长。由于信息量过大,用户在众多的选择中很难找到自己感兴趣的。为了提高用户体验,推荐系统已被应用于音乐推荐[1]、电影推荐[2]、网上购物[3]等场景。

推荐算法是推荐系统的核心要素,主要分为基于协同过滤(CF)的推荐系统、基于内容的推荐系统和混合推荐系统[4]。基于CF的推荐基于用户或交互数据项的相似度来建模用户偏好,而基于内容的推荐利用了物品项的内容特征。基于CF的推荐系统得到了广泛的应用,因为它可以有效地捕获用户的偏好,并且可以很容易地在多个场景中实现,而不需要在基于内容的推荐系统[5]、[6]中提取特征。然而,基于CF的推荐存在数据稀疏性和冷启动问题[6]。为了解决这些问题,提出了混合推荐系统来统一交互级相似度和内容级相似度。在这个过程中,我们探索了多种类型的边信息,如项目属性[7]、[8]、项目评论[9]、[10],以及用户的社交网络[11]、[12]。

近年来,将知识图谱(KG)作为边信息引入推荐系统引起了研究者的关注。KG是一个异构图,其中节点作为实体,边表示实体之间的关系。可以将项目及其属性映射到KG中,以了解项目[2]之间的相互关系。此外,还可以将用户和用户端信息集成到KG中,从而更准确地捕捉用户与物品之间的关系以及用户偏好。图1是一个基于KG的推荐示例,其中电影“Avatar”和“Blood Diamond”被推荐给Bob。此KG包含用户、电影、演员、导演和类型作为实体,而交互、归属、表演、导演和友谊是实体之间的关系。利用KG,电影与用户之间存在不同的潜关系,有助于提高推荐的精度。基于知识的推荐系统的另一个优点是推荐结果[14]的可解释性。在同一个示例中,根据user-item图中的关系序列可以知道向Bob推荐这两部电影的原因。例如,推荐《阿凡达》的一个原因是,《阿凡达》与鲍勃之前看过的《星际穿越》属于同一类型。最近提出了多种KGs,如Freebase[15]、DBpedia[16]、YAGO[17]、谷歌的知识图谱[18],方便了KGs的推荐构建。

图1 一个基于kg的推荐的例子

本次综述的目的是提供一个全面的文献综述利用KGs作为侧信息的推荐系统。在我们的研究过程中,我们发现现有的基于KG的推荐系统以三种方式应用KGs: 基于嵌入的方法、基于路径的方法和统一的方法。我们详细说明了这些方法的异同。除了更准确的推荐之外,基于KG的推荐的另一个好处是可解释性。我们讨论了不同的作品如何使用KG来进行可解释的推荐。此外,根据我们的综述,我们发现KGs在多个场景中充当了辅助信息,包括电影、书籍、新闻、产品、兴趣点(POIs)、音乐和社交平台的推荐。我们收集最近的作品,根据应用程序对它们进行分类,并收集在这些作品中评估的数据集。

本次综述的组织如下: 在第二部分,我们介绍了KGs和推荐系统的基础;在第3节中,我们介绍了本文中使用的符号和概念;在第4节和第5节中,我们分别从方法和评价数据集的角度对基于知识的推荐系统进行了综述;第六部分提出了该领域的一些潜在研究方向;最后,我们在第7节总结了这次调查。

术语概念

图2 常用知识图谱集合

图3 符号

知识图谱推荐系统方法

Embedding-based方法

基于嵌入的方法通常直接使用来自KG的信息来丰富项目或用户的表示。为了利用KG信息,需要使用知识图嵌入(KGE)算法将KG编码为低秩嵌入。KGE算法可分为两类[98]:翻译距离模型,如TransE[99]、TransH[100]、TransR[101]、TransD[102]等;语义匹配模型,如DistMult[103]等。

根据KG中是否包含用户,可以将基于嵌入的方法分为两个类。在第一种方法中,KGs由项目及其相关属性构成,这些属性是从数据集或外部知识库中提取的。我们将这样的图命名为项目图。注意,用户不包括在这样的项目图中。遵循这一策略的论文利用知识图嵌入(KGE)算法对图进行编码,以更全面地表示项目,然后将项目侧信息集成到推荐框架中。其大意可以如下所示。

另一种embedding-based方法直接建立user-item图,用户,项目,以及相关属性函数作为节点。在用户-项目图中,属性级关系(品牌、类别等)和用户级关系(共同购买、共同查看等)都是边。

Path-based Methods

基于路径的方法构建一个用户-项目图,并利用图中实体的连接模式进行推荐。基于路径的方法在2013年就已经开发出来了,传统的论文将这种方法称为HIN中的推荐方法。通常,这些模型利用用户和/或项的连接性相似性来增强推荐。

统一方法

基于嵌入的方法利用KG中用户/项的语义表示进行推荐,而基于路径的方法使用语义连接信息,并且两种方法都只利用图中信息的一个方面。为了更好地利用KG中的信息,提出了将实体和关系的语义表示和连通性信息结合起来的统一方法。统一的方法是基于嵌入传播的思想。这些方法以KG中的连接结构为指导,对实体表示进行细化。

总结:

基于嵌入的方法使用KGE方法对KG(项目图或用户-项目图)进行预处理,以获得实体和关系的嵌入,并将其进一步集成到推荐框架中。然而,这种方法忽略了图中信息的连通性模式,很少有文献能够给出有原因的推荐结果。基于路径的方法利用用户-项图,通过预先定义元路径或自动挖掘连接模式来发现项的路径级相似性。基于路径的方法还可以为用户提供对结果的解释。将基于嵌入的方法与基于路径的方法相结合,充分利用双方的信息是当前的研究趋势。此外,统一的方法还具有解释推荐过程的能力。

图4 收集论文表。在表格中,Emb代表基于嵌入的方法,Uni代表统一方法,Att’代表注意力机制,’RL’代表强化学习,’AE’代表自动编码器,’MF’代表矩阵分解。

代表数据集

图5 不同应用场景和相应论文的数据集集合

未来方向

在以上几节中,我们从更准确的推荐和可解释性方面展示了基于知识的推荐系统的优势。虽然已经提出了许多利用KG作为侧信息进行推荐的新模型,但仍然存在一些改进的机会。在这一部分中,我们概述并讨论了一些未来的研究方向。

  • 动态推荐。虽然基于KG的推荐系统在GNN或GCN架构下取得了良好的性能,但是训练过程是耗时的。因此,这些模型可以看作是静态的偏好推荐。然而,在某些情况下,如网上购物、新闻推荐、Twitter和论坛,用户的兴趣会很快受到社会事件或朋友的影响。在这种情况下,使用静态偏好建模的推荐可能不足以理解实时兴趣。为了捕获动态偏好,利用动态图网络可以是一个解决方案。最近,Song等[127]设计了一个动态图-注意力网络,通过结合来自朋友的长期和短期兴趣来捕捉用户快速变化的兴趣。按照这种方法,很自然地要集成其他类型的侧信息,并构建一个KG来进行动态推荐。

  • 多任务学习。基于kg的推荐系统可以看作是图中链接预测。因此,考虑到KG的性质,有可能提高基于图的推荐的性能。例如,KG中可能存在缺失的事实,从而导致关系或实体的缺失。然而,用户的偏好可能会被忽略,因为这些事实是缺失的,这可能会恶化推荐结果。[70]、[95]已经证明了联合训练KG完成模块和推荐模块以获得更好的推荐是有效的。其他的工作利用多任务学习,将推荐模块与KGE task[45]和item relation regulation task联合训练[73]。利用从其他kg相关任务(例如实体分类和解析)迁移知识来获得更好的推荐性能,这是很有趣的。

  • 跨域推荐。最近,关于跨域推荐的研究已经出现。其动机是跨域的交互数据不相等。例如,在Amazon平台上,图书评级比其他域更密集。使用迁移学习技术,可以共享来自具有相对丰富数据的源域的交互数据,以便在目标域内进行更好的推荐。Zhang等[128]提出了一种基于矩阵的跨域推荐方法。后来,Zhao等人[129]引入了PPGN,将来自不同领域的用户和产品放在一个图中,并利用user item交互图进行跨领域推荐。虽然PPGN的性能显著优于SOTA,但是user item图只包含交互关系,并不考虑用户和项目之间的其他关系。通过将不同类型的用户和项目端信息合并到用户-项目交互图中,以获得更好的跨域推荐性能。

  • 知识增强语言表示。为了提高各种自然语言处理任务的性能,有将外部知识集成到语言表示模型中的趋势。知识表示和文本表示可以相互细化。例如,Chen等人[130]提出了短文本分类的STCKA,利用来自KGs(如YAGO)的先验知识,丰富了短文本的语义表征。Zhang等人[131]提出了ERNIE,该方法融合了Wikidata的知识,增强了语言的表示能力,该方法已被证明在关系分类任务中是有效的。虽然DKN模型[48]既利用了文本嵌入,也利用了新闻中的实体嵌入,但这两种嵌入方式只是简单地串联起来,得到新闻的最终表现形式,而没有考虑两个向量之间的信息融合。因此,将知识增强的文本表示策略应用于新闻推荐任务和其他基于文本的推荐任务中,能够更好地表示学习,从而获得更准确的推荐结果,是很有前景的。

  • 知识图谱嵌入方法。基于不同约束条件的KGE方法有两种:翻译距离模型和语义匹配模型。在本次综述中,这两种类型的KGE方法被用于三种基于KGE的推荐系统和推荐任务中。但是,还没有全面的工作建议在什么情况下,包括数据源、推荐场景和模型架构,应该采用特定的KGE方法。因此,另一个研究方向是比较不同KGE方法在不同条件下的优势。

  • 用户端信息。目前,大多数基于KG的推荐系统都是通过合并项目侧信息来构建图的,而很少有模型考虑用户侧信息。然而,用户侧信息,如用户网络和用户的人口统计信息,也可以很自然地集成到当前基于KGbased的推荐系统框架中。最近,Fan等人[132]使用GNN分别表示用户-用户社交网络和用户-项目交互图,该方法在用户社交信息方面优于传统的基于cf的推荐系统。在我们最近的调查[96]中,一篇论文将用户关系整合到图表中,并展示了这种策略的有效性。因此,在KG中考虑用户侧信息可能是另一个研究方向。

成为VIP会员查看完整内容
0
93

【导读】越来越明显的是,广泛采用的机器学习模型可能导致歧视性结果,并可能加剧训练数据之间的差异。随着越来越多的机器学习用于现实世界中的决策任务,必须解决机器学习中的偏见和公平问题。我们的动机是,在各种新兴方法中,表示学习为评估和潜在地减轻不公平现象提供了独特的工具集。本教程介绍了现有的研究,并提出了在表示学习和公平的交集中存在的开放性问题。我们将研究学习公平任务不可知表示的可能性(不可能性),公平性和泛化性能之间的联系,以及利用来自表示形式学习的工具来实现算法上的个人和群体公平性的机会。本教程旨在为广大的机器学习实践者提供帮助,并且必要的背景知识是预测性机器学习的工作知识。

作者介绍

Sanmi Koyejo,伊利诺伊大学香槟分校计算机科学系助理教授。

研究综述: 我们的研究兴趣是开发自适应鲁棒机器学习的原理和实践。最近的一些亮点包括:1)可伸缩的、分布式的和容错的机器学习;2)度量引出;通过人机交互选择更有效的机器学习指标。我们的应用研究主要集中在认知神经成像和生物医学成像方面。最近的一些重点包括①生物图像的生成模型,②时变脑电图的估计和分析。

http://sanmi.cs.illinois.edu/

成为VIP会员查看完整内容
0
32

内容摘要: 个性化推荐在当前消费场景中起着至关重要的作用。本教程主要包括两个部分:基础和趋势。在第一部分中,我们将介绍个性化推荐系统的基本问题,包括用户意图和需求,挑战性问题和最新技术。在第二部分中,我们将重点关注相关领域中的新趋势主题,包括(但不限于):用户满意度和评估方式,可解释的推荐,基于知识图谱和推论的推荐,跨域异构推荐以及公平性。最后,我们将讨论未来的发展方向。

作者简介: 张敏博士是清华大学计算机科学与技术系的终身教授,研究方向为Web搜索和推荐以及用户建模。她是CS部门智能技术与系统实验室的副主任,清华-MSRA媒体与搜索实验室的执行主任。她还担任过ACM TOIS副编辑。她已发表了100多篇论文,引用次数超过3500, H-index得分为32。她在2016年获得了北京科学技术奖(一等奖),并在2018年获得了中国大学计算机科学优秀教师奖。她还拥有12项专利。并且她与国际和国内企业进行了很多合作。

成为VIP会员查看完整内容
0
53

可解释推荐尝试开发模型,不仅生成高质量的推荐,而且生成直观的解释。解释可以是事后的,也可以直接来自可解释的模型(在某些上下文中也称为可解释的或透明的模型)。可解释推荐尝试解决为什么的问题:通过向用户或系统设计者提供解释,它帮助人们理解为什么算法推荐某些项目,而人既可以是用户,也可以是系统设计者。可解释推荐有助于提高推荐系统的透明度、说服力、有效性、可信度和满意度。

在这次调查中,我们回顾了在2019年或之前可解释的建议的工作。我们首先通过将推荐问题划分为5W来强调可解释推荐在推荐系统研究中的地位。什么,什么时候,谁,在哪里,为什么。然后,我们从三个角度对可解释推荐进行了全面的调查:1)我们提供了可解释推荐的研究时间轴,包括早期的用户研究方法和最近的基于模型的方法。2)我们提供了一个二维分类法来对现有的可解释推荐研究进行分类:一个维度是解释的信息源(或显示样式),另一个维度是生成可解释推荐的算法机制。3)我们总结了可解释推荐如何应用于不同的推荐任务,如产品推荐、社交推荐和POI推荐。我们还专门用一节来讨论更广泛的IR和AI/ML研究中的解释视角。最后,我们讨论了未来可解释推荐研究领域的发展方向。

成为VIP会员查看完整内容
0
72
小贴士
相关论文
Reasoning on Knowledge Graphs with Debate Dynamics
Marcel Hildebrandt,Jorge Andres Quintero Serna,Yunpu Ma,Martin Ringsquandl,Mitchell Joblin,Volker Tresp
9+阅读 · 2020年1月2日
Luca Franceschi,Mathias Niepert,Massimiliano Pontil,Xiao He
15+阅读 · 2019年3月28日
Yu Cheng,Mo Yu,Xiaoxiao Guo,Bowen Zhou
10+阅读 · 2019年1月26日
Ke Li,Jitendra Malik
5+阅读 · 2018年11月29日
Classification with Fairness Constraints: A Meta-Algorithm with Provable Guarantees
L. Elisa Celis,Lingxiao Huang,Vijay Keswani,Nisheeth K. Vishnoi
3+阅读 · 2018年8月2日
Character-Level Feature Extraction with Densely Connected Networks
Chanhee Lee,Young-Bum Kim,Dongyub Lee,HeuiSeok Lim
5+阅读 · 2018年7月26日
Understanding and Improving Interpolation in Autoencoders via an Adversarial Regularizer
David Berthelot,Colin Raffel,Aurko Roy,Ian Goodfellow
3+阅读 · 2018年7月19日
Shuai Zhang,Lina Yao,Aixin Sun,Sen Wang,Guodong Long,Manqing Dong
4+阅读 · 2018年6月3日
Anish Athalye,Nicholas Carlini
3+阅读 · 2018年4月10日
Heung-Yeung Shum,Xiaodong He,Di Li
9+阅读 · 2018年1月6日
Top