【导读】人工智能顶会 ICLR 2021 即国际表征学习大会, 是人工智能领域全球最具影响力的学术会议之一,因此在该会议上发表论文的研究者也会备受关注。据官方统计,今年共有3013篇论文提交。ICLR 采用公开评审,可以提前看到这些论文。小编发现推荐系统(Recommendation System)相关的投稿paper很多,和常见的推荐系统paper不太一样,投稿的大部分理论研究偏多,希望大家多多关注。

为此,这期小编继续为大家奉上ICLR 2021必读的六篇推荐系统投稿相关论文——深度隐变量模型、可解释关系表示模型、多方面信任推荐、不确定性推荐、循环探索网络、分解推荐

ICLR 2021 Submitted Paper: https://openreview.net/group?id=ICLR.cc/2021/Conference

ICLR2020CI、ICML2020CI

1. DEEPLTRS: A Deep Latent Recommender System based on User Ratings and Reviews

摘要:为了给用户提供基于观察到的用户评分和商品评论文本的高质量推荐,我们引入了一个深度隐变量推荐系统(deep latent recommender system, deepLTRS)。Latent的动机是,当用户只给几个产品打分时,评论中的文本信息是一个重要的信息来源。评论信息的加入可以缓解数据稀疏性,从而增强模型的预测能力。我们的方法采用变分自编码器结构作为生成性深度隐变量模型,用于编码用户对产品的评分的有序矩阵(ordinal matrix)和评论的文档术语矩阵。此外,与唯一的基于用户或基于项目的模型不同,Deep LTRS假定用户和产品都具有潜在的表示。我们提出了一种交替的用户/产品小批量优化结构,用于联合捕获用户和商品的偏好。在模拟和真实数据集上的数值实验表明,Deep LTRS的性能优于最新技术,特别是在极端数据稀疏的情况下。

网址: https://openreview.net/forum?id=JUc6-1xuOX

2. Interpretable Relational Representations For Food Ingredient Recommendation Systems

摘要:食物配料推荐系统支持厨师创造新的食谱是具有挑战性的,因为好的配料组合取决于许多因素,如味道、气味、烹饪风格、质地等。使用机器学习来解决这些问题的尝试很少。重要的是,有用的模型不仅需要准确,更重要的是-特别是对于食品专业人士-是可解释的。为了解决这些问题,我们提出了可解释关系表示模型(Interpretable Relational Representation Model, IRRM)。该模型的主要组成部分是一个键-值记忆网络,用于表示成分之间的关系。我们提出并测试了该模型的两个变体。一个可以通过可训练的记忆网络(隐式模型)学习潜在的关系表示,而另一个可以通过集成外部知识库(显式模型)的预训练的记忆网络学习可解释的关系表示。模型产生的关系表示是可解释的-它们允许核对为什么建议某些配料配对。显式模型还允许集成任何数量的手动指定的约束。我们在分别有45,772个食谱的CulinaryDB和55,001个食谱的Flavorne这两个食谱数据集上进行了实验。实验结果表明,我们的模型具有预测性和信息性。

网址: https://openreview.net/forum?id=48goXfYCVFX

3. Multi-faceted Trust Based Recommendation System

摘要:推荐系统对用户在互联网上做出的选择中起着决定性的作用。他们寻求为用户量身定做决策。由于人们认为用户与他们信任的人相似,会做出与这些用户相似的选择,这使得信任(trust)成为推荐系统中的一个非常重要的因素。在协同推荐系统(collaborative recommendation systems)中,信任及其对人们选择的影响已经被广泛研究。可以理为,信任不是一层不变的,而是可以随上下文变化的。最近在基于信任的推荐系统领域的研究表明,使用基于trust的方法极大地提高了推荐质量(Mauro等人,2019年;Fang等人,2015年)。我们提出了一个推荐系统,该系统在考虑产是否适合特定用户的同时,考虑了信任的多个方面。这种基于多方面信任的推荐器(MFTBR)体系结构考虑到了可扩展性--不需要太多的努力就可以添加新的信任方面--并且不会对动态性信任方面进行任意加权。取而代之的是,通过神经网络优化权重以获得最佳结果。这里考虑的信任方面是本地信任、全局信任和类别信任。MFTBR的性能明显好于基本协同过滤-U2UCF(C.Desrosiers,2011),以及社交和基于信任的推荐系统领域的一些成熟模型-MTR(Mauro等人,2019年)和SocialFD(Yu等人,2017年)。因此,我们的模型不仅考虑了信任对推荐的影响,而且考虑了信任建立的上下文,从而提供了更接近现实生活中的推荐。

网址: https://openreview.net/forum?id=tUNXLHsIx3r

4. PURE: an Uncertainty-aware Recommendation Framework for Maximizing Expected Posterior Utility of Platform

摘要:商业推荐可以看作是推荐平台与其目标用户之间的互动过程。平台的一个关键问题是如何充分利用其优势,使其效用最大化,即推荐所带来的商业利益。本文提出了一种新的推荐框架,该框架有效地利用了用户在不同项目维度上的不确定性信息,并且显式地考虑了展示策略对用户的影响,从而使平台获得最大的期望后验概率(maximal expected posterior)。我们将获得最大期望后验概率的最优策略问题描述为一个约束非凸优化问题,并进一步提出了一种基于ADMM的解来导出近似最优策略。通过对从真实推荐平台收集的数据进行了大量的实验,验证了该框架的有效性。此外,我们亦采用建议的架构框架进行试验,以揭示平台如何取得商业效益。研究结果表明,平台应满足用户对用户喜欢的商品维度的偏好,而对于用户不确定性较高的商品维度,该平台可以通过推荐实用性高的商品来获得更多的商业收益。

网址: https://openreview.net/forum?id=D5Wt3FtvCF

5. Recurrent Exploration Networks for Recommender Systems

摘要:循环神经网络已被证明在推荐系统建模序列用户反馈方面是有效的。然而,它们通常只关注项目相关性,而不能有效地为用户挖掘多样化的项目,从而在长远来看损害了系统的性能。为了解决这个问题,我们提出了一种新型的循环神经网络,称为循环探索网络( recurrent exploration networks, REN),在潜在空间中联合进行表示学习和有效探索。试图平衡相关性和探索性,同时考虑到表征中的不确定性。我们的理论分析表明,即使在学习的表示存在不确定性的情况下,REN也可以保持速率最优的 sublinear regret(Chu等人,2011)。我们的实验研究表明,REN在合成和真实推荐数据集上都能获得令人满意的长期回报,表现优于最先进的模型。

网址: https://openreview.net/forum?id=WN_6sThEI_-

6. Untangle: Critiquing Disentangled Recommendations

摘要:大多数协同过滤方法背后的核心原则是将用户和项目嵌入到潜在空间中,在潜在空间中,独立于任何特定项目属性学习各个维度。因此,用户很难基于特定方面(评论)控制他们的推荐。在这项工作中,我们提出了Untangle:一种推荐模型,它允许用户相对于特定的项目属性(例如,不那么暴力的、更有趣的电影)控制推荐列表,这些属性在用户偏好中具有因果关系。Untangle使用精细化的训练过程,通过训练:(i)一部分监督的β-VAE来解开(disentangles)项目表示,以及(ii)第二阶段,其优化以生成对用户的推荐。Untangle可以根据用户喜好控制对推荐的评论,而不会牺牲推荐的准确性。此外,只需要极少的标签项就可以创建与属性无关的偏好表示。

网址: https://openreview.net/forum?id=pdsec2YIOCx

成为VIP会员查看完整内容
0
18

相关内容

【导读】人工智能顶会 ICLR 2021 即国际表征学习大会, 是人工智能领域全球最具影响力的学术会议之一,因此在该会议上发表论文的研究者也会备受关注。据官方统计,今年共有3013篇论文提交。ICLR 采用公开评审,可以提前看到这些论文。小编发现基于因果推理(Causal Inference)相关的投稿paper很多,因果推理,以及反事实等相关理论方法在CV、NLP都开始有相关的应用了,这个前沿的方法受到了很多人的关注。

为此,这期小编继续为大家奉上ICLR 2021必读的七篇因果推理(Causal Inference)投稿相关论文——领域自适应、时间序列数据、连续终身因果效应、反事实生产式网络、解纠缠生成式因果表示

ICLR 2021 Submitted Paper: https://openreview.net/group?id=ICLR.cc/2021/Conference

ICML2020CI

1、Accounting for unobserved confounding in domain generalization

摘要:从观察到的环境到在新的相关环境进行推断或推广的能力是可靠机器学习的核心,然而大多数方法在数据过多时都会失败。在某些情况下,由于对所支配数据的因果结构的误解,特别是未观察到的干扰因子的影响,这些干扰因子使观察到的分布发生变化,并扭曲了相关性。在这篇文章中,我们提出定义关于更广泛类别的分布移位(distribution shifts)的泛化(定义为由潜在因果模型中的干预引起的),包括观察到的、未观察到的和目标变量分布的变化。我们提出了一种新的鲁棒学习原则,它可以与任何基于梯度的学习算法配对。这一学习原则具有明确的泛化保证,并将鲁棒性与因果模型中的某些不变性联系起来,表明了为什么在某些情况下,测试性能落后于训练性能。我们展示了我们的方法在来自不同模态的医疗数据(包括图像和语音数据)上的性能。

网址: https://openreview.net/forum?id=ZqB2GD-Ixn

2、Amortized causal discovery learning to infer causal graphs from time series data

摘要:标准的因果发现方法无论何时遇到来自新的基本因果图的样本,都必须适合一个新的模型。然而,这些样本经常共享相关信息(例如,描述因果关系影响的动态信息),这些信息在遵循这种方法时会丢失。我们提出了一个新的框架-摊销因果发现(Amortized Causal Discovery),它利用这种共享的动力来学习从时间序列数据中推断因果关系。这使我们能够训练一个单一的摊销模型,该模型推断具有不同基本因果图的样本之间的因果关系,从而利用共享的信息。我们通过实验证明了这种以变分模型实现的方法在因果发现性能方面有了显著的改进,并展示了如何将其扩展以在 hidden confounding情况下很好地执行。

网址: https://openreview.net/forum?id=gW8n0uD6rl

3、Continual lifelong causal effect inference with real world evidence

摘要:当前观测数据非常容易获取,这极大地促进了因果关系推理的发展。尽管在克服因果效应估计方面的挑战方面取得了重大进展,在缺少反事实数据(counterfactual outcomes)和选择偏差的情况下,但是现有方法只关注特定于源的和稳定的观测数据。本文研究了从增量观测数据中推断因果关系的一个新的研究问题,并相应地提出了三个新的评价标准,包括可扩展性、适应性和可达性。我们提出了一种连续因果效应表示学习(Continual Causal Effect Representation Learning )方法,用于估计非平稳数据分布中增量可用的观测数据的因果效应。我们的方法不是访问所有可见的观测数据,而是仅存储从先前数据学习的有限的特征表示子集。该方法将选择性均衡表示学习、特征表示提炼和特征变换相结合,在不影响对原始数据估计能力的前提下,实现了对新数据的连续因果估计。大量实验证明了连续因果推理的重要性和方法的有效性。

网址: https://openreview.net/forum?id=IOqr2ZyXHz1

4、Counterfactual generative networks

摘要:神经网络很容易找到学习捷径--它们经常对简单的关系进行建模,而忽略了可能更好地概括更复杂的关系。以往的图像分类工作表明,深度分类器不是学习与物体形状的联系,而是倾向于利用与低层纹理或背景的虚假相关性来解决分类任务。在这项工作中,我们朝着更健壮和可解释的分类器迈进,这些分类器显式地揭示了任务的因果结构。基于目前在深度生成建模方面的进展,我们提出将图像生成过程分解为独立的因果机制,我们在没有直接监督的情况下对这些机制进行训练。通过利用适当的归纳偏差,这些机制将对象形状、对象纹理和背景分开;因此,它们允许生成反事实图像。我们演示了我们的模型在MNIST和ImageNet上生成此类图像的能力。此外,我们还表明,尽管反事实图像是人工合成的,但它们可以在原始分类任务的性能略有下降的情况下,提高分布外的稳健性。最后,我们的生成式模型可以在单个GPU上高效地训练,利用常见的预训练模型作为归纳偏差(inductive biases)。

网址: https://openreview.net/forum?id=BXewfAYMmJw

5、Disentangled generative causal representation learning

摘要:这篇文章提出了一种解缠的生成式因果表示(Disentangled Generative Causal Representation,DEPE)学习方法。与现有的强制独立于潜在变量的解缠方法不同,我们考虑的是潜在因素可以因果关联的一般情况。我们表明,以前的方法与独立的先验不能解开因果相关的因素。受这一发现的启发,我们提出了一种新的解缠学习方法DELE,该方法实现了因果可控生成和因果表示学习。这一新公式的关键是使用结构因果模型(SCM)作为双向生成模型的先验。然后,使用适当的GAN损失与生成器和编码器联合训练先验。我们给出了所提公式的理论证明,保证了在适当条件下的解缠因果表示学习。我们在合成和真实数据上进行了广泛的实验,以证明DEAR在因果可控生成方面的有效性,以及学习的表示在样本效率和分布稳健性方面对下游任务的好处。

网址: https://openreview.net/forum?id=agyFqcmgl6y

6、Explaining the efficacy of counterfactually augmented data

摘要:为了减少机器学习模型对训练数据中虚假模式的依赖,研究人员最近提出通过human-in-the-loop进程来生成与事实相反的增强数据。正如在NLP中所应用的那样,给定一些文档及其(初始)标签,人类的任务是修改文本以使(给定的)反事实标签适用。重要的是,这些说明禁止进行翻转适用标签时不必要的编辑。在扩充(原始和修订)数据上训练的模型已被证明较少依赖语义无关的单词,并能更好地概括域外。虽然这项工作借鉴了因果思维,将编辑塑造为干预措施,并依靠人类的理解来评估结果,但潜在的因果模型并不清楚,也不清楚在域外评估中观察到的改进背后的原则。在这篇文章中,我们探索了一个模拟玩具(toy analog),使用线性高斯模型。我们的分析揭示了因果模型、测量噪声、域外泛化和对虚假信号的依赖之间的有趣关系。有趣的是,我们的分析表明,通过向因果特征添加噪声而损坏的数据将降低域外性能,而向非因果特征添加噪声可能会使模型在域外更加健壮。这一分析产生了有趣的见解,有助于解释反事实增强数据的有效性。最后,我们提出了一个支持这一假说的大规模实证研究。

网址: https://openreview.net/forum?id=HHiiQKWsOcV

7、Selecting treatment effects models for domain adaptation using causal knowledge

摘要:从观察数据中选择因果推断模型来估计个体化治疗效果(ITE)是一个挑战,因为从来没有观察到反事实的结果。该问题在无监督域自适应(UDA)设置中进一步受到挑战,在该设置中,我们只能访问源域中的已标记样本,但是我们希望选择在仅有未标记样本可用的目标域上实现良好性能的模型。现有的用于UDA模型选择的技术是针对预测设置设计的。这些方法检查源域和目标域中输入协变量之间的判别密度比,并且不考虑模型在目标域中的预测。正因为如此,在源域上具有相同性能的两个模型通过现有方法将获得相同的风险分数,但在现实中,它们在测试域上具有显著不同的性能。我们利用因果结构跨域的不变性来引入一种新的模型选择度量,该度量专门针对UDA设置下的ITE模型而设计。特别是,我们建议选择对干预效果的预测满足目标领域中已知因果结构的模型。在实验上,我们的方法在几个合成和真实的医疗数据集上选择对协变量变化更稳健的ITE模型,包括估计来自不同地理位置的新冠肺炎患者的通风效果。

网址: https://openreview.net/forum?id=AJY3fGPF1DC

成为VIP会员查看完整内容
0
29

【导读】ICML(International Conference on Machine Learning),即国际机器学习大会, 是机器学习领域全球最具影响力的学术会议之一,因此在该会议上发表论文的研究者也会备受关注。因疫情的影响, 今年第37届ICML大会已于2020年7月13日至18日在线上举行。据官方统计,ICML 2020共提交4990篇论文,接收论文1088篇,接收率为21.8%。与往年相比,接收率逐年走低。小编发现基于域自适应(Domain Adaptation)相关的paper也不少,域自适应及其在不同方式的转换和应用等等都是这几年比较火的topic,受到了很多人的关注。

为此,这期小编继续为大家奉上ICML 2020必读的六篇域自适应(Domain Adaptation)相关论文——连续域自适应、多源域自适应、无监督域自适应、少样本域自适应、开放集域自适应

ICML 2020 Accepted Paper: https://proceedings.icml.cc/book/2020

ICML2020ML、ICML2020CL、ICML2020CI、ICML2020GNN_Part2、ICML2020GNN_Part1

1、Continuously Indexed Domain Adaptation

作者:Hao Wang, Hao He, Dina Katabi

摘要:现有的域自适应集中于在具有分类索引的领域之间(例如,在数据集A和B之间)传递知识。然而,许多任务涉及连续索引的域。例如,在医疗应用中,人们经常需要在不同年龄的患者之间进行疾病分析和预测,而年龄是连续领域的指标。这样的任务对于现有的域自适应方法是有挑战性的,因为它们忽略了领域之间的潜在关系。在本文中,我们第一个提出了连续索引域自适应的方法。该方法将传统的对抗性适应与新颖的鉴别器相结合,该鉴别器对编码条件下的域索引分布进行建模。我们的理论分析证明了利用域索引在连续域范围内生成不变特征的意义。我们的实验结果表明,我们的方法在综合医学数据集和实际医学数据集上均优于最先进的域自适应方法。

代码链接: https://github.com/hehaodele/CIDA

网址: https://proceedings.icml.cc/paper/2020/hash/9a1756fd0c741126d7bbd4b692ccbd91

2、Domain Aggregation Networks for Multi-Source Domain Adaptation

作者:Junfeng Wen, Russell Greiner, Dale Schuurmans

摘要:在许多实际应用中,我们希望利用多个源数据集为不同但相关的目标数据集建立模型。尽管最近在经验上取得了成功,但大多数现有的研究都是采用特别的方法来组合多种来源,从而导致理论与实践之间的差距。本文提出了一种基于域差异的有限样本泛化边界,并据此提出了一种理论上合理的优化方法。我们的算法,Domain AggRegation Network(DARN),能够自动、动态地平衡包含更多数据以增加有效样本量和排除无关数据以避免训练过程中的负面影响。我们发现,DARN在多个实际任务(包括数字/对象识别和情感分析)上性能明显优于现有的最新技术。

网址: https://proceedings.icml.cc/paper/2020/hash/89d3d7800304002cd469f0c402bd3ea0

3、Do We Really Need to Access the Source Data? Source Hypothesis Transfer for Unsupervised Domain Adaptation

作者:Jian Liang, Dapeng Hu, Jiashi Feng

摘要:无监督域自适应(UDA)的目的是利用从标记的源数据集中学习的知识来解决新的未标记域中的相似任务。以前的UDA方法通常需要在学习适应模型时访问源数据,这使得它们对于分散的私有数据来说风险很大,效率低下。这项工作解决了一个只有经过训练的源模型可用的新环境,并研究了如何在没有源数据的情况下有效地利用这种模型来解决UDA问题。我们提出了一个简单而通用的表示学习框架,称为源假设迁移(SHOT)。SHOT冻结了源模型的分类器模块(假设),通过利用信息最大化和自监督伪标记将目标域的表示隐式地与源假设对齐,从而学习了特定于目标的特征提取模块。为了验证它的通用性,我们对SHOT在各种适应情况下进行了评估,包括闭集、部分集和开集域适配。实验表明,SHOT在多个域自适应基准中产生了最先进的结果。

代码链接: https://github.com/tim-learn/SHOT

网址: https://proceedings.icml.cc/paper/2020/hash/a597e50502f5ff68e3e25b9114205d4a

4、Few-shot Domain Adaptation by Causal Mechanism Transfer

作者:Takeshi Teshima, Issei Sato, Masashi Sugiyama

摘要:我们研究将少样本自监督域自适应方法应用于回归类问题,其中只有少量的已标记的目标域数据和大量的已标记源域数据可用。目前的许多域适应方法的转移条件都是基于参数化分布偏移或明显的分布相似性,例如相同的条件或很小的分布差异。然而,这些假设排除了在复杂的迁移环境或者明显不同的分布中适应的可能性。为了克服这个问题,我们提出了机制迁移(mechanism transfer),这是一种元分布场景,其中数据生成机制在域之间是不变的。这种迁移假设可以适应非参数化偏移所导致的明显的分布差异,同时也为域自适应学习提供一个坚实的统计基础。本文以因果模型中的结构方程为例,提出了一种新的域自适应学习方法,该方法在理论和实验上都表明了良好的可用性。我们提出的方法可以看做是第一次尝试利用结构因果模型来进行域自适应学习。

代码链接: https://github.com/takeshi-teshima/few-shot-domain-adaptation-by-causal-mechanism-transfer

网址:

https://proceedings.icml.cc/paper/2020/hash/3a15c7d0bbe60300a39f76f8a5ba6896

5、Margin-aware Adversarial Domain Adaptation with Optimal Transport

作者:Sofien Dhouib, Ievgen Redko, Carole Lartizien

摘要:本文对于无监督域适应学习提出了一种新的理论分析方法,涉及大边际分离,对抗性学习和最优传输。我们提出这种分析方法一般化了之前通过对目标边界违规率进行限定的工作,结果表明出对目标域类别进行分离质量控制优于对误分类率进行限定。该边界还强调了源域上的边际分离对自适应的好处,并引入了基于最优传输(OT)的域间距离,该距离与其他方法不同之处在于其依赖于具体的任务。从目前所获得的结果看,我们得到了一个新的域自适应解决方案,该方案引入了一种新的基于浅OT的对抗方法,并且在一些现实世界中的分类任务上优于其他域自适应方法。

代码链接: https://github.com/sofiendhouib/MADAOT

网址: https://proceedings.icml.cc/paper/2020/hash/1102a326d5f7c9e04fc3c89d0ede88c9

6、Progressive Graph Learning for Open-Set Domain Adaptation

作者:Yadan Luo, Zijian Wang, Zi Huang, Mahsa Baktashmotlagh

摘要:域偏移是计算机视觉识别中的一个基本问题,通常在源数据和目标数据遵循不同的分布时出现。现有的域适应方法都是在闭集环境下工作的,即假设源数据和目标数据共享完全相同的对象。在这篇论文中,我们解决了一个开放域在迁移时所面临的现实问题:目标域中所包含的一些样本类别在源域中并不存在。具体来说,本文提出了一种端到端的渐进式(PGL)学习框架,该框架集成了一个已训练过的图神经网络来抑制潜在的条件转移,并采用对抗性学习来缩小源域和目标域之间的分布差异。与目前的开放域自适应方法相比,我们的方法能够保证更加接近目标误差的上限。在三个公共基准数据集上的大量实验证明,我们的方法在开放域适应方面的性能明显优于目前的其他方法。

网址: https://proceedings.icml.cc/paper/2020/hash/42a0e188f5033bc65bf8d78622277c4e

成为VIP会员查看完整内容
0
27

【导读】ICML(International Conference on Machine Learning),即国际机器学习大会, 是机器学习领域全球最具影响力的学术会议之一,因此在该会议上发表论文的研究者也会备受关注。因疫情的影响, 今年第37届ICML大会将于2020年7月13日至18日在线上举行。据官方统计,ICML 2020共提交4990篇论文,接收论文1088篇,接收率为21.8%。与往年相比,接收率逐年走低。在会议开始前夕,专知小编为大家整理了ICML 2020图神经网络(GNN)的六篇相关论文供参考——核GNN、特征变换、Haar 图池化、无监督图表示、谱聚类、自监督GCN。

ICML 2020 Accepted Papers https://icml.cc/Conferences/2020/AcceptedPapersInitial

ACL2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN

1. Convolutional Kernel Networks for Graph-Structured Data

作者:Dexiong Chen, Laurent Jacob, Julien Mairal

摘要:我们引入了一系列多层图核,并在图卷积神经网络和核方法之间建立了新的联系。我们的方法通过将图表示为核特征映射序列将卷积核网络推广到图结构数据,其中每个节点携带关于局部图子结构的信息。一方面,核的观点提供了一种无监督的、有表现力的、易于正规化的数据表示,这在样本有限的情况下很有用。另一方面,我们的模型也可以在大规模数据上进行端到端的训练,从而产生了新型的图卷积神经网络。我们的方法在几个图分类基准上取得了与之相当的性能,同时提供了简单的模型解释。

网址: https://arxiv.org/abs/2003.05189

代码链接: https://github.com/claying/GCKN

2. GNN-FILM: Graph Neural Networks with Feature-Wise Linear Modulation 作者:Marc Brockschmidt

摘要:本文提出了一种新的基于特征线性调制(feature-wise linear modulation,FiLM)的图神经网络(GNN)。许多标准GNN变体仅通过每条边的源的表示来计算“信息”,从而沿着图的边传播信息。在GNN-FILE中,边的目标节点的表示被附加地用于计算可以应用于所有传入信息的变换,从而允许对传递的信息进行基于特征的调制。基于基线方法的重新实现,本文给出了在文献中提到的三个任务上的不同GNN体系结构的实验结果。所有方法的超参数都是通过广泛的搜索找到的,产生了一些令人惊讶的结果:基线模型之间的差异比文献报道的要小。尽管如此,GNN-FILE在分子图的回归任务上的表现优于基线方法,在其他任务上的表现也具有竞争性。

网址: https://arxiv.org/abs/1906.12192

3. Haar Graph Pooling

作者:Yu Guang Wang, Ming Li, Zheng Ma, Guido Montufar, Xiaosheng Zhuang, Yanan Fan

摘要:深度图神经网络(GNNs)是用于图分类和基于图的回归任务的有效模型。在这些任务中,图池化是GNN适应不同大小和结构的输入图的关键因素。本文提出了一种新的基于压缩Haar变换的图池化操作-HaarPooling。HaarPooling实现了一系列池化操作;它是通过跟随输入图的一系列聚类序列来计算的。HaarPooling层将给定的输入图变换为节点数较小、特征维数相同的输出图;压缩Haar变换在Haar小波域中过滤出细节信息。通过这种方式,所有HaarPooling层一起将任何给定输入图的特征合成为大小一致的特征向量。这种变换提供了数据的稀疏表征,并保留了输入图的结构信息。使用标准图卷积层和HaarPooling层实现的GNN在各种图分类和回归问题上实现了最先进的性能。

网址: https://arxiv.org/abs/1909.11580

4. Interferometric Graph Transform: a Deep Unsupervised Graph Representation 作者:Edouard Oyallon

摘要:我们提出了Interferometric Graph Transform(IGT),这是一类用于构建图表示的新型深度无监督图卷积神经网络。我们的第一个贡献是提出了一种从欧几里德傅立叶变换的推广得到的通用复数谱图结构。基于一个新颖的贪婪凹目标,我们的学习表示既包括可区分的特征,也包括不变的特征。通过实验可以得到,我们的学习过程利用了谱域的拓扑,这通常是谱方法的一个缺陷,特别是我们的方法可以恢复视觉任务的解析算子。我们在各种具有挑战性的任务上测试了我们的算法,例如图像分类(MNIST,CIFAR-10)、社区检测(Authorship,Facebook graph)和3D骨架视频中的动作识别(SBU,NTU),在谱图非监督环境下展示了一种新的技术水平。

网址:

https://arxiv.org/abs/2006.05722

5. Spectral Clustering with Graph Neural Networks for Graph Pooling

作者:Filippo Maria Bianchi, Daniele Grattarola, Cesare Alippi

摘要:谱聚类(SC)是发现图上强连通社区的一种流行的聚类技术。SC可以在图神经网络(GNN)中使用,以实现聚合属于同一簇的节点的池化操作。然而,Laplacian的特征分解代价很高,而且由于聚类结果是特定于图的,因此基于SC的池化方法必须对每个新样本执行新的优化。在本文中,我们提出了一种图聚类方法来解决SC的这些局限性。我们建立了归一化minCUT问题的连续松弛公式,并训练GNN来计算最小化这一目标的簇分配。我们的基于GNN的实现是可微的,不需要计算谱分解,并且学习了一个聚类函数,可以在样本外的图上快速评估。从提出的聚类方法出发,我们设计了一个图池化算子,它克服了现有图池化技术的一些重要局限性,并在多个监督和非监督任务中取得了最好的性能。

网址: https://arxiv.org/abs/1907.00481

6. When Does Self-Supervision Help Graph Convolutional Networks?

作者:Yuning You, Tianlong Chen, Zhangyang Wang, Yang Shen

摘要:自监督作为一种新兴的技术已被用于训练卷积神经网络(CNNs),以提高图像表示学习的可传递性、泛化能力和鲁棒性。然而,自监督对操作图形数据的图卷积网络(GCNS)的介绍却很少被探索。在这项研究中,我们首次将自监督纳入GCNS的系统探索和评估。我们首先阐述了将自监督纳入GCNS的三种机制,分析了预训练&精调和自训练的局限性,并进而将重点放在多任务学习上。此外,我们还提出了三种新的GCNS自监督学习任务,并进行了理论分析和数值比较。最后,我们进一步将多任务自监督融入到图对抗性训练中。研究结果表明,通过合理设计任务形式和合并机制,自监督有利于GCNS获得更强的泛化能力和鲁棒性。

网址: https://arxiv.org/abs/2006.09136

代码链接: https://github.com/Shen-Lab/SS-GCNs

成为VIP会员查看完整内容
0
71

【导读】作为CCF推荐的A类国际学术会议,International ACM SIGIR Conference on Research and Development in Information Retrieval(国际计算机学会信息检索大会,简称 SIGIR)在信息检索领域享有很高的学术声誉,每年都会吸引全球众多专业人士参与。今年的 SIGIR 2020计划将于 2020年7月25日~30日在中国西安举行。本次大会共有555篇长文投稿,仅有147篇长文被录用,录用率约26%。专知小编提前为大家整理了六篇SIGIR 2020 基于图神经网络的推荐(GNN+RS)相关论文,这六篇论文分别出自中科大何向南老师和和昆士兰大学阴红志老师团队,供大家参考——捆绑推荐、Disentangled GCF、服装推荐、多行为推荐、全局属性GNN

CVPR2020SGNN、CVPR2020GNN_Part2、CVPR2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、EMNLP2019GNN、ICCV2019GNN_Part2、ICCV2019GNN_Part1、NIPS2019GNN、IJCAI2019GNN_Part1、IJCAI2019GNN_Part2、KDD2019GNN、ACL2019GNN、CVPR2019GNN

1. Bundle Recommendation with Graph Convolutional Networks

作者:Jianxin Chang, Chen Gao, Xiangnan He, Yong Li, Depeng Jin

摘要:捆绑推荐(Bundle recommendation )旨在推荐一组商品供用户整体消费。现有的解决方案通过共享模型参数或多任务学习的方式将用户项目交互建模集成到捆绑推荐中,然而,这些方法不能显式建模项目与捆绑包(bundles)之间的隶属关系,不能探索用户选择捆绑包时的决策。在这项工作中,我们提出了一个用于捆绑推荐的图神经网络模型BGCN(Bundle Graph Convolutional Network)。BGCN将用户-项目交互、用户-捆绑包交互和捆绑包-项目从属关系统一到一个异构图中。以项目节点为桥梁,在用户节点和捆绑包节点之间进行图卷积传播,使学习到的表示能够捕捉到项目级的语义。通过基于hard-negative采样器的训练,可以进一步区分用户对相似捆绑包的细粒度偏好。在两个真实数据集上的实验结果表明,BGCN的性能有很高的提升,其性能比最新的基线高出10.77%到23.18%。

网址: https://arxiv.org/abs/2005.03475

2. Disentangled Graph Collaborative Filtering

作者:Xiang Wang, Hongye Jin, An Zhang, Xiangnan He, Tong Xu, Tat-Seng Chua

摘要:从交互数据中学习用户和项目的信息表示对于协同过滤(CF)至关重要。当前的嵌入函数利用用户-项目关系来丰富表示,从单个用户-项目实例演变为整体交互图。然而,这些方法在很大程度上以统一的方式对关系进行建模,而忽略了用户采用这些项目的意图的多样性,这可能是为了打发时间,为了兴趣,或者为其他人(如家庭)购物。这种统一的对用户兴趣建模的方法很容易导致次优表示,不能对不同的关系建模并在表示中分清用户意图。在这项工作中,我们特别关注用户意图细粒度上的用户-项目关系。因此,我们设计了一种新的模型- Disentangled图协同过滤(Disentangled Graph Collaborative Filtering ,DGCF),来理清这些因素并产生disentangled的表示。具体地说,通过在每个用户-项目交互意图上的分布建模,我们迭代地细化意图感知的交互图和表示。同时,我们鼓励不同的意图独立。这将生成disentangled的表示,有效地提取与每个意图相关的信息。我们在三个基准数据集上进行了广泛的实验,DGCF与NGCF、DisenGCN和MacridV AE这几个最先进的模型相比取得了显著的改进。进一步的分析揭示了DGCF在分解用户意图和表示的可解释性方面的优势。

网址:

http://staff.ustc.edu.cn/~hexn/

代码链接:

https://github.com/xiangwang1223/disentangled_graph_collaborative_filtering.

3. GCN-Based User Representation Learning for Unifying Robust Recommendation and Fraudster Detection

作者:Shijie Zhang, Hongzhi Yin, Tong Chen, Quoc Viet Nguyen Hung, Zi Huang, Lizhen Cui

摘要:近年来,推荐系统已经成为所有电子商务平台中不可缺少的功能。推荐系统的审查评级数据通常来自开放平台,这可能会吸引一群恶意用户故意插入虚假反馈,试图使推荐系统偏向于他们。此类攻击的存在可能会违反高质量数据始终可用的建模假设,而这些数据确实会影响用户的兴趣和偏好。因此,构建一个即使在攻击下也能产生稳定推荐的健壮推荐系统具有重要的现实意义。本文提出了一种基于GCN的用户表示学习框架GraphRf,该框架能够统一地进行稳健的推荐和欺诈者检测。在其端到端学习过程中,用户在欺诈者检测模块中被识别为欺诈者的概率自动确定该用户的评级数据在推荐模块中的贡献;而在推荐模块中输出的预测误差作为欺诈者检测模块中的重要特征。因此,这两个组成部分可以相互促进。经过大量的实验,实验结果表明我们的GraphRf在鲁棒评级预测和欺诈者检测这两个任务中具有优势。此外,所提出的GraphRf被验证为对现有推荐系统上的各种攻击具有更强的鲁棒性。

网址:

https://arxiv.org/abs/2005.10150

4. Hierarchical Fashion Graph Network for Personalized Outfit Recommendation

作者:Xingchen Li, Xiang Wang, Xiangnan He, Long Chen, Jun Xiao, Tat-Seng Chua

摘要:服装推荐越来越受到网购服务商和时尚界的关注。与向用户推荐单个单品(例如,朋友或图片)的其他场景(例如,社交网络或内容共享)不同,服装推荐预测用户对一组匹配良好的时尚单品的偏好。因此,进行高质量的个性化服装推荐应满足两个要求:1)时尚单品的良好兼容性;2)与用户偏好的一致性。然而,目前的研究主要集中在其中一个需求上,只考虑了用户-全套服装(outfit)或全套服装-项目的关系,从而容易导致次优表示,限制了性能。在这项工作中,我们统一了两个任务,服装兼容性建模和个性化服装推荐。为此,我们开发了一个新的框架,层次时尚图网络(HFGN),用于同时建模用户、商品和成套服装之间的关系。特别地,我们构建了一个基于用户-全套服装交互和全套服装-项目映射的层次结构。然后,我们从最近的图神经网络中得到启发,在这种层次图上使用嵌入传播,从而将项目信息聚合到一个服装表示中,然后通过他/她的历史服装来提炼用户的表示。此外,我们还对这两个任务进行了联合训练,以优化这些表示。为了证明HFGN的有效性,我们在一个基准数据集上进行了广泛的实验,HFGN在NGNN和FHN等最先进的兼容性匹配模型基础上取得了显著的改进。

网址:

https://arxiv.org/abs/2005.12566

代码链接:

https://github.com/xcppy/hierarchical_fashion_graph_network

5. Multi-behavior Recommendation with Graph Convolutional Networks

作者:Bowen Jin, Chen Gao, Xiangnan He, Depeng Jin, Yong Li

摘要:传统的推荐模型通常只使用一种类型的用户-项目交互,面临着严重的数据稀疏或冷启动问题。利用多种类型的用户-项目交互(例如:点击和收藏)的多行为推荐可以作为一种有效的解决方案。早期的多行为推荐研究未能捕捉到行为对目标行为的不同程度的影响。它们也忽略了多行为数据中隐含的行为语义。这两个限制都使得数据不能被充分利用来提高对目标行为的推荐性能。在这项工作中,我们创新性地构造了一个统一的图来表示多行为数据,并提出了一种新的模型--多行为图卷积网络(Multi-Behavior Graph Convolutional Network,MBGCN)。MBGCN通过用户-项目传播层学习行为强度,通过项目-项目传播层捕获行为语义,较好地解决了现有工作的局限性。在两个真实数据集上的实验结果验证了该模型在挖掘多行为数据方面的有效性。我们的模型在两个数据集上的性能分别比最优基线高25.02%和6.51%。对冷启动用户的进一步研究证实了该模型的实用性。

网址:

http://staff.ustc.edu.cn/~hexn/

6. GAG: Global Atributed Graph Neural Network for Streaming Session-based Recommendation

作者:Ruihong Qiu, Hongzhi Yin, Zi Huang, Tong Chen

摘要:基于流会话的推荐(Streaming session-based recommendation,SSR)是一项具有挑战性的任务,它要求推荐器系统在流媒体场景(streaming scenario)中进行基于会话的推荐(SR)。在电子商务和社交媒体的现实应用中,在一定时间内产生的一系列用户-项目交互被分组为一个会话,这些会话以流的形式连续到达。最近的SR研究大多集中在静态集合上,即首先获取训练数据,然后使用该集合来训练基于会话的推荐器模型。他们需要对整个数据集进行几个epoch的训练,这在流式设置下是不可行的。此外,由于对用户信息的忽视或简单使用,它们很难很好地捕捉到用户的长期兴趣。虽然最近已经提出了一些流推荐策略,但它们是针对个人交互流而不是会话流而设计的。本文提出了一种求解SSR问题的带有Wasserstein 库的全局属性图(GAG)神经网络模型。一方面,当新的会话到达时,基于当前会话及其关联用户构造具有全局属性的会话图。因此,GAG可以同时考虑全局属性和当前会话,以了解会话和用户的更全面的表示,从而在推荐中产生更好的性能。另一方面,为了适应流会话场景,提出了Wasserstein库来帮助保存历史数据的代表性草图。在两个真实数据集上进行了扩展实验,验证了GAG模型与最新方法相比的优越性。

网址: https://sites.google.com/site/dbhongzhi/

成为VIP会员查看完整内容
0
82

【导读】国际万维网大会(The Web Conference,简称WWW会议)是由国际万维网会议委员会发起主办的国际顶级学术会议,创办于1994年,每年举办一届,是CCF-A类会议。WWW 2020将于2020年4月20日至4月24日在中国台湾台北举行。由于疫情影响,会议在线上举行。本届会议共收到了1129篇长文投稿,录用217篇长文,录用率为19.2%。上周专知小编整理了WWW 2020 推荐系统相关论文-part2,这期小编继续为大家奉上WWW 2020六篇推荐系统相关论文-part3 供参考——上下文感知推荐、双边公平推荐、MetaSelector、视觉主题推荐、社交影响力。 WWW2020RS_Part2、WWW2020RS_Part1

1. Eficient Non-Sampling Factorization Machines for Optimal Context-Aware Recommendation

作者:Chong Chen, Min Zhang, Weizhi Ma, Yiqun Liu, and Shaoping Ma

摘要:为了提供更准确的推荐,在对用户项目交互进行建模之外考虑上下文特征已成为一个热门话题。具有负采样的因子分解机(FM)是一种流行的上下文感知推荐解决方案。然而,由于采样可能丢失重要信息,并且在实际应用中通常会导致非最优性能,因此该算法的鲁棒性不强。最近的一些努力通过使用深度学习框架建模高阶特征交互增强了FM的性能。而他们要么只关注评分预测任务,要么通常采用负采样策略来优化排名效果。由于采样的巨大的波动,我们有理由认为这些基于采样的FM方法对于上下文感知推荐仍然不是最佳的。在本文中,我们提出在不进行采样的情况下学习FM,以有助于上下文感知推荐¬¬的排名任务。尽管这种方法效率很高,但这种非采样策略对模型的学习效率提出了很大的挑战。因此,我们进一步设计了一种新的理想框架--有效非采样样因子分解机(ENSFM)。ENSFM不仅无缝连接了FM和矩阵分解(MF)之间的关系,而且通过新颖的记忆策略解决了具有挑战性的效率问题。通过在三个真实的公共数据集上的大量实验表明:1)我们提出的ENSFM的性能一致且显著优于现有的上下文感知Top-K推荐方法,2)ENSFM在训练效率上具有显著的优势,使其更适用于实际的大系统。此外,实验结果表明,对于Top-K推荐任务,合适的学习方法比先进的神经网络结构更为重要。

网址:

http://www.thuir.cn/group/~mzhang/publications/TheWebConf2020-Chenchong.pdf

代码链接:

https://github.com/chenchongthu/ENSFM

2. FairRec: Two-Sided Fairness for Personalized Recommendations in Two-Sided Platforms

作者:Gourab K Patro, Arpita Biswas, Niloy Ganguly, Krishna P. Gummadi and Abhijnan Chakraborty

摘要:我们在双边在线平台的背景下调查公平推荐(fair recommendation )问题,该平台由一边的客户和另一边的生产商组成。这些平台推荐服务的传统方法侧重于根据个人客户的个性化偏好定制结果,以实现客户满意度的最大化。然而,我们的调查显示,这种以客户为中心的设计可能会导致生产商之间曝光量的不公平分配,这可能会对他们的利益造成不利影响。另一方面,以生产商为中心的设计可能会对客户不公平。因此,我们考虑了客户和生产商之间的公平问题。我们的方法将公平推荐问题映射为一个公平分配不可分割商品问题的新颖映射。我们提出的FairRec算法可确保至少为大多数生产商提供Maximin Share(MMS)的曝光量,并为每个客户提供多达Envy-Free(EF1)的公平性。对多个真实世界数据集的广泛评估显示,FairRec在确保双面公平性的同时,在总体推荐质量方面造成了边际损失的有效性。

网址:

https://arxiv.org/pdf/2002.10764.pdf

3. MetaSelector: Meta-Learning for Recommendation with User-Level Adaptive Model Selection

作者:Mi Luo, Fei Chen, Pengxiang Cheng, Zhenhua Dong, Xiuqiang He, Jiashi Feng and Zhenguo Li

摘要:推荐系统通常面对包含高度个性化用户历史数据的异构数据集,在这些数据集中,没有哪个模型可以为每个用户提供最佳建议。我们在公共和私有数据集上都观察到了这种普遍存在的现象,并解决了模型选择问题,以追求对每个用户的推荐质量的优化。我们提出了一个元学习框架来促进推荐系统中用户级的自适应模型选择。在此框架中,我们将使用来自所有用户的数据来训练推荐者集合,然后通过元学习对模型选择器进行训练,以使用用户特定的历史数据为每个用户选择最佳的单个模型。我们在两个公共数据集和一个真实的生产数据集上进行了广泛的实验,证明了我们的框架在AUC和LogLoss方面比单一的模型基线和样本级模型选择器都有改进。特别是,当这些改进部署在在线推荐系统中时,可能会带来巨大的利润收益。

网址:

https://arxiv.org/pdf/2001.10378.pdf

4. Recommending Themes for Ad Creative Design via Visual-Linguistic Representations

作者:Yichao Zhou, Shaunak Mishra, Manisha Verma, Narayan Bhamidipati and Wei Wang

摘要:在线广告行业中经常需要更新广告创意,即用于吸引在线用户进入品牌的图像和文字。进行此类更新,是为了减少在线用户中广告疲劳的可能性,并将其他成功的广告加入到相关产品类别中。对于创意策略师来说,给定一个品牌,为一个新的广告想出主题是一个费时费力的过程。创意策略师来通常从过去广告活动中使用的图像和文字以及有关品牌的知识中汲取灵感。为了在过去的广告活动中通过此类多模态信息自动推断广告主题,我们为广告创意策略师提出了主题(关键词)推荐系统。主题推荐器基于视觉问答(VQA)任务的聚合结果,该任务提取以下内容:(i)广告图像,(ii)与广告关联的文字以及广告中品牌的Wikipedia页面,(iii)有关广告的问题。我们利用基于transformer的跨模态编码器来为VQA任务训练视觉语言表示。我们沿着分类和排序的思路研究了VQA任务的两个公式;通过在公共数据集上的实验,表明跨模态表示显著地提高了分类准确率和排序精准-召回指标。与单独的图像和文本表示相比,跨模式表示显示出更好的性能。此外,与仅使用文本或视觉信息相比,多模态信息的使用表现出显著提升。

网址:https://arxiv.org/pdf/2001.07194.pdf

5. The Structure of Social Influence in Recommender Networks

作者:Pantelis P. Analytis, Daniel Barkoczi, Philipp Lorenz-Spreen and Stefan M. Herzog

摘要:人们在品味(taste)上影响他人意见的能力各不相同-既包括离线与在线推荐系统。这些惊人差异背后的机制是什么?使用加权k最近邻算法(k-nn)表示一系列社会学习策略,我们利用网络科学的方法展示了k-nn算法如何在六个现实世界的品味领域中引发社会影响力网络。我们给出了三个新的结果,分别适用于离线建议获取和在线推荐器设置。首先,有影响力的个人具有主流品味,与其他人的品味相似性分散度很高。其次,个人或算法咨询的人越少(即k越低),或者对其他更相似的人的意见给予的权重越大,具有实质性影响的人的群体就越小。第三,对部署k-nn算法后产生的影响网络是分层组织的。我们的结果为通信和网络科学中的经典实证发现提供了新的线索,有助于提高对线下和在线上的社会影响的理解。

网址:https://www.researchgate.net/publication/338985014_The_structure_of_social_influence_in_recommender_networks

6. Latent Linear Critiquing for Conversational Recommender Systems

作者:PKai Luo, Scott Sanner, Ga Wu, Hanze Li and Hojin Yang

摘要:批判(Critiquing)是一种用于会话推荐的方法,可根据用户的偏好反馈迭代地调整建议。在该设置中,迭代地向用户提供该项目的项目推荐和属性描述;用户可以接受该推荐,或者批判项目描述中的属性以生成新的推荐。之前的批判方法主要基于显式约束和基于实用程序的方法来修改推荐(评判的项目属性)。在这篇文章中,我们回顾了基于潜在嵌入和主观项目描述(即来自用户评论的关键词)的推荐方法时代的批判方法。主要两个关键的研究问题:(1)如何将关键词批判与用户偏好嵌入一起嵌入以更新推荐,(2)如何调节多步骤批判性反馈的强度,其中批判性反馈不一定是独立的,也不一定是同等重要的。为了解决(1),我们构建了一个现有的最先进的线性嵌入推荐算法,以使基于评论的关键词属性与用户偏好嵌入保持一致。为了解决(2),我们利用嵌入和推荐预测的线性结构来建立一个基于线性规划(LP)的优化问题,以确定纳入批评反馈的最优权重。我们在两个包含模拟用户评论的推荐数据集上评估提出的框架。与对批判反馈进行平均的标准方法相比,实验结果表明,我们的方法减少了找到满意项目所需的交互次数,并提高了总体成功率。

网址:

https://ssanner.github.io/papers/www20_llc.pdf

成为VIP会员查看完整内容
0
45

【导读】国际万维网大会(The Web Conference,简称WWW会议)是由国际万维网会议委员会发起主办的国际顶级学术会议,创办于1994年,每年举办一届,是CCF-A类会议。WWW 2020将于2020年4月20日至4月24日在中国台湾台北举行。本届会议共收到了1129篇长文投稿,录用217篇长文,录用率为19.2%。近期,推荐相关也比较热门,专知小编提前整理了WWW 2020 推荐系统比较有意思的的论文,供参考——序列推荐、可解释Serendipity 推荐、推荐效率、 bandit推荐、Off-policy学习。 WWW2020RS_Part1

  1. A Contextualized Temporal Attention Mechanism for Sequential Recommendation

作者:Jibang Wu, Renqin Cai, Hongning Wang

摘要:根据用户的历史连续行为预测用户的偏好对于现代推荐系统来说是具有挑战性的,也是至关重要的。现有的序列推荐算法在建模历史事件对当前预测的影响时,大多侧重于序列行为之间的过渡结构,而很大程度上忽略了时间和上下文信息。在这篇文章中,我们认为过去的事件对用户当前行为的影响应该随着时间的推移和不同的背景而变化。因此,我们提出了一种情境时间注意力机制(Contextualized Temporal Attention),该机制可以学习权衡历史行为在行为以及行为发生的时间和方式上的影响。更具体地说,为了动态地校准来自自注意力机制的相对输入的依赖关系,我们提出了多个参数化的核函数以学习各种时间动态,然后使用上下文信息来确定每个输入要跟随哪一个kernel( reweighing kernels )。在对两个大型公开推荐数据集进行的实证评估中,我们的模型始终优于一系列最先进的序列推荐方法。

网址:

https://arxiv.org/pdf/2002.00741.pdf

  1. Directional and Explainable Serendipity Recommendation

作者:Xueqi Li, Wenjun Jiang, Weiguang Chen, Jie Wu, Guojun Wang, Kenli Li

摘要:近几年来,Serendipity推荐越来越受到人们的关注,它致力于提供既能迎合用户需求,又能开阔他们眼界的建议。然而,现有的方法通常使用标量而不是向量来度量用户与项目的相关性,忽略了用户的偏好方向,这增加了不相关推荐的风险。此外,合理的解释增加了用户的信任度和接受度,但目前没有为Serendipity推荐提供解释的工作。为了解决这些局限性,我们提出了一种有向的、可解释的Serendipity推荐方法,称为DESR。具体而言,首先采用基于高斯混合模型(GMM)的无监督方法提取用户的长期偏好,然后利用胶囊(capsule )网络捕捉用户的短期需求。然后,我们提出了将长期偏好与短期需求相结合的意外(serendipity)向量,并利用它生成有向的Serendipity推荐。最后,利用反向路径选择方案进行了解释。在真实数据集上的大量实验表明,与现有的基于意外(serendipity)发现的方法相比,DESR能够有效地提高意外性和可解释性,促进多样性。

网址 https://cis.temple.edu/~jiewu/research/publications/Publication_files/jiang_www_2020.pdf

  1. LightRec: a Memory and Search-Efficient Recommender System

作者:Defu Lian, Haoyu Wang, Zheng Liu, Jianxun Lian, Enhong Chen, Xing Xie

摘要:近年来,深度推荐系统已经取得了显着的进步。尽管具有出色的排名精度,但实际上运行效率和内存消耗在现实中却是严重的瓶颈。为了克服这两个瓶颈,我们提出了LightRec,这是一个轻量级的推荐系统,具有快速的在线推断功能和经济的内存消耗。LightRec的主干是总共B个codebooks,每个codebook均由W个潜在向量组成,称为codewords。在这种结构的顶部,LightRec将有一个商品表示为B codewords的加法组合,这些B codewords是从每个codebook中选择的最佳的。为了有效地从数据中学习codebooks,我们设计了一个端到端的学习工作流程,其中所提出的技术克服了固有差异性和多样性方面的挑战。另外,为了进一步提高表示质量,采用了几种distillation策略,可以更好地保留用户-商品的相关性得分和相对排名顺序。我们对LightRec在四个真实数据集上进行了广泛评估,得出了两个经验发现:1)与最先进的轻量级baseline相比,LightRec在召回性能方面取得了超过11%的相对改进;2)与传统推荐算法相比,在top-k推荐算法中,LightRec的精度下降幅度可以忽略不计,但速度提高了27倍以上。

网址: http://staff.ustc.edu.cn/~liandefu/paper/lightrec.pdf

  1. Hierarchical Adaptive Contextual Bandits for Resource Constraint based Recommendation

作者:Mengyue Yang, Qingyang Li, Zhiwei Qin, Jieping Ye

摘要:上下文多臂 bandit(MAB)在各种问题上实现了优异性能。然而,当涉及到推荐系统和在线广告等现实场景时,必须考虑探索的资源消耗。在实践中,通常存在与在环境中执行建议(ARM)相关联的非零成本,因此,应该在固定的探索成本约束下学习策略。由于直接学习全局最优策略是一个NP难题,并且极大地使bandit算法的探索和开发之间的权衡复杂化,因此直接学习全局最优策略是一个很大的挑战。现有的方法着重于通过采用贪婪策略来解决问题,该策略估计预期的收益和成本,并基于每个臂的预期收益/成本比使用贪婪的选择,利用历史观察直到勘探资源耗尽为止。然而,现有的方法当没有更多的资源时,学习过程就会终止,因此很难扩展到无限的时间范围。本文提出了一种分层自适应上下文bandit方法(HATCH)来进行有预算约束的上下文bandit的策略学习。HATCH采用一种自适应的方法,根据剩余资源/时间和对不同用户上下文之间报酬分配的估计来分配勘探资源。此外,我们利用充分的上下文特征信息来找到最好的个性化推荐。最后,为了证明提出的理论,我们进行了regret bound分析,并证明HATCH的regret bound低至O(√T)。实验结果证明了该方法在合成数据集和实际应用中的有效性和效率。

网址: https://arxiv.org/pdf/2004.01136.pdf

  1. Off-policy Learning in Two-stage Recommender Systems

作者:Jiaqi Ma, Zhe Zhao, Xinyang Yi, Ji Yang, Minmin Chen, Jiaxi Tang, Lichan Hong, Ed H. Chi

摘要:许多现实世界中的推荐系统需要高度可伸缩性:将数百万个项目与数十亿用户进行匹配,并只具有毫秒级的延迟。可伸缩性的要求导致了广泛使用的两阶段推荐系统,由第一阶段高效的候选生成模型和第二阶段更强大的排序模型组成。通常使用记录的用户反馈(例如,用户点击或停留时间)来构建用于推荐系统的候选生成和排名模型。虽然很容易收集大量这样的数据,但因为反馈只能在以前系统推荐的项目上观察到,因此这些数据在本质上是有偏见的。近年来,推荐系统研究领域对此类偏差的off-policy 修正引起了越来越多的关注。然而,现有的大多数工作要么假设推荐系统是一个单阶段系统,要么只研究如何将离策略校正应用于系统的候选生成阶段,而没有显式地考虑这两个阶段之间的相互作用。在这项工作中,我们提出了一种两阶段离策略(two-stage off-policy)策略梯度方法,并证明了在两阶段推荐系统中忽略这两个阶段之间的交互会导致次优策略。该方法在训练候选生成模型时明确考虑了排序模型,有助于提高整个系统的性能。我们在具有大项目空间的真实数据集上进行了实验,验证了所提方法的有效性。

网址: http://www.jiaqima.com/papers/OP2S.pdf

成为VIP会员查看完整内容
0
53

【导读】国际万维网大会(The Web Conference,简称WWW会议)是由国际万维网会议委员会发起主办的国际顶级学术会议,创办于1994年,每年举办一届,是CCF-A类会议。WWW 2020将于2020年4月20日至4月24日在中国台湾台北举行。本届会议共收到了1129篇长文投稿,录用217篇长文,录用率为19.2%。上周专知小编提前整理了WWW 2020图神经网络(GNN)比较有意思的的论文,这期小编继续为大家奉上WWW 2020推荐相关论文供参考! WWW2020GNN

  1. Correcting for Selection Bias in Learning-to-rank Systems

作者:Zohreh Ovaisi, Ragib Ahsan, Yifan Zhang, Kathryn Vasilaky and Elena Zheleva

摘要:现代推荐系统收集到的点击数据是用来训练学习排名(LTR)系统的观察数据的重要来源。然而,这些点击数据会受到许多偏差(bias)的影响,这些偏差可能会导致LTR系统的性能变差。在此类系统中,最近的偏差校正(bias correction)方法主要集中在位置偏差上,即虽然不是用户查询最相关的,但排名较高的结果(例如,顶级搜索引擎结果)更可能被点击。由于所点击的文档反映了什么文档首先向用户展示,因此大部分方法对校正选择偏差的关注较少。在本文中,我们提出了新的方法,这些方法可以适应Heckman的两阶段方法,并考虑LTR系统中的选择偏差和位置偏差。我们的实验评估表明,与现有的无偏LTR算法相比,我们提出的方法对噪声的鲁棒性更高,并且具有更好的准确性,尤其是在存在中度偏差到无位置偏差的情况下。

网址: https://arxiv.org/abs/2001.11358

  1. Efficient Neural Interaction Function Search for Collaborative Filtering

作者:Quanming Yao, Xiangning Chen, James T. Kwok, Yong Li and Cho-Jui Hsieh

摘要:在协同过滤(CF)中,交互函数(IFC)扮演着捕获项目和用户之间交互的重要角色。最流行的交互函数(IFC)是内积,它已经成功地应用于低阶矩阵分解。然而,现实世界应用中的交互可能非常复杂。因此,可以提供更好性能的操作(例如:串联和级联)被提出。然而,现有的IFC仍然很难在不同的应用场景中保持一致的良好性能。受AutoML的启发,本文提出在CF中寻找简单神经交互函数(SIF)。通过对现有CF方法的研究和推广,设计了一种具有表现力的SIF搜索空间,并将其表示为结构化的多层感知机。我们提出了一种one-shot搜索算法,可以同时更新体系结构和学习参数。 实验结果表明,所提出的方法比流行的AutoML方法效率更高,比最新的CF方法可以获得更好的预测性能,并且可以针对不同的数据集和任务发现不同的IFC。

网址: https://arxiv.org/abs/1906.12091

  1. Influence Function based Data Poisoning Attacks to Top-N Recommender Systems

作者:Minghong Fang, Neil Zhenqiang Gong and Jia Liu

摘要:推荐系统是Web服务中吸引用户的重要组成部分。流行的推荐系统使用大量众包用户-项目交互数据(例如评级得分)对用户偏好和项目属性进行建模;然后,将与用户偏好最匹配的前N个项目推荐给用户。在这项工作中,我们展示了攻击者可以通过向虚假用户注入精心制作的用户-项目交互数据,对推荐系统发起数据中毒攻击,从而按照攻击者的意愿进行推荐。具体地说,攻击者可以诱导推荐系统向尽可能多的普通用户推荐目标项目。我们关注已经在行业中得到了广泛的应用的基于矩阵分解的推荐系统。给定攻击者可以注入的虚假用户数量,我们将虚假用户评分的制定过程描述为一个优化问题。但是,该优化问题是一个非凸整数规划问题,求解起来很有挑战性。为了解决这一挑战,我们开发了几种技术来近似解决优化问题。例如,我们利用影响函数(influence function)来选择对推荐有影响力的普通用户子集,并基于这些有影响力的用户来解决我们制定的优化问题。实验结果表明,我们的攻击是有效的,并且优于现有的方法。

网址: https://arxiv.org/abs/2002.08025

  1. Learning Multi-granular Quantized Embeddings for Large-Vocab Categorical Features in Recommender Systems

作者:Wang-Cheng Kang,Derek Zhiyuan Cheng, Ting Chen, Xinyang Yi, Dong Lin, Lichan Hong and Ed H. Chi

摘要:推荐系统模型通常通过嵌入来表示像用户、项目和分类特征这类的稀疏特征。标准方法是将每个唯一的特征值映射为嵌入向量。所产生的嵌入表的大小随着词汇表的大小线性增长。因此,大词汇量不可避免地会导致巨大的嵌入表,从而产生两个严重的问题:(I)使服务于资源紧张环境中的模型变得难以处理;(ii)造成过拟合的问题。在本文中,我们致力于学习用于推荐系统(recsys)中大型词汇稀疏特征的高度简洁的嵌入。首先,我们证明了新的可微积量化( Differentiable Product Quantization,DPQ)方法可以推广到Recsys问题。此外,为了更好地处理Recsys中常见的幂律数据分布,我们提出了一种多粒度量化嵌入(MGQE)技术,该技术对不频繁的项目学习更简单的嵌入。我们尝试以简单的模型规模为提高推荐性能提供一个新的角度。在三个推荐任务和两个数据集上的大量实验表明,我们可以用原始模型规模的20%的模型获得与原模型相当甚至更好的性能。

网址: https://arxiv.org/abs/2002.08530

  1. Beyond Clicks: Modeling Multi-Relational Item Graph for Session-Based Target Behavior Prediction

作者:Wen Wang, Wei Zhang, Shukai Liu, Bo Zhang, Leyu Lin and Hongyuan Zha

摘要:基于会话的目标行为预测旨在预测要与特定行为类型(例如,点击)进行交互的下一个项目。虽然现有的基于会话的行为预测方法利用强大的表示学习方法来编码项目在低维空间中的顺序相关性,但是它们受到一些限制。首先,它们侧重于只利用同一类型的用户行为进行预测,而忽略了将其他行为数据作为辅助信息的潜力。当目标行为稀疏但很重要(例如,购买或共享物品)时,这一点尤为重要。其次,项目到项目的关系是在一个行为序列中单独和局部建模的,缺乏一种规定的方法来更有效地全局编码这些关系。为了克服这些局限性,我们提出了一种新的基于会话的目标行为预测的多关系图神经网络模型MGNN-SPred。具体地说,我们基于来自所有会话的所有行为序列(涉及目标行为类型和辅助行为类型)构建多关系项目图(Multi-Relational Item Graph,MRIG)。在MRIG的基础上,MGNN-SPred学习全局项目与项目之间的关系,进而获得用户偏好。即分别为当前目标行为序列和辅助行为序列。最后,MGNN-SPred利用门控机制自适应地融合用户表示,以预测与目标行为交互的下一项目。在两个真实数据集上的广泛实验证明了MGNN-SPred与最新的基于会话的预测方法相比的优越性,验证了利用辅助行为和基于MRIG学习项目到项目关系的优点。

网址: https://arxiv.org/abs/2002.07993

  1. Towards Detection of Subjective Bias using Contextualized Word Embeddings

作者:Tanvi Dadu, Kartikey Pant and Radhika Mamidi

摘要:主观偏见检测(Subjective bias detection)对于宣传检测、内容推荐、情感分析和偏见消除等应用至关重要。这种偏见是在自然语言中通过煽动性的词语和短语引入的,使人对事实产生怀疑,并预设事实。在这项工作中,我们在维基中立性语料库(WNC)上使用基于BERT的模型进行了全面的主观偏见检测实验。数据集为36万个来自维基百科并删除了各种偏见的标记实例组成。我们进一步提出了基于BERT的集成,其性能优于BERT_large之类的最新方法5.6 F1 score。

网址: https://arxiv.org/abs/2002.06644

成为VIP会员查看完整内容
0
45
小贴士
相关论文
Pointer Graph Networks
Petar Veličković,Lars Buesing,Matthew C. Overlan,Razvan Pascanu,Oriol Vinyals,Charles Blundell
5+阅读 · 6月11日
Memory Augmented Graph Neural Networks for Sequential Recommendation
Chen Ma,Liheng Ma,Yingxue Zhang,Jianing Sun,Xue Liu,Mark Coates
9+阅读 · 2019年12月26日
Xiang Wang,Xiangnan He,Meng Wang,Fuli Feng,Tat-Seng Chua
6+阅读 · 2019年5月20日
Xiangnan He,Zhankui He,Jingkuan Song,Zhenguang Liu,Yu-Gang Jiang,Tat-Seng Chua
3+阅读 · 2018年9月19日
Next Item Recommendation with Self-Attention
Shuai Zhang,Yi Tay,Lina Yao,Aixin Sun
4+阅读 · 2018年8月25日
Jianxun Lian,Xiaohuan Zhou,Fuzheng Zhang,Zhongxia Chen,Xing Xie,Guangzhong Sun
6+阅读 · 2018年3月15日
Ryohei Hisano
3+阅读 · 2018年2月22日
Yi Tay,Luu Anh Tuan,Siu Cheung Hui
10+阅读 · 2018年1月28日
Lei Zhang,Shuai Wang,Bing Liu
22+阅读 · 2018年1月24日
Jing Li,Pengjie Ren,Zhumin Chen,Zhaochun Ren,Jun Ma
5+阅读 · 2017年11月13日
Top