【导读】国际万维网大会(The Web Conference,简称WWW会议)是由国际万维网会议委员会发起主办的国际顶级学术会议,创办于1994年,每年举办一届,是CCF-A类会议。WWW 2020将于2020年4月20日至4月24日在中国台湾台北举行。本届会议共收到了1129篇长文投稿,录用217篇长文,录用率为19.2%。近期,随着会议的临近,有很多paper放出来,几周前专知小编整理了WWW 2020图神经网络(GNN)比较有意思的论文,这期小编继续为大家奉上WWW 2020五篇GNN相关论文供参考——对抗攻击、Heterogeneous Graph Transformer、图生成、多关系GNN、知识库补全。

WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、EMNLP2019GNN、ICCV2019GNN_Part2、ICCV2019GNN_Part1、NIPS2019GNN、IJCAI2019GNN_Part1、IJCAI2019GNN_Part2、KDD2019GNN、ACL2019GNN、CVPR2019GNN、ICML2019GNN

  1. Adversarial Attack on Community Detection by Hiding Individuals

作者:Jia Li, Honglei Zhang, Zhichao Han, Yu Rong, Hong Cheng and Junzhou Huang

摘要:已经证明,添加了不可察觉扰动的对抗图(adversarial graphs),会导致深层图模型在节点/图分类任务中失败。在本文中,我们将对抗性图扩展到困难得多的社区发现(community detection)问题上。我们关注黑盒攻击,致力于隐藏目标个体,使其不被深度图社区检测模型检测到,该模型在现实场景中有很多应用,例如,保护社交网络中的个人隐私,理解交易网络中的伪装模式。我们提出了一个迭代学习框架,轮流更新两个模块:一个作为约束图生成器,另一个作为替代社区发现模型。我们还发现,我们的方法生成的对抗图可以迁移到其他基于社区发现模型的学习中。

网址:https://arxiv.org/abs/2001.07933

  1. Heterogeneous Graph Transformer

作者:Ziniu Hu, Yuxiao Dong, Kuansan Wang and Yizhou Sun

摘要:近年来,图神经网络(GNNs)在结构化数据建模方面取得了突飞猛进的成功。然而,大多数GNN都是为同质图(所有的节点和边都属于相同的类型)设计的,这使得这些GNN不能表示异构结构。在这篇文章中,我们提出了异构图转换器(HGT)结构来建模Web规模的异构图。为了建模异构性,我们设计了与节点和边类型相关的参数来表征对每条边的异构关注,使得HGT能够维护不同类型的节点和边的专有表示。为了处理动态异构图,我们将相对时间编码技术引入到HGT中,能够捕获任意持续时间的动态结构依赖关系。为了处理Web规模的图数据,我们设计了异构小批量图采样算法HGSamples,以实现高效和可扩展的训练。在具有1.79亿个节点和20亿条边的开放学术图上的广泛实验表明,本文所提出的HGT模型在各种下游任务上的性能一致地比所有最新的GNN基线高出9%-21%。

网址:https://arxiv.org/abs/2003.01332

代码链接:https://github.com/acbull/pyHGT

  1. GraphGen: A Scalable Approach to Domain-agnostic Labeled Graph Generation

作者:Nikhil Goyal, Harsh Vardhan Jain and Sayan Ranu

摘要:图生成模型在数据挖掘领域中得到了广泛的研究。传统的技术基于预定义分布的生成结构,而最近的技术已转向直接从数据中学习此分布。虽然基于学习的方法在质量上有了显著的提高,但仍有一些缺点需要解决。首先,学习图的分布会带来额外的计算开销,这就限制了这些方法对大型图数据库的可扩展性。第二,许多方法只学图结构,并没有学习节点和边的标签(这些标签编码重要的语义信息会影响结构自身)。第三,现有技术往往包含领域的特定规则,缺乏通用性。第四,现有方法的实验部分要么使用了较弱的评估指标,要么主要集中在合成数据或小数据集上,实验不够全面上。在这项工作中,我们提出了一种称为GraphGen的域未知(domain-agnostic)技术来克服所有这些缺点,GraphGen使用最少的DFS代码将图转换为序列。最小DFS码是规范化的标签,并且可以精确地捕捉图结构和标签信息。本文通过一种新的LSTM结构学习结构标签和语义标签之间复杂的联合分布。在百万级的真实图数据集上的广泛实验表明,GraphGen的平均速度是最先进方法的4倍,同时在11个不同指标的综合集合中质量明显更好。

网址:https://arxiv.org/abs/2001.08184

代码链接:

https://github.com/idea-iitd/graphgen

  1. Beyond Clicks: Modeling Multi-Relational Item Graph for Session-Based Target Behavior Prediction

作者:Wen Wang, Wei Zhang, Shukai Liu, Bo Zhang, Leyu Lin and Hongyuan Zha

摘要:基于会话的目标行为预测旨在预测要与特定行为类型(例如,点击)交互的下一项。虽然现有的基于会话的行为预测方法利用强大的表示学习方法来编码项目在低维空间中的顺序相关性,但是它们受到一些限制。首先,之前的方法侧重于只利用同一类型的用户行为进行预测,而忽略了将其他行为数据作为辅助信息的潜力。当目标行为稀疏但很重要(例如,购买或共享物品)时,辅助信息尤为重要。其次,项目到项目的关系是在一个行为序列中单独和局部建模的,缺乏一种规定的方法来更有效地全局编码这些关系。为了克服这些局限性,我们提出了一种新的基于会话的多关系图神经网络模型(MGNN-SPred)。具体地说,我们基于来自所有会话的所有行为序列(涉及目标行为类型和辅助行为类型)构建多关系项目图(Multi-Relational Item Graph,MRIG)。在MRIG的基础上,MGNN-SPred学习全局项目与项目之间的关系,进而获得用户偏好分别作为为当前目标行为序列和辅助行为序列。最后,MGNN-SPred利用门控机制自适应地融合用户表示,以预测与目标行为交互的下一项。在两个真实数据集上的广泛实验证明了MGNN-SPred与最新的基于会话的预测方法相比的优越性,验证了利用辅助行为和基于MRIG学习项目到项目关系的优点。

网址:https://arxiv.org/abs/2002.07993

  1. Open Knowledge Enrichment for Long-tail Entities

作者:Ermei Cao, Difeng Wang, Jiacheng Huang and Wei Hu

摘要:知识库(KBS)已经逐渐成为许多人工智能应用的宝贵资产。虽然目前的许多知识库相当大,但它们被是不完整的,特别是缺乏长尾实体(例如:不太有名的人)。现有的方法主要通过补全缺失连接或补齐缺失值来丰富知识库。然而,它们只解决了充实知识库问题的一部分,缺乏对长尾实体的具体考虑。在这篇文章中,我们提出了一种新颖的知识补齐方法,它从开放的Web中预测缺失的属性并推断出长尾实体的真实值。利用来自流行实体的先验知识来改进每个充实步骤。我们在合成数据集和真实数据集上的实验以及与相关工作的比较表明了该方法的可行性和优越性。

网址:https://arxiv.org/abs/2002.06397

成为VIP会员查看完整内容
0
66

相关内容

【导读】作为世界数据挖掘领域的最高级别的学术会议,ACM SIGKDD(国际数据挖掘与知识发现大会,简称 KDD)每年都会吸引全球领域众多专业人士参与。今年的 KDD大会计划将于 2020 年 8 月 23 日 ~27 日在美国美国加利福尼亚州圣地亚哥举行。上周,KDD 2020官方发布接收论文,共有1279篇论文提交到Research Track,共216篇被接收,接收率16.8%。近期KDD官网公布了接受论文列表,为此,上个月专知小编为大家整理了图神经网络相关的论文,这期小编继续为大家奉上KDD 2020必读的五篇图神经网络(GNN)相关论文-Part 2——多层次GCN、无监督预训练GCN、图Hash、GCN主题模型、采样

KDD 2020 Accepted Paper: https://www.kdd.org/kdd2020/accepted-papers

KDD2020GNN_Part1、CVPR2020SGNN、CVPR2020GNN_Part2、CVPR2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、EMNLP2019GNN、ICCV2019GNN_Part2、ICCV2019GNN_Part1、NIPS2019GNN、IJCAI2019GNN_Part1、IJCAI2019GNN_Part2、KDD2019GNN、

1. Multi-level Graph Convolutional Networks for Cross-platform Anchor Link Prediction

作者:Hongxu Chen, Hongzhi Yin, Xiangguo Sun, Tong Chen, Bogdan Gabrys, Katarzyna Musial

摘要:跨平台的账号匹配在社交网络分析中发挥着重要作用,并且有利于广泛的应用。然而,现有的方法要么严重依赖于高质量的用户生成内容(包括用户兴趣模型),要么只关注网络拓扑结构,存在数据不足的问题,这使得研究这个方向变得很困难。为了解决这一问题,我们提出了一种新的框架,该框架统一考虑了局部网络结构和超图结构上的多级图卷积。该方法克服了现有工作中数据不足的问题,并且不一定依赖于用户的人口统计信息。此外,为了使所提出的方法能够处理大规模社交网络,我们提出了一种两阶段的空间协调机制,在基于网络分区的并行训练和跨不同社交网络的帐户匹配中对齐嵌入空间。我们在两个大规模的真实社交网络上进行了广泛的实验。实验结果表明,该方法的性能比现有的模型有较大幅度的提高。

网址:

https://arxiv.org/abs/2006.01963

2. GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training

作者:Jiezhong Qiu, Qibin Chen, Yuxiao Dong, Jing Zhang, Hongxia Yang, Ming Ding, Kuansan Wang, Jie Tang

摘要:图表示学习已经成为解决现实问题的一种强有力的技术。包括节点分类、相似性搜索、图分类和链接预测在内的各种下游图学习任务都受益于它的最新发展。然而,关于图表示学习的现有技术集中于领域特定的问题,并为每个图训练专用模型,这通常不可转移到领域之外的数据。受自然语言处理和计算机视觉在预训练方面的最新进展的启发,我们设计了图对比编码(Graph Contrastive Coding,GCC)一个无监督的图表示学习框架来捕捉跨多个网络的通用网络拓扑属性。我们将GCC的预训练任务设计为网络内部和网络之间的子图级别的实例判断,并利用对比学习来增强模型学习内在的和可迁移的结构表征能力。我们在三个图学习任务和十个图数据集上进行了广泛的实验。结果表明,GCC在一组不同的数据集上进行预训练,可以获得与从头开始的特定任务训练的方法相媲美或更好的性能。这表明,预训练和微调范式对图表示学习具有巨大的潜力。

网址:

https://arxiv.org/abs/2006.09963

代码链接:

https://github.com/THUDM/GCC

3. GHashing: Semantic Graph Hashing for Approximate Similarity Search in Graph Databases

作者:Zongyue Qin, Yunsheng Bai, Yizhou Sun

摘要:图相似搜索的目的是根据给定的邻近度,即图编辑距离(GED),在图形数据库中找到与查询最相似的图。这是一个被广泛研究但仍具有挑战性的问题。大多数研究都是基于剪枝验证框架,该框架首先对非看好的图进行剪枝,然后在较小的候选集上进行验证。现有的方法能够管理具有数千或数万个图的数据库,但由于其精确的剪枝策略,无法扩展到更大的数据库。受到最近基于深度学习的语义哈希(semantic hashing)在图像和文档检索中的成功应用的启发,我们提出了一种新的基于图神经网络(GNN)的语义哈希,即GHash,用于近似剪枝。我们首先用真实的GED结果训练GNN,以便它学习生成嵌入和哈希码,以保持图之间的GED。然后建立哈希索引以实现恒定时间内的图查找。在回答一个查询时,我们使用哈希码和连续嵌入作为两级剪枝来检索最有希望的候选对象,并将这些候选对象发送到精确的求解器进行最终验证。由于我们的图哈希技术利用了近似剪枝策略,与现有方法相比,我们的方法在保持高召回率的同时,实现了显著更快的查询时间。实验表明,该方法的平均速度是目前唯一适用于百万级数据库的基线算法的20倍,这表明GHash算法成功地为解决大规模图形数据库的图搜索问题提供了新的方向。

网址:

http://web.cs.ucla.edu/~yzsun/papers/2020_KDD_GHashing.pdf

4. Graph Structural-topic Neural Network

作者:Qingqing Long, Yilun Jin, Guojie Song, Yi Li, Wei Lin

摘要:图卷积网络(GCNS)通过有效地收集节点的局部特征,取得了巨大的成功。然而,GCNS通常更多地关注节点特征,而较少关注邻域内的图结构,特别是高阶结构模式。然而,这种局部结构模式被显示为许多领域中的节点属性。此外,由于网络很复杂,每个节点的邻域由各种节点和结构模式的混合组成,不只是单个模式,所有这些模式上的分布都很重要。相应地,在本文中,我们提出了图结构主题神经网络,简称GraphSTONE,这是一种利用图的主题模型的GCN模型,使得结构主题广泛地从概率的角度捕捉指示性的图结构,而不仅仅是几个结构。具体地说,我们使用 anonymous walks和Graph Anchor LDA(一种LDA的变体,首先选择重要的结构模式)在图上建立主题模型,以降低复杂性并高效地生成结构主题。此外,我们设计了多视图GCNS来统一节点特征和结构主题特征,并利用结构主题来指导聚合。我们通过定量和定性实验对我们的模型进行了评估,我们的模型表现出良好的性能、高效率和清晰的可解释性。

网址:

https://arxiv.org/abs/2006.14278

代码链接:

https://github.com/YimiAChack/GraphSTONE/

5. Minimal Variance Sampling with Provable Guarantees for Fast Training of Graph Neural Networks

作者:Weilin Cong, Rana Forsati, Mahmut Kandemir, Mehrdad Mahdavi

摘要:抽样方法(如节点抽样、分层抽样或子图抽样)已成为加速大规模图神经网络(GNNs)训练不可缺少的策略。然而,现有的抽样方法大多基于图的结构信息,忽略了最优化的动态性,导致随机梯度估计的方差较大。高方差问题在非常大的图中可能非常明显,它会导致收敛速度慢和泛化能力差。本文从理论上分析了抽样方法的方差,指出由于经验风险的复合结构,任何抽样方法的方差都可以分解为前向阶段的嵌入近似方差和后向阶段的随机梯度方差,这两种方差都必须减小,才能获得较快的收敛速度。我们提出了一种解耦的方差减小策略,利用(近似)梯度信息自适应地对方差最小的节点进行采样,并显式地减小了嵌入近似引入的方差。理论和实验表明,与现有方法相比,该方法即使在小批量情况下也具有更快的收敛速度和更好的泛化能力。

网址:

https://arxiv.org/abs/2006.13866

成为VIP会员查看完整内容
0
121

【导读】计算语言学协会(the Association for Computational Linguistics, ACL)年度会议作为顶级的国际会议,在计算语言学和自然语言处理领域一直备受关注。其接收的论文覆盖了语义分析、文本挖掘、信息抽取、问答系统、机器翻译、情感分析和意见挖掘等众多自然语言处理领域的研究方向。今年,第58届计算语言学协会(the Association for Computational Linguistics, ACL)年度会议将于2020年7月5日至10日在美国华盛顿西雅图举行。受COVID-19疫情影响,ACL 2020将全部改为线上举行。本次ACL大会共提交了3429篇论文,共有571篇长论文、以及208篇短论文入选。不久之前,专知小编为大家整理了大会的图神经网络(GNN)相关论文,这期小编继续为大家奉上ACL 2020图神经网络(GNN)相关论文-Part 2供参考——多文档摘要、多粒度机器阅读理解、帖子争议检测、GAE。

ACL2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN

1. Leveraging Graph to Improve Abstractive Multi-Document Summarization

作者:Wei Li, Xinyan Xiao, Jiachen Liu, Hua Wu, Haifeng Wang, Junping Du

摘要:捕捉文本单元之间关系图对于从多个文档中检测显著信息和生成整体连贯的摘要有很大好处。本文提出了一种神经抽取多文档摘要(MDS)模型,该模型可以利用文档的常见图表示,如相似度图和话语图(discourse graph),来更有效地处理多个输入文档并生成摘要。我们的模型使用图对文档进行编码,以捕获跨文档关系,这对于总结长文档至关重要。我们的模型还可以利用图来指导摘要的生成过程,这有利于生成连贯而简洁的摘要。此外,预训练的语言模型可以很容易地与我们的模型相结合,进一步提高了摘要的性能。在WikiSum和MultiNews数据集上的实验结果表明,所提出的体系结构在几个强大的基线上带来了实质性的改进。

网址: https://arxiv.org/abs/2005.10043

2. Document Modeling with Graph Attention Networks for Multi-grained Machine Reading Comprehension

作者:Bo Zheng, Haoyang Wen, Yaobo Liang, Nan Duan, Wanxiang Che, Daxin Jiang, Ming Zhou, Ting Liu

摘要:“自然问题”是一种具有挑战性的新的机器阅读理解基准,其中包含两个答案:长答案(通常是一个段落)和短答案(长答案中的一个或多个实体)。尽管此基准测试的现有方法很有效,但它们在训练期间单独处理这两个子任务,忽略了它们间的依赖关系。为了解决这个问题,我们提出了一种新颖的多粒度机器阅读理解框架,该框架专注于对文档的分层性质进行建模,这些文档具有不同的粒度级别:文档、段落、句子和词。我们利用图注意力网络来获得不同层次的表示,以便它们可以同时学习。长答案和短答案可以分别从段落级表示和词级表示中提取。通过这种方式,我们可以对两个粒度的答案之间的依赖关系进行建模,以便为彼此提供证据。我们联合训练这两个子任务,实验表明,我们的方法在长答案和短答案标准上都明显优于以前的系统。

网址: https://arxiv.org/abs/2005.05806

代码链接:

https://github.com/DancingSoul/NQ_BERT-DM

3. Integrating Semantic and Structural Information with Graph Convolutional Network for Controversy Detection

作者:Lei Zhong, Juan Cao, Qiang Sheng, Junbo Guo, Ziang Wang

摘要:识别社交媒体上有争议的帖子是挖掘公众情绪、评估事件影响、缓解两极分化观点的基础任务。然而,现有的方法不能1)有效地融合来自相关帖子内容的语义信息;2)保留回复关系建模的结构信息;3)正确处理与训练集中主题不同的帖子。为了克服前两个局限性,我们提出了主题-帖子-评论图卷积网络(TPC-GCN),它综合了来自主题、帖子和评论的图结构和内容的信息,用于帖子级别的争议检测。对于第三个限制,我们将模型扩展到分离的TPC-GCN(DTPC-GCN),将主题相关和主题无关的特征分离出来,然后进行动态融合。在两个真实数据集上的大量实验表明,我们的模型优于现有的方法。结果和实例分析表明,该模型能够将语义信息和结构信息有机地结合在一起,具有较强的通用性。

网址: https://arxiv.org/abs/2005.07886

4. Knowledge Graph-Augmented Abstractive Summarization with Semantic-Driven Cloze Reward

作者:Luyang Huang, Lingfei Wu, Lu Wang

摘要:用于抽取摘要的序列到序列(sequence-to-sequence )模型已经被广泛研究,但是生成的摘要通常受到捏造的内容的影响,并且经常被发现是near-extractive的。我们认为,为了解决这些问题,摘要生成器应通过输入获取语义解释,例如通过结构化表示,以允许生成更多信息的摘要。在本文中,我们提出了一种新的抽取摘要框架--Asgard,它具有图形增强和语义驱动的特点。我们建议使用双重编码器-序列文档编码器和图形结构编码器-来保持实体的全局上下文和局部特征,并且相互补充。我们进一步设计了基于多项选择完形填空测试的奖励,以驱动模型更好地捕捉实体交互。结果表明,我们的模型在纽约时报和CNN/每日邮报的数据集上都比没有知识图作为输入的变体产生了更高的Rouge分数。与从大型预训练的语言模型中优化的系统相比,我们也获得了更好或可比的性能。评委进一步认为我们的模型输出信息更丰富,包含的不实错误更少。

网址: https://arxiv.org/abs/2005.01159

5. A Graph Auto-encoder Model of Derivational Morphology

作者:Valentin Hofmann, Hinrich Schutze, Janet B. Pierrehumberty

摘要:关于派生词的形态良好性(morphological well-formedness, MWF)建模工作在语言学中被认为是一个复杂而困难的问题,并且这方面的研究工作较少。我们提出了一个图自编码器学习嵌入以捕捉派生词中词缀和词干的兼容性信息。自编码器通过将句法和语义信息与来自心理词典的关联信息相结合,很好地模拟了英语中的MWF。

网址: http://www.phon.ox.ac.uk/jpierrehumbert/publications/Hofmann_etal_DGA_ACL2020.pdf

成为VIP会员查看完整内容
0
85

【导读】作为CCF推荐的A类国际学术会议,International ACM SIGIR Conference on Research and Development in Information Retrieval(国际计算机学会信息检索大会,简称 SIGIR)在信息检索领域享有很高的学术声誉,每年都会吸引全球众多专业人士参与。今年的 SIGIR 2020计划将于 2020年7月25日~30日在中国西安举行。本次大会共有555篇长文投稿,仅有147篇长文被录用,录用率约26%。专知小编提前为大家整理了六篇SIGIR 2020 基于图神经网络的推荐(GNN+RS)相关论文,这六篇论文分别出自中科大何向南老师和和昆士兰大学阴红志老师团队,供大家参考——捆绑推荐、Disentangled GCF、服装推荐、多行为推荐、全局属性GNN

CVPR2020SGNN、CVPR2020GNN_Part2、CVPR2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、EMNLP2019GNN、ICCV2019GNN_Part2、ICCV2019GNN_Part1、NIPS2019GNN、IJCAI2019GNN_Part1、IJCAI2019GNN_Part2、KDD2019GNN、ACL2019GNN、CVPR2019GNN

1. Bundle Recommendation with Graph Convolutional Networks

作者:Jianxin Chang, Chen Gao, Xiangnan He, Yong Li, Depeng Jin

摘要:捆绑推荐(Bundle recommendation )旨在推荐一组商品供用户整体消费。现有的解决方案通过共享模型参数或多任务学习的方式将用户项目交互建模集成到捆绑推荐中,然而,这些方法不能显式建模项目与捆绑包(bundles)之间的隶属关系,不能探索用户选择捆绑包时的决策。在这项工作中,我们提出了一个用于捆绑推荐的图神经网络模型BGCN(Bundle Graph Convolutional Network)。BGCN将用户-项目交互、用户-捆绑包交互和捆绑包-项目从属关系统一到一个异构图中。以项目节点为桥梁,在用户节点和捆绑包节点之间进行图卷积传播,使学习到的表示能够捕捉到项目级的语义。通过基于hard-negative采样器的训练,可以进一步区分用户对相似捆绑包的细粒度偏好。在两个真实数据集上的实验结果表明,BGCN的性能有很高的提升,其性能比最新的基线高出10.77%到23.18%。

网址: https://arxiv.org/abs/2005.03475

2. Disentangled Graph Collaborative Filtering

作者:Xiang Wang, Hongye Jin, An Zhang, Xiangnan He, Tong Xu, Tat-Seng Chua

摘要:从交互数据中学习用户和项目的信息表示对于协同过滤(CF)至关重要。当前的嵌入函数利用用户-项目关系来丰富表示,从单个用户-项目实例演变为整体交互图。然而,这些方法在很大程度上以统一的方式对关系进行建模,而忽略了用户采用这些项目的意图的多样性,这可能是为了打发时间,为了兴趣,或者为其他人(如家庭)购物。这种统一的对用户兴趣建模的方法很容易导致次优表示,不能对不同的关系建模并在表示中分清用户意图。在这项工作中,我们特别关注用户意图细粒度上的用户-项目关系。因此,我们设计了一种新的模型- Disentangled图协同过滤(Disentangled Graph Collaborative Filtering ,DGCF),来理清这些因素并产生disentangled的表示。具体地说,通过在每个用户-项目交互意图上的分布建模,我们迭代地细化意图感知的交互图和表示。同时,我们鼓励不同的意图独立。这将生成disentangled的表示,有效地提取与每个意图相关的信息。我们在三个基准数据集上进行了广泛的实验,DGCF与NGCF、DisenGCN和MacridV AE这几个最先进的模型相比取得了显著的改进。进一步的分析揭示了DGCF在分解用户意图和表示的可解释性方面的优势。

网址:

http://staff.ustc.edu.cn/~hexn/

代码链接:

https://github.com/xiangwang1223/disentangled_graph_collaborative_filtering.

3. GCN-Based User Representation Learning for Unifying Robust Recommendation and Fraudster Detection

作者:Shijie Zhang, Hongzhi Yin, Tong Chen, Quoc Viet Nguyen Hung, Zi Huang, Lizhen Cui

摘要:近年来,推荐系统已经成为所有电子商务平台中不可缺少的功能。推荐系统的审查评级数据通常来自开放平台,这可能会吸引一群恶意用户故意插入虚假反馈,试图使推荐系统偏向于他们。此类攻击的存在可能会违反高质量数据始终可用的建模假设,而这些数据确实会影响用户的兴趣和偏好。因此,构建一个即使在攻击下也能产生稳定推荐的健壮推荐系统具有重要的现实意义。本文提出了一种基于GCN的用户表示学习框架GraphRf,该框架能够统一地进行稳健的推荐和欺诈者检测。在其端到端学习过程中,用户在欺诈者检测模块中被识别为欺诈者的概率自动确定该用户的评级数据在推荐模块中的贡献;而在推荐模块中输出的预测误差作为欺诈者检测模块中的重要特征。因此,这两个组成部分可以相互促进。经过大量的实验,实验结果表明我们的GraphRf在鲁棒评级预测和欺诈者检测这两个任务中具有优势。此外,所提出的GraphRf被验证为对现有推荐系统上的各种攻击具有更强的鲁棒性。

网址:

https://arxiv.org/abs/2005.10150

4. Hierarchical Fashion Graph Network for Personalized Outfit Recommendation

作者:Xingchen Li, Xiang Wang, Xiangnan He, Long Chen, Jun Xiao, Tat-Seng Chua

摘要:服装推荐越来越受到网购服务商和时尚界的关注。与向用户推荐单个单品(例如,朋友或图片)的其他场景(例如,社交网络或内容共享)不同,服装推荐预测用户对一组匹配良好的时尚单品的偏好。因此,进行高质量的个性化服装推荐应满足两个要求:1)时尚单品的良好兼容性;2)与用户偏好的一致性。然而,目前的研究主要集中在其中一个需求上,只考虑了用户-全套服装(outfit)或全套服装-项目的关系,从而容易导致次优表示,限制了性能。在这项工作中,我们统一了两个任务,服装兼容性建模和个性化服装推荐。为此,我们开发了一个新的框架,层次时尚图网络(HFGN),用于同时建模用户、商品和成套服装之间的关系。特别地,我们构建了一个基于用户-全套服装交互和全套服装-项目映射的层次结构。然后,我们从最近的图神经网络中得到启发,在这种层次图上使用嵌入传播,从而将项目信息聚合到一个服装表示中,然后通过他/她的历史服装来提炼用户的表示。此外,我们还对这两个任务进行了联合训练,以优化这些表示。为了证明HFGN的有效性,我们在一个基准数据集上进行了广泛的实验,HFGN在NGNN和FHN等最先进的兼容性匹配模型基础上取得了显著的改进。

网址:

https://arxiv.org/abs/2005.12566

代码链接:

https://github.com/xcppy/hierarchical_fashion_graph_network

5. Multi-behavior Recommendation with Graph Convolutional Networks

作者:Bowen Jin, Chen Gao, Xiangnan He, Depeng Jin, Yong Li

摘要:传统的推荐模型通常只使用一种类型的用户-项目交互,面临着严重的数据稀疏或冷启动问题。利用多种类型的用户-项目交互(例如:点击和收藏)的多行为推荐可以作为一种有效的解决方案。早期的多行为推荐研究未能捕捉到行为对目标行为的不同程度的影响。它们也忽略了多行为数据中隐含的行为语义。这两个限制都使得数据不能被充分利用来提高对目标行为的推荐性能。在这项工作中,我们创新性地构造了一个统一的图来表示多行为数据,并提出了一种新的模型--多行为图卷积网络(Multi-Behavior Graph Convolutional Network,MBGCN)。MBGCN通过用户-项目传播层学习行为强度,通过项目-项目传播层捕获行为语义,较好地解决了现有工作的局限性。在两个真实数据集上的实验结果验证了该模型在挖掘多行为数据方面的有效性。我们的模型在两个数据集上的性能分别比最优基线高25.02%和6.51%。对冷启动用户的进一步研究证实了该模型的实用性。

网址:

http://staff.ustc.edu.cn/~hexn/

6. GAG: Global Atributed Graph Neural Network for Streaming Session-based Recommendation

作者:Ruihong Qiu, Hongzhi Yin, Zi Huang, Tong Chen

摘要:基于流会话的推荐(Streaming session-based recommendation,SSR)是一项具有挑战性的任务,它要求推荐器系统在流媒体场景(streaming scenario)中进行基于会话的推荐(SR)。在电子商务和社交媒体的现实应用中,在一定时间内产生的一系列用户-项目交互被分组为一个会话,这些会话以流的形式连续到达。最近的SR研究大多集中在静态集合上,即首先获取训练数据,然后使用该集合来训练基于会话的推荐器模型。他们需要对整个数据集进行几个epoch的训练,这在流式设置下是不可行的。此外,由于对用户信息的忽视或简单使用,它们很难很好地捕捉到用户的长期兴趣。虽然最近已经提出了一些流推荐策略,但它们是针对个人交互流而不是会话流而设计的。本文提出了一种求解SSR问题的带有Wasserstein 库的全局属性图(GAG)神经网络模型。一方面,当新的会话到达时,基于当前会话及其关联用户构造具有全局属性的会话图。因此,GAG可以同时考虑全局属性和当前会话,以了解会话和用户的更全面的表示,从而在推荐中产生更好的性能。另一方面,为了适应流会话场景,提出了Wasserstein库来帮助保存历史数据的代表性草图。在两个真实数据集上进行了扩展实验,验证了GAG模型与最新方法相比的优越性。

网址: https://sites.google.com/site/dbhongzhi/

成为VIP会员查看完整内容
0
132

【导读】计算语言学协会(the Association for Computational Linguistics, ACL)年度会议作为顶级的国际会议,在计算语言学和自然语言处理领域一直备受关注。其接收的论文覆盖了语义分析、文本挖掘、信息抽取、问答系统、机器翻译、情感分析和意见挖掘等众多自然语言处理领域的研究方向。今年,第58届计算语言学协会(the Association for Computational Linguistics, ACL)年度会议将于2020年7月5日至10日在美国华盛顿西雅图举行。受COVID-19疫情影响,ACL 2020将全部改为线上举行。为此,专知小编提前为大家整理了ACL 2020图神经网络(GNN)相关论文,让大家先睹为快——事实验证、法律文书、谣言检测、自动摘要、情感分析。

WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、EMNLP2019GNN、ICCV2019GNN_Part2、ICCV2019GNN_Part1、NIPS2019GNN、IJCAI2019GNN_Part1、IJCAI2019GNN_Part2、KDD2019GNN、ACL2019GNN、CVPR2019GNN、ICML2019GNN

1. Fine-grained Fact Verification with Kernel Graph Attention Network

作者:Zhenghao Liu, Chenyan Xiong, Maosong Sun, Zhiyuan Liu

摘要:事实验证(Fact V erification)需要细粒度的自然语言推理能力来找到微妙的线索去识别句法和语义上正确但没有强有力支持的声明(well-supported claims)。本文提出了基于核方法的图注意力网络(KGAT),该网络使用基于核的注意力进行更细粒度的事实验证。给定一个声明和一组形成证据图潜在证据的句子,KGAT在图注意力网络中引入了可以更好地衡量证据节点重要性的节点核,以及可以在图中进行细粒度证据传播的边缘核,以实现更准确的事实验证。KGAT达到了70.38%的FEVER得分,在FEVER上大大超过了现有的事实验证模型(FEVER是事实验证的大规模基准)。我们的分析表明,与点积注意力相比,基于核的注意力更多地集中在证据图中的相关证据句子和有意义的线索上,这是KGAT有效性的主要来源。

网址:https://arxiv.org/pdf/1910.09796.pdf

2. Distinguish Confusing Law Articles for Legal Judgment Prediction

作者:Nuo Xu, Pinghui Wang, Long Chen, Li Pan, Xiaoyan Wang, Junzhou Zhao

摘要:法律审判预测(LJP)是在给出案件事实描述文本的情况下,自动预测案件判决结果的任务,其在司法协助系统中具有良好的应用前景,为公众提供方便的服务。实际上,由于适用于类似法律条款的法律案件很容易被误判,经常会产生混淆的指控。在本文中,我们提出了一个端到端的模型--LADAN来解决LJP的任务。为了解决这一问题,现有的方法严重依赖领域专家,这阻碍了它在不同法律制度中的应用。为了区分混淆的指控,我们提出了一种新的图神经网络来自动学习混淆法律文章之间的细微差别,并设计了一种新的注意力机制,该机制充分利用学习到的差别从事实描述中提取令人信服的鉴别特征。在真实数据集上进行的实验证明了我们的LADAN算法的优越性。

网址:

https://arxiv.org/pdf/2004.02557.pdf

3. GCAN: Graph-aware Co-Attention Networks for Explainable Fake News Detection on Social Media

作者:Yi-Ju Lu, Cheng-Te Li

摘要:本文解决了在更现实的社交媒体场景下的假新闻检测问题。给定源短文本推文和相应的没有文本评论的转发用户序列,我们的目的是预测源推文是否是假的,并通过突出可疑转发者的证据和他们关注的词语来产生解释。为了实现这一目标,我们提出了一种新的基于神经网络的模型--图感知协同注意网络(GCAN)。在真实推文数据集上进行的广泛实验表明,GCAN的平均准确率比最先进的方法高出16%。此外,案例研究还表明,GCAN可以给出合理的解释。

网址:

https://arxiv.org/pdf/2004.11648.pdf

4. Heterogeneous Graph Neural Networks for Extractive Document Summarization

作者:Danqing Wang, Pengfei Liu, Yining Zheng, Xipeng Qiu, Xuanjing Huang

摘要:作为提取文档摘要的关键步骤,跨句关系学习已经有了大量的研究方法。一种直观的方法是将它们放入基于图的神经网络中,该网络具有更复杂的结构来捕获句间关系。本文提出了一种基于图的异构神经网络抽取摘要算法(HeterSUMGraph),该算法除句子外,还包含不同粒度的语义节点。这些额外的结点起到句子之间的中介作用,丰富了句子之间的关系。此外,通过引入文档节点,我们的图结构可以灵活地从单文档设置自然扩展到多文档设置。据我们所知,我们是第一个将不同类型的节点引入到基于图的神经网络中进行提取文档摘要的,我们还进行了全面的定性分析,以考察它们的好处。

网址:

https://arxiv.org/pdf/2004.12393.pdf

代码链接:

https://github.com/brxx122/HeterSUMGraph

5. Relational Graph Attention Network for Aspect-based Sentiment Analysis

作者:Kai Wang, Weizhou Shen, Yunyi Yang, Xiaojun Quan, Rui Wang

摘要:Aspect级的情感分析旨在确定在线评论中对某一特定方面的情感极性。最近的大多数努力采用了基于注意力的神经网络模型来隐式地将aspect与观点词联系起来。然而,由于语言的复杂性和单句中多个aspect的存在,这些模型往往混淆了它们之间的联系。在本文中,我们通过对语法信息进行有效的编码来解决这个问题。首先,我们通过重塑和修剪常规依赖关系树,定义了一个以目标方面为根的统一的面向aspect的依赖树结构。然后,我们提出了一种关系图注意力网络(R-GAT)来编码新的树结构用于情感预测。我们在SemEval 2014和Twitter数据集上进行了广泛的实验,实验结果证实,该方法可以更好地建立aspect和观点词之间的联系,从而显著提高了图注意网络(GAT)的性能。

网址:

https://arxiv.org/pdf/2004.12362.pdf

成为VIP会员查看完整内容
0
70

【导读】国际万维网大会(The Web Conference,简称WWW会议)是由国际万维网会议委员会发起主办的国际顶级学术会议,创办于1994年,每年举办一届,是CCF-A类会议。WWW 2020已于2020年4月20日至4月24日在中国台湾台北举行。会议论文集已经公开,大家可以自己查看感兴趣的论文,专知小编继续整理WWW 2020 系列论文,这期小编为大家奉上的是WWW 2020六篇迁移学习(Transfer Learning)相关论文,供大家参考!——主动域迁移、多任务域迁移、类别注意力迁移网络、多模态域迁移、跨域推荐、跨域欺诈检测。

WWW 2020 会议论文集: https://dl.acm.org/doi/proceedings/10.1145/3366423

WWW2020KG+GNN、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、EMNLP2019GNN、ICCV2019GNN_Part2、ICCV2019GNN_Part1、NIPS2019GNN、IJCAI2019GNN_Part1、IJCAI2019GNN_Part2、KDD2019GNN、ACL2019GNN、CVPR2019GNN、ICML2019GNN

CCF-A类顶会WWW2020最佳论文出炉!OSU最佳论文,北邮斩获最佳学生论文!

1. Active Domain Transfer on Network Embedding

作者:Lichen Jin, Yizhou Zhang, Guojie Song, Yilun Jin

摘要:最近的工作表明,端到端、监督(半监督)的网络嵌入模型可以生成令人满意的向量来表示网络拓扑,甚至可以通过归纳学习(inductive learning)适用于未知(unseen)的图。然而,归纳学习的训练网络和测试网络之间的域不匹配,以及缺乏标记数据,会影响这种方法的结果。相应地能够解决上述问题的迁移学习和主动学习(active learning)技术已经在常规独立同分布数据上得到了很好的研究,而它们在网络上的关注相对较少。因此,本文提出了一种网络上的主动迁移学习方法,称为主动迁移网络嵌入(Active-Transfer Network Embedding,ATNE)。在ATNE中,我们从迁移和主动学习两个角度综合考虑各个节点对网络的影响,从而在训练过程中结合这两个方面设计新颖有效的影响分值以方便节点的选择。我们证明了ATNE是有效的,并且与实际使用的模型是解耦的。进一步的实验表明,ATNE的性能优于最新的主动节点选择方法,并且在不同的情况下表现出了通用性。

网址: https://dl.acm.org/doi/abs/10.1145/3366423.3380024

2. Anchored Model Transfer and Soft Instance Transfer for Cross-Task Cross-Domain Learning: A Study Through Aspect-Level Sentiment Classification

作者:Yaowei Zheng, Richong Zhang, Suyuchen Wang, Samuel Mensah, Yongyi Mao

摘要:监督学习在很大程度上依赖于容易获得的标记数据来推断有效的分类函数。然而,在有监督学习下提出的方法面临领域内标注数据稀缺的问题,且通用性不够强,不能适用于其他任务。通过允许跨域和跨任务共享知识,迁移学习已被证明是解决这些问题的一个有价值的选择。通过允许跨域和跨任务共享知识,迁移学习已被证明是解决上述问题的一个有价值的选择。本文提出了Anchored Model迁移(AMT)和Soft Instance迁移(SIT)两种迁移学习方法,这两种学习方法都是基于多任务学习,兼顾了模型迁移和实例迁移,可以结合到一个通用的框架中。我们证明了AMT和SIT对于aspect-level的情感分类的有效性,在基准数据集上我们的模型表现出比基线模型更有竞争力的表现。有趣的是,AMT + SIT的集成可在同一任务上实现最先进的性能。

网址:

https://dl.acm.org/doi/abs/10.1145/3366423.3380034

  1. Domain Adaptation with Category Attention Network for Deep Sentiment Analysis

作者:Dongbo Xi, Fuzhen Zhuang, Ganbin Zhou, Xiaohu Cheng, Fen Lin, Qing He

摘要:跨域情感分类等领域自适应任务旨在利用源域中已有的已标记数据和目标域中未标记或很少的标记数据,通过减少数据分布之间的偏移来提高目标域的性能。现有的跨领域情感分类方法需要区中心点(pivots)(即领域共享的情感词)和非中心点(即领域特定的情感词),才能获得良好的自适应性能。本文首先设计了一个类别注意网络(CAN),然后提出了一种将CAN和卷积神经网络(CNN)相结合的CAN-CNN模型。该模型一方面将中心点和非中心点作为统一的类别属性词进行自动捕获,提高领域自适应性能;另一方面,对迁移后的类别属性词进行可解释性学习的尝试。具体地说,该模型的优化目标有三个不同的组成部分:1)监督分类损失;2)类别特征权重的分布损失;3)领域不变性损失。最后,在三个舆情分析数据集上对所提出的模型进行了评估,结果表明CAN-CNN的性能优于其他各种基线方法。

网址:

https://dl.acm.org/doi/abs/10.1145/3366423.3380088

4. Domain Adaptive Multi-Modality Neural Attention Network for Financial Forecasting

作者:Dawei Zhou, Lecheng Zheng, Yada Zhu, Jianbo Li, Jingrui He

摘要:金融时间序列分析在优化投资决策、对冲市场风险方面起着核心作用。这是一项具有挑战性的任务,因为问题总是伴随着双层(即数据级和任务级)的异构性。例如,在股价预测中,一个成功的具有有限风险的投资组合通常由来自不同领域(如公用事业、信息技术、医疗保健等)的大量股票组成,每个领域的股票预测可以视为一个任务;在一个投资组合中,每个股票的特征是从多个模态(例如金融、天气和新闻)收集的时间数据,这对应于数据层的异构性。此外,金融业遵循高度监管的过程,这就要求预测模型是可解释的,输出结果必须满足合规性。因此,一个自然的研究问题就是如何建立一个模型,既能在解决此类多通道多任务学习问题时取得满意的性能,又能为最终用户提供全面的解释。为了回答这个问题,本文提出了一个通用的时间序列预测框架Dandelion,它利用多模态的一致性,并使用深度神经网络来探索多个任务的相关性。此外,为了保证框架的可解释性,我们集成了一种新的三位一体的注意机制,允许最终用户在三个维度(即任务、通道和时间)上调查变量重要性。广泛的实证结果表明,Dandelion在过去15年中对来自4个不同领域的396只股票的金融市场预测取得了优异的表现。具体地说,两个有趣的案例研究显示了Dandelion在其盈利表现和输出结果对最终用户的可解释性方面的成效。

网址:

https://dl.acm.org/doi/abs/10.1145/3366423.3380288

5. Exploiting Aesthetic Preference in Deep Cross Networks for Cross-domain Recommendation

作者:Jian Liu, Pengpeng Zhao, Fuzhen Zhuang, Yanchi Liu, Victor S. Sheng, Jiajie Xu, Xiaofang Zhou, Hui Xiong

摘要:产品的视觉美学在购买外观优先的产品(如服装)的决策过程中起着重要的作用。用户的审美偏好作为一种个性特征和基本要求,是与领域无关的,可以作为领域间知识迁移的桥梁。然而,现有的工作很少考虑产品图像中的审美信息进行跨域推荐。为此,本文提出了一种新的深度审美跨域网络(ACDN),通过跨网络共享表征个人审美偏好的参数来实现领域间的知识传递。具体地说,我们首先利用审美网络来提取审美特征。然后,我们将这些特征集成到一个跨域网络中,以传递用户与领域无关的审美偏好。此外,还引入了网络交叉连接,以实现跨域的双重知识转移。最后,在真实数据集上的实验结果表明,我们提出的模型ACDN在推荐准确率方面优于基准方法。

网址:

https://dl.acm.org/doi/abs/10.1145/3366423.3380036

6. Modeling Users’ Behavior Sequences with Hierarchical Explainable Network for Cross-domain Fraud Detection

作者:Yongchun Zhu, Dongbo Xi, Bowen Song, Fuzhen Zhuang, Shuai Chen, Xi Gu, Qing He

摘要:随着电子商务行业的爆炸式增长,检测现实应用中的网络交易欺诈对电子商务平台的发展变得越来越重要。用户的连续行为历史为区分欺诈支付和正常支付提供了有用的信息。最近,已经提出了一些方法来解决这一基于序列的欺诈检测问题。然而,这些方法通常存在两个问题:预测结果难以解释和对行为内部信息的利用不足。针对上述两个问题,本文提出了一种分层可解释网络(HEN)对用户行为序列进行建模,不仅提高了欺诈检测的性能,而且使推理过程具有可解释性。同时,随着电子商务业务扩展到新的领域,例如,新的国家或新的市场,在欺诈检测系统中建模用户行为的一个主要问题是数据收集的限制(例如,可用的数据/标签非常少)。因此,在本文中,我们进一步提出了一个跨域欺诈检测问题的迁移框架,该框架的目的是从现有领域(源域)迁移足够成熟数据的知识,以提高在新领域(目标域)的性能。我们提出的方法是一个通用的迁移框架,它不仅可以应用于HEN,而且可以应用于嵌入&MLP范式中的各种现有模型。利用世界领先的跨境电商平台的数据,我们在不同国家进行了广泛的检测盗卡交易诈骗的实验,以展示HEN的优越性能。此外,基于90个迁移任务的实验,证明了我们的迁移框架不仅可以用于HEN的跨域诈骗检测任务,而且对现有的各种模型都具有通用性和可扩展性。此外,HEN和迁移框架形成了三个级别的注意力,极大地提高了检测结果的可解释性。

网址:

https://dl.acm.org/doi/abs/10.1145/3366423.3380172

成为VIP会员查看完整内容
0
59

【导读】国际万维网大会(The Web Conference,简称WWW会议)是由国际万维网会议委员会发起主办的国际顶级学术会议,创办于1994年,每年举办一届,是CCF-A类会议。WWW 2020将于2020年4月20日至4月24日在中国台湾台北举行。本届会议共收到了1129篇长文投稿,录用217篇长文,录用率为19.2%。这周会议已经召开,会议论文集已经公开,大家可以自己查看感兴趣的论文,专知小编继续整理WWW 2020 系列论文,这期小编为大家奉上的是WWW 2020五篇知识图谱+图神经网络(KG+GNN)相关论文,供大家参考!——多关系实体对齐、问答推理、动态图实体链接、序列实体链接、知识图谱补全。

WWW 2020 会议论文集: https://dl.acm.org/doi/proceedings/10.1145/3366423

WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、EMNLP2019GNN、ICCV2019GNN_Part2、ICCV2019GNN_Part1、NIPS2019GNN、IJCAI2019GNN_Part1、IJCAI2019GNN_Part2、KDD2019GNN、ACL2019GNN、CVPR2019GNN、ICML2019GNN

  1. Collective Multi-type Entity Alignment Between Knowledge Graphs

作者:Qi Zhu, Hao Wei, Bunyamin Sisman, Da Zheng, Christos Faloutsos, Xin Luna Dong and Jiawei Han

摘要:知识图(如Freebase、Yago)是表示各类实体之间丰富真实信息的多关系图。实体对齐是实现多源知识图集成的关键步骤。它旨在识别涉及同一真实世界实体的不同知识图中的实体。然而,现有的实体对齐系统忽略了不同知识图的稀疏性,不能通过单一模型对多类型实体进行对齐。在本文中,我们提出了一种用于多类型实体对齐的联合图神经网络(Collective Graph neural network),称为CG-MuAlign。与以前的工作不同,CG-MuAlign联合对齐多种类型的实体,共同利用邻域信息并将其推广到未标记的实体类型。具体地说,我们提出了一种新的集中聚集函数1)通过交叉图和自注意力来缓解知识图的不完全性,2)通过小批量训练范例和有效的邻域抽样策略,有效地提高了可伸缩性。我们在具有数百万个实体的真实知识图上进行了实验,观察到了比现有方法更优越的性能。此外,我们的方法的运行时间比目前最先进的深度学习方法要少得多。

网址:

https://dl.acm.org/doi/abs/10.1145/3366423.3380289

  1. Complex Factoid Question Answering with a Free-Text Knowledge Graph

作者:Chen Zhao, Chenyan Xiong, Xin Qian and Jordan Boyd-Graber

摘要:我们介绍了Delft,一个事实问答系统,它将知识图问答方法的细微和深度与更广泛的free-文本结合在一起。Delft从Wikipedia构建了一个自由文本知识图,以实体为节点和句子,其中实体同时出现做为边。对于每个问题,Delft使用文本句子作为边,找到将问题实体节点链接到候选对象的子图,创建了密集且覆盖率高的语义图。一种新颖的图神经网络在free-文本图上进行推理-通过沿边句子的信息组合节点上的证据-以选择最终答案。在三个问答数据集上的实验表明,Delft能够比基于机器阅读的模型、基于BERT的答案排序和记忆网络更好地回答实体丰富的问题。Delft的优势既来自于其free-文本知识图谱的高覆盖率--是DBpedia关系的两倍多--也来自于新颖的图神经网络,它基于丰富而嘈杂的free-文本证据进行推理。

网址:

https://dl.acm.org/doi/abs/10.1145/3366423.3380197

  1. Dynamic Graph Convolutional Networks for Entity Linking

作者:Junshuang Wu, Richong Zhang, Yongyi Mao, Hongyu Guo, Masoumeh Soflaei and Jinpeng Huai

摘要:实体链接将文档中提及的命名实体映射到给定知识图中的合适的实体,已被证明能够从基于图卷积网络(GCN)对实体相关性建模中获得显著好处。然而,现有的GCN实体链接模型没有考虑到,一组实体的结构化图不仅依赖于给定文档的上下文信息,而且在GCN的不同聚合层上自适应地变化,导致在捕捉实体之间的结构信息方面存在不足。在本文中,我们提出了一种动态的GCN体系结构来有效地应对这一挑战。模型中的图结构是在训练过程中动态计算和修改的。通过聚合动态链接节点的知识,我们的GCN模型可以集中识别文档和知识图之间的实体映射,并有效地捕捉整个文档中各个实体提及( mentions)之间的主题一致性。在基准实体连接数据集上的实证研究证实了我们提出的策略的优越性能和动态图结构的好处。

网址:

https://dl.acm.org/doi/abs/10.1145/3366423.3380192

  1. High Quality Candidate Generation and Sequential Graph Attention Network for Entity Linking

作者:Yichao Zhou, Shaunak Mishra, Manisha Verma, Narayan Bhamidipati and Wei Wang

摘要:实体链接(EL)是将文本中提及的内容映射到知识库(KB)中相应实体的任务。这项任务通常包括候选生成(CG)和实体消歧(ED)两个阶段。目前基于神经网络模型的EL系统取得了较好的性能,但仍然面临着两个挑战:(1)以往的研究在评估模型时没有考虑候选实体之间的差异。事实上,候选集的质量(特别是黄金召回)对EL结果有影响。因此,如何提候选的素质需要引起更多的关注。(Ii)为了利用提及实体之间的主题一致性,提出了许多聚集ED的图和序列模型。然而,基于图的模型对所有候选实体一视同仁,这可能会引入大量的噪声信息。相反,序列模型只能观察先前引用的实体,而忽略了当前提及的实体与其后续实体之间的相关性。针对第一个问题,我们提出了一种基于多策略的CG方法来生成高召回率的候选集。对于第二个问题,我们设计了一个序列图注意力网络(SeqGat),它结合了图和序列方法的优点。在我们的模型中,提及( mentions)是按顺序处理的。在当前提到的情况下,SeqGAT对其先前引用的实体和后续实体进行动态编码,并为这些实体分配不同的重要性。这样既充分利用了主题的一致性,又减少了噪声干扰。我们在不同类型的数据集上进行了实验,并在开放的评测平台上与以前的EL系统进行了比较。比较结果表明,与现有的方法相比,我们的模型有了很大的改进。

网址:

https://dl.acm.org/doi/abs/10.1145/3366423.3380146

  1. Mining Implicit Entity Preference from User-Item Interaction Data for Knowledge Graph Completion via Adversarial Learning

作者:Gaole He, Junyi Li, Wayne Xin Zhao, Peiju Liu and Ji-Rong Wen

摘要:知识图补全(KGC)任务旨在自动推断知识图(KG)中缺失的事实信息。在本文中,我们采取了一个新的视角,旨在利用丰富的用户-项目交互数据(简称用户交互数据)来改进KGC任务。我们的工作灵感来自于观察到许多KG实体对应于应用系统中的在线项目。然而,这两种数据源的固有特性有很大的不同,使用简单的融合策略很可能会损害原有的性能。为了应对这一挑战,我们提出了一种新的对抗性学习方法,通过利用用户交互数据来执行KGC任务。我们的生成器是从用户交互数据中分离出来的,用来提高鉴别器的性能。鉴别器将从用户交互数据中学习到的有用信息作为输入,并逐步增强评估能力,以识别生成器生成的假样本。为了发现用户的隐含实体偏好,设计了一种基于图神经网络的协同学习算法,并与鉴别器进行联合优化。这种方法有效地缓解了KGC任务的数据异构性和语义复杂性问题。在三个真实世界数据集上的广泛实验已经证明了我们在KGC任务上的方法的有效性。

网址:

https://dl.acm.org/doi/abs/10.1145/3366423.3380155

成为VIP会员查看完整内容
0
118

【导读】国际万维网大会(The Web Conference,简称WWW会议)是由国际万维网会议委员会发起主办的国际顶级学术会议,创办于1994年,每年举办一届,是CCF-A类会议。WWW 2020将于2020年4月20日至4月24日在中国台湾台北举行。由于疫情影响,这次会议在线上举行,本届会议共收到了1129篇长文投稿,录用217篇长文,录用率为19.2%。近期,随着会议的临近,有很多paper放出来,小编发现这次WWW 2020被图神经网络攻占,占比非常大,可见其火爆程度。这期小编继续为大家奉上WWW 2020五篇GNN相关论文供参考——图注意力主题模型、超图学习、图神经网络Hash、多视角图聚类、Graph Pooling。

WWW2020GNN_Part2、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、EMNLP2019GNN、ICCV2019GNN_Part2、ICCV2019GNN_Part1、NIPS2019GNN、IJCAI2019GNN_Part1、IJCAI2019GNN_Part2、KDD2019GNN、ACL2019GNN、CVPR2019GNN、ICML2019GNN

  1. Graph Attention Topic Modeling Network

作者:Liang Yang, Fan Wu, Junhua Gu, Chuan Wang, Xiaochun Cao, Di Jin, and Yuanfang Guo

摘要:现有的主题模型(topic modeling)方法存在一些问题,包括概率潜在语义索引模型(Probablistic Latent Semantic Indexing,PLSI)过拟合问题、隐狄利克雷分配(Latent Dirichlet Allocation,LDA)模型不能能捕捉主题间丰富的主题相关性与推理复杂度高等问题。本文提出了一种新的方法来克服pLSI的过拟合问题,用嵌入单词的平摊推理(amortized inference)作为输入,代替LDA中的狄利克雷先验。对于生成性主题模型,大量的自由隐变量是过拟合的根源。为了减少参数个数,平摊推理用一个具有共享(平摊)可学习参数的函数代替了对隐变量的推理。共享参数的数量是固定的,并且与语料库的规模无关。为了克服平摊推理在独立同分布(I.I.D)数据中应用的局限性,根据以下两个观察结果,我们提出了一种新的图神经网络--图注意力主题网络(GATON),用于对非I.I.D文档的主题结构进行建模。首先,pLSI可以解释为特定二分图上的随机块模型(SBM)。其次,图注意力网络(GAT)可以解释为SBM的半平摊推理(semi-amortized inference),它放宽了I.I.D数据的vanilla 平摊推理假设。GATON提供了一种新颖的基于图卷积运算的方案,去聚合单词相似度和单词共现结构。具体地说,词袋文档表示被建模为二分图拓扑。同时,将捕获词相似性的词嵌入建模为词节点的属性,并采用词频向量作为文档节点的属性。基于加权(注意力)图卷积操作,词共现结构和词相似度模式被无缝地集成在一起进行主题识别。大量实验表明,GATON在主题识别方面的有效性不仅有利于文档分类,而且能显著细化输入词的嵌入。

网址:https://yangliang.github.io/pdf/www20.pdf

  1. How Much and When Do We Need Higher-order Information in Hypergraphs? A Case Study on Hyperedge Prediction

作者:Se-eun Yoon, Hyungseok Song, Kijung Shin, and Yung Yi

摘要:超图提供了一种自然的表示组群关系的方法,其复杂性促使大量先前的工作采用某种形式抽象和简化高阶交互。然而,以下问题尚未得到解决:在解决超图任务时,组群间交互的抽象程度需要多大?这些结果在不同的数据集中会有多大的不同?如果这个问题可以回答,将为如何在解决下游任务的复杂性和准确性之间权衡提供有用的工程指南。为此,我们提出了一种使用n投影图( n-projected graph )的概念递增表示群组交互的方法,该图的累积量包含多达n种交互作用的信息,并随着各种数据集的增长,量化解决任务的准确性。作为下游任务,我们考虑超边预测,它是连接预测的扩展,是评估图模型的典型任务。通过在15个真实数据集上的实验,我们得出了以下信息:(a)收益递减:较小地n足以获得与接近完美近似值相当的精度,(b)疑难解答:随着任务的挑战性越来越大,n带来了更多好处,(c)不可约性:当成对抽象化时,其成对交互并不能充分说明高阶交互的数据集将失去很多准确性。

网址:https://arxiv.org/pdf/2001.11181.pdf

  1. Learning to Hash with Graph Neural Networks for Recommender Systems

作者:Qiaoyu Tan, Ninghao Liu, Xing Zhao, Hongxia Yang, Jingren Zhou, and Xia Hu

摘要:工业推荐系统一般包括两个阶段:召回和排名。召回是指从海量的项目语料库中高效地识别出数百个用户可能感兴趣的候选项目,而排名的目标是使用复杂的排名模型输出精确的排名列表。近年来,图表示学习在支持大规模高质量候选搜索方面受到了广泛关注。尽管它在用户-项目交互网络中学习对象的嵌入向量方面是有效的,但在连续嵌入空间中推断用户偏好的计算代价是巨大的。在这项工作中,我们研究了基于图神经网络(GNNs)的哈希高质量检索问题,并提出了一种简单而有效的离散表示学习框架来联合学习连续与离散编码。具体地说,提出了一种基于GNN的深度哈希算法(HashGNN),它由两部分组成,一个是用于学习节点表示的GNN编码器,另一个是用于将表示编码为哈希码的哈希层。整个框架通过联合优化以下两个损失进行端到端的训练,即通过重建观察到的连接而产生的重建损失,以及通过保留哈希码的相对顺序产生的排序损失。我们还提出了一种基于直通估计器(straight through estimator ,STE)指导的离散优化策略。其主要思想是在连续嵌入指导下避免STE的反向传播中的梯度放大,在这种情况下,我们从学习一个更容易模仿连续嵌入的更简单的网络开始,并使其在训练过程中发展直至最终返回STE。在三个公开可用数据集和一个真实的阿里巴巴公司数据集的综合实验表明,我们的模型不仅可以达到连续模型的性能,而且在推理过程中运行速度快了好几倍。

网址:https://arxiv.org/pdf/2003.01917.pdf

  1. One2Multi Graph Autoencoder for Multi-view Graph Clustering

作者:Shaohua Fan, Xiao Wang, Chuan Shi, Emiao Lu, Ken Lin, and Bai Wang

摘要:多视图图聚类(Multi-view graph clustering)近年来受到了相当大的关注,它是一种寻找具有多个视图的图的分割方法,通常提供更全面但更复杂的信息。虽然多视图图聚类已经做了一些努力并取得了较好的效果,但大多数都是采用浅层模型来处理多视图间的复杂关系,这可能会严重限制多视图的图信息建模能力。本文首次尝试将深度学习技术应用于属性多视图图聚类,提出了一种新的任务导向的One2Multi图自编码器聚类框架。One2Multi图自编码器能够通过使用一个信息丰富的图形视图和内容数据来重建多个图形视图来学习节点嵌入。因此,可以很好地捕捉多个图的共享特征表示。在此基础上,我们还提出了一种自训练聚类目标,以迭代地改善聚类结果。通过将自训练和自编码器重构集成到一个统一的框架中,我们的模型可以联合优化适用于图聚类的簇标签分配和嵌入。在真实属性多视图图数据集上的实验很好地验证了该模型的有效性。

网址:http://www.shichuan.org/doc/83.pdf

  1. Structure-Feature based Graph Self-adaptive Pooling

作者:Liang Zhang, Xudong Wang, Hongsheng Li, Guangming Zhu, Peiyi Shen, Ping Li, Xiaoyuan Lu, Syed Afaq Ali Shah, and Mohammed Bennamoun

摘要:近年来,人们提出了各种处理图数据的方法。然而,这些方法大多侧重于图的特征聚合,而不是图的池化。此外,现有的top-k选择图池化方法存在一些问题。首先,在构建池化图拓扑时,现有的top-k选择方法只从单一的角度评价节点的重要性,这是简单化和不客观的。其次,未选中节点的特征信息在池化过程中直接丢失,必然导致大量的图特征信息丢失。为了解决上述问题,我们提出了一种新颖的图自适应池化方法,目标如下:(1)为了构造合理的池化图拓扑,同时考虑了图的结构信息和特征信息,增加了节点选择的准确性和客观性;(2)为了使池化的节点包含足够有效的图信息,在丢弃不重要的节点之前,先聚合节点特征信息;因此,所选择的节点包含来自邻居节点的信息,这可以增强未选择节点的特征的使用。在四个不同的数据集上的实验结果表明,我们的方法在图分类中是有效的,并且优于最新的图池化方法。

网址:https://arxiv.org/pdf/2002.00848.pdf

成为VIP会员查看完整内容
0
53

【导读】国际万维网大会(The Web Conference,简称WWW会议)是由国际万维网会议委员会发起主办的国际顶级学术会议,创办于1994年,每年举办一届,是CCF-A类会议。WWW 2020将于2020年4月20日至4月24日在中国台湾台北举行。本届会议共收到了1129篇长文投稿,录用217篇长文,录用率为19.2%。近期,随着会议的临近,有很多paper放出来,专知小编提前整理了WWW 2020图神经网络(GNN)比较有意思的的论文—TaxoExpan,结构深度聚类网络、MetapathGNN、对抗样本、图域自适应。

  1. TaxoExpan: Self-supervised Taxonomy Expansion with Position-Enhanced Graph Neural Network

作者:Jiaming Shen, Zhihong Shen, Chenyan Xiong, Chi Wang, Kuansan Wang, Jiawei Han

摘要:本体结构(Taxonomies)由机器可解释的语义组成,并为许多Web应用程序提供有价值的知识。例如,在线零售商(亚马逊和eBay)使用本体结构进行产品推荐,而网络搜索引擎(Google和Bing)利用本体结构来增强查询理解。当前我们在人工或半自动地构建本体结构方面已经做出了巨大的努力。然而,随着网络内容数量的快速增长,现有的本体结构无法捕捉到新兴的知识。因此,在许多应用程序中,十分需要对现有本体结构进行动态扩展。在本文中,我们研究了如何通过添加一组新的概念来扩展现有的本体结构。我们提出了一种新的自监督框架TaxoExpanTM,该框架从已有的本体结构中自动生成一组 ⟨query concept, anchor concept ⟩ 对作为训练数据。使用这样的自监督数据,TaxoExpanTM学习一个模型来预测query concept是否是 anchor concept的直接下义词。我们在TaxoExspan中提出了两种创新技术:(1)位置增强型图形神经网络,它编码现有本体结构中anchor concept的局部结构;2)噪声鲁棒性训练目标,使学习的模型能够对自监控数据中的标签噪声不敏感。在来自不同领域的三个大规模数据集上的广泛实验证明了TaxoExspan在分类系统扩展方面的有效性和高效性。

网址:https://arxiv.org/abs/2001.09522

  1. Structural Deep Clustering Network

作者:Deyu Bo, Xiao Wang, Chuan Shi, Meiqi Zhu, Emiao Lu, Peng Cui

摘要:聚类是数据分析的基本任务。近年来,深度聚类技术(deep clustering)得到了广泛的关注,它的灵感主要来自于深度学习方法。当前的深度聚类方法通常借助深度学习强大的表示能力(如自编码)来提高聚类结果,这表明学习一种有效的聚类表示是一个关键的要求。深度聚类方法的优势在于从数据本身中提取有用的表示,而不是从数据的结构中提取,这在表示学习中受到的关注较少。基于图卷积网络(GCN)在对图结构进行编码方面取得的巨大成功,我们提出了一种结构化深度聚类网络(SDCN),将结构信息集成到深度聚类中。具体来说,我们设计了一个传递算子,将自编码器学习到的表示转换到相应的GCN层,并设计了双重自监督机制来统一这两种不同的深层神经结构,指导整个模型的更新。通过这种方式,从低阶到高阶的多种数据结构自然地与自动编码器学习的多种表示相结合。在此基础上,从理论上分析了传递算子。通过使用传递操作符,GCN改进了作为高阶图正则化约束的特定于自编码的表示形式,并且自动编码器有助于缓解GCN中的过度平滑问题。通过综合实验,我们证明我们提出的模型可以持续地比最先进的技术表现得更好。

网址:

https://arxiv.org/abs/2002.01633

  1. MAGNN: Metapath Aggregated Graph Neural Network for Heterogeneous Graph Embedding

作者:Xinyu Fu, Jiani Zhang, Ziqiao Meng, Irwin King

摘要:大量真实世界的图或网络本质上是异构的,涉及节点类型和关系类型的多样性。异构图嵌入是将异构图的丰富结构和语义信息嵌入到低维节点表示中。现有的模型通常定义多个metapaths在异构图捕捉复合关系和指导邻居选择。但是,这些模型要么忽略节点内容特性,要么沿着元路径丢弃中间节点,要么只考虑一个元路径。为了解决这三个局限性,我们提出了一种新的集合图神经网络模型来提高最终性能。具体来说,MAGNN使用了三个主要组件,即,节点内容转换封装输入节点属性,元内聚合合并中间语义节点,元间聚合合并来自多个元的消息。在三个真实世界的异构图数据集上进行了大量的节点分类、节点聚类和链路预测实验,结果表明MAGNN的预测结果比最先进的基线更准确。

网址:

https://www.zhuanzhi.ai/paper/d763a3d94aebcffc20f2a4e13b7b5465

https://arxiv.org/abs/2002.01680

  1. Certified Robustness of Community Detection against Adversarial Structural Perturbation via Randomized Smoothing

作者:Jinyuan Jia, Binghui Wang, Xiaoyu Cao, Neil Zhenqiang Gong

摘要:社区发现(Community detection)在理解图结构中起着关键作用。但是,最近的一些研究表明,社区发现很容易受到对抗性结构的干扰。即通过在图中添加或删除少量选择的边,攻击者可以控制发现的社区。然而,目前还没有关于社区发现对这种对抗性结构扰动的鲁棒性的研究。为了减少这一差距,在这项工作中,我们开发了第一个经过认证的可以抵御对抗性结构扰动的社区发现的鲁棒性保证。在任意给定的社区发现方法的基础上,通过对图结构随机进行扰动,构建了一种新的平滑社区发现方法。在理论上,当攻击者添加/删除有限数量的边时,平滑社区发现方法可以将给定的任意节点集合分到相同的社区(或不同的社区)中。此外, 我们还根据经验在真实社区的多个现实图上评估了我们的方法。

网址:

https://arxiv.org/abs/2002.03421

  1. Unsupervised Domain Adaptive Graph Convolutional Networks

作者:Man Wu, Shirui Pan, Chuan Zhou, Xiaojun Chang, Xingquan Zhu

摘要:图卷积网络(GCNS)在许多与图相关的分析任务中取得了成功。然而,由于图表示学习和图结构上的域自适应方面的挑战,大多数GCN只工作在单个域(图)中,不能将知识从一个域(图)传递到其他域(图)中。本文提出了一种新的图域自适应学习方法--无监督域自适应图卷积网络(UDAGCN)。为了实现有效的图表示学习,我们首先提出了一个对偶图卷积网络组件,该组件联合利用局部一致性和全局一致性来进行特征聚合。注意力机制还用于为不同图中的每个节点产生统一表示。为了便于图之间的知识传递,我们提出了一个域自适应学习模块,将源分类器损失、域分类器损失和目标分类器损失这三个不同的损失函数作为一个整体进行优化,从而可以区分源域中的类别标签、不同领域样本和目标领域的类别标签。我们还在节点分类任务的真实数据集上的实验结果验证该方法的性能,并与最新的图神经网络算法进行了比较。

网址:

https://www.researchgate.net/publication/338844424_Unsupervised_Domain_Adaptive_Graph_Convolutional_Networks

  1. A Kernel of Truth: Determining Rumor Veracity on Twitter by Diffusion Pattern Alone

作者:Nir Rosenfeld, Aron Szanto, David C. Parkes

摘要:最近,在错误信息检测领域已经使用文本中丰富的信号以及与社交媒体上的内容相关的用户身份来进行检测。但由于文本可以被策略性地操纵,账户也可以用不同的名字重新创建,以上这些方法本质上是脆弱的。在这项工作中,我们研究了另一种更加自然与健壮的模式:信息传播的模式。仅根据未经证实的谣言在社交网络中的传播模式,就能辨别在线传播的未经证实的谣言的真实性吗?

使用图核(graph kernels )从Twitter中提取复杂的拓扑信息,我们训练了不考虑语言,用户身份和时间的准确预测模型,这首次证明了这种“sanitized”的扩散模式具有很高的准确性。 我们的结果表明,通过适当的聚集,即使在传播的早期阶段,人群的集中共享模式也可能会显示出辨别谣言真假的强有力的信号。

网址:

https://arxiv.org/abs/2002.00850

成为VIP会员查看完整内容
0
54
小贴士
相关论文
Hyper-SAGNN: a self-attention based graph neural network for hypergraphs
Ruochi Zhang,Yuesong Zou,Jian Ma
12+阅读 · 2019年11月6日
Simon S. Du,Kangcheng Hou,Barnabás Póczos,Ruslan Salakhutdinov,Ruosong Wang,Keyulu Xu
8+阅读 · 2019年11月4日
Saurabh Verma,Zhi-Li Zhang
4+阅读 · 2019年9月25日
HyperGCN: A New Method of Training Graph Convolutional Networks on Hypergraphs
Naganand Yadati,Madhav Nimishakavi,Prateek Yadav,Vikram Nitin,Anand Louis,Partha Talukdar
9+阅读 · 2019年5月22日
Yue Yu,Jie Chen,Tian Gao,Mo Yu
6+阅读 · 2019年4月22日
Fengwen Chen,Shirui Pan,Jing Jiang,Huan Huo,Guodong Long
14+阅读 · 2019年4月4日
Simplifying Graph Convolutional Networks
Felix Wu,Tianyi Zhang,Amauri Holanda de Souza Jr.,Christopher Fifty,Tao Yu,Kilian Q. Weinberger
11+阅读 · 2019年2月19日
Sambaran Bandyopadhyay,Lokesh N,M. N. Murty
5+阅读 · 2018年11月19日
Caglar Gulcehre,Misha Denil,Mateusz Malinowski,Ali Razavi,Razvan Pascanu,Karl Moritz Hermann,Peter Battaglia,Victor Bapst,David Raposo,Adam Santoro,Nando de Freitas
8+阅读 · 2018年5月24日
Petar Veličković,Guillem Cucurull,Arantxa Casanova,Adriana Romero,Pietro Liò,Yoshua Bengio
7+阅读 · 2018年2月4日
Top