题目: 鲁棒的跨语言知识图谱实体对齐

会议: KDD 2020

论文地址: https://dl.acm.org/doi/pdf/10.1145/3394486.3403268

代码地址: https://github.com/scpei/REA

推荐理由: 这篇论文首次提出了跨语言实体对齐中的噪音问题,并提出了一种基于迭代训练的除噪算法,从而进行鲁棒的跨语言知识图谱实体对齐。本工作对后续跨语言实体对齐的去噪研究具有重要的开创性意义。

跨语言实体对齐旨在将不同知识图谱中语义相似的实体进行关联,它是知识融合和知识图谱连接必不可少的研究问题,现有方法只在有干净标签数据的前提下,采用有监督或半监督的机器学习方法进行了研究。但是,来自人类注释的标签通常包含错误,这可能在很大程度上影响对齐的效果。因此,本文旨在探索鲁棒的实体对齐问题,提出的REA模型由两个部分组成:噪声检测和基于噪声感知的实体对齐。噪声检测是根据对抗训练原理设计的,基于噪声感知的实体对齐利用图神经网络对知识图谱进行建模。两个部分迭代进行训练,从而让模型去利用干净的实体对来进行节点的表示学习。在现实世界的几个数据集上的实验结果证明了提出的方法的有效性,并且在涉及噪声的情况下,此模型始终优于最新方法,并且在准确度方面有显著提高。

1 引言 现有方法在进行跨语言实体对齐时没有考虑噪音问题,而这些噪音可能会损害模型的效果。如图1所示,(a)中的两个不同语言的知识图谱存在实体对噪音(虚线表示的实体对1-4),(b)是理想状况下节点在特征空间中的表示,可以看出不同语言知识图谱中具有相似语义的实体在特征空间中也相近。(c)是利用含有噪音的训练数据得到的节点特征表示,由于噪音的存在,节点的表示存在了一定的偏差。我们希望跨语言实体对齐是鲁棒性的,即使训练数据中存在噪音,模型也能尽量减少噪音的消极影响,得到如图(b)中的表示。为了克服现有的跨语言实体对齐方法在处理带噪标签实体对时存在的局限性,本文探讨了如何将噪声检测与实体对齐模型结合起来,以及如何共同训练它们以对齐不同语言知识图谱中的实体。

成为VIP会员查看完整内容
0
10

相关内容

在本文中,我们提出了一种端到端的图学习框架,即迭代深度图学习(IDGL),用于共同迭代地学习图结构和图嵌入。IDGL的关键原理是学习基于更好的节点嵌入的更好的图结构,反之亦然(即基于更好的图结构的更好的节点嵌入)。我们的迭代方法动态停止时,学习图接近足够优化的图预测任务。此外,我们将图学习问题转换为一个相似度量学习问题,并利用自适应图正则化来控制学习图的质量。最后,结合基于锚点的近似技术,我们进一步提出了一个可扩展的IDGL版本,即IDGL- anch,在不影响性能的前提下,显著降低了IDGL的时间和空间复杂度。我们在9个基准上进行的广泛实验表明,我们提出的IDGL模型始终能够优于或匹配最先进的基线。此外,IDGL还能更鲁棒地处理对抗图,并能同时处理传导学习和归纳学习。

https://arxiv.org/abs/2006.13009

成为VIP会员查看完整内容
0
13

论文专栏:KDD 2020 知识图谱相关论文分享

论文解读者:北邮 GAMMA Lab 博士生 闫博

题目:利用多信号输入推断知识图谱中节点的重要性 会议: KDD 2020 论文地址:https://dl.acm.org/doi/10.1145/3394486.3403093 推荐理由:这篇论文是作者在KDD19上利用单一输入信号进行节点重要性推断论文的后续研究,扩展成了多输入信号。利用迭代的方式对输入的不同类信号进行聚类,从而解决不同信号的冲突问题。实验表明,多种信号比相比单一信号,能更准确地推断出节点的重要性,对输入信号进行迭代聚类的方式有效解决了信号冲突问题。 节点重要性估计是知识图谱中一项重要的任务,它可以被下游许多任务利用,如推荐系统,搜索和查询消歧,节点资源分配等。在现实生活中,除了知识图谱本身的信息,还有许多外界的输入信息(输入信号),这些输入信号对节点的重要性评估也至关重要。此任务的关键是如何有效利用来自不同来源的输入信号。这些外部输入信号,例如票数或浏览量,可以直接告诉我们知识图谱中实体的重要性。现有方法无法同时考虑多个信号,所以它们对这些外部信号的使用受到一定限制,造成了外部信号的利用率低下。本文设计了一个端到端的隐变量模型MultiImport,从多个稀疏,可能重叠的输入信号中推断潜在节点的重要性。它捕获节点重要性和输入信号之间的关系,并有效地处理了多个信号的潜在冲突问题。在多个知识图谱上的实验表明,MultiImport在利用多个输入信号推断节点重要性的任务中优于现有方法,并且与最先进的方法相比,NDCG@100提高了23.7%

成为VIP会员查看完整内容
0
17

对比学习(contrastive learning)是对于给定的正例样本和负例样本,通过让编码器学习如何去区分它们,从而捕捉到样本中最具判别性的特征。因为这种隶属于自监督学习的方式,模型框架清晰易懂,效果异常优越,受到了很多顶会论文的青睐。今天将分享两篇KDD2020会议上的论文:一篇将对比学习应用于图预训练任务上;另一篇深度解析了负采样技术在图表示学习中的作用,能为对比学习的进一步发展带来启发。

GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training

论文地址:https://arxiv.org/abs/2006.09963

本文提出了一种无监督的图表示学习预训练框架GCC,能够捕捉到广泛存在于不同图之间的拓扑性质,并且无需输入额外的属性或是标签。GCC将预训练任务设定为在同一张图内或不同图之间区分子图级别的实例,进一步利用对比学习使模型能够学到固有的、可迁移的结构表示。最后通过一系列的实验,验证了pre-training & fine-tuning模式在图表示学习中的巨大潜力。

Understanding Negative Sampling in Graph Representation Learning

论文地址:https://arxiv.org/abs/2005.09863

本文分别从目标函数和风险两个角度深刻剖析了负采样技术在图表示学习中起到的作用,并通过理论证明:负采样的分布应该和正样本分布呈正相关但是亚线性的关系。基于该理论,本文进一步提出了新的负采样策略,即MCNS,并利用改进版的Metropolis-Hastings算法对该过程进行了加速。

成为VIP会员查看完整内容
0
19

对于来自开源社会传感器的多种类型并发事件及其相关参与者进行建模是许多领域(如医疗保健、救灾和金融分析)的一项重要任务。预测未来的事件可以帮助人类分析师更好地理解全球社会动态,并做出快速而准确的决策。预期参与这些活动的参与者或参与者还可以帮助涉众更好地响应意外事件。然而,由于以下几个因素,实现这些目标是具有挑战性的:(i)难以从大规模输入中过滤出相关信息,(ii)输入数据通常为高维非结构化和Non-IID(非独立同分布),(iii)相关的文本特征是动态的,随时间而变化。最近,图神经网络在学习复杂和关系数据方面表现出了优势。本文研究了一种基于异构数据融合的时间图学习方法,用于预测多类型并发事件并同时推断多个候选参与者。为了从历史数据中获取时间信息,我们提出了一种基于事件知识图的图学习框架Glean,它结合了关系和单词上下文。我们提出了一个上下文感知的嵌入融合模块来丰富事件参与者的隐藏特性。我们在多个真实数据集上进行了广泛的实验,结果表明,所提出的方法在社会事件预测方面与各种先进的方法相比具有竞争力,而且还提供了急需的解释能力。

成为VIP会员查看完整内容
0
43
小贴士
相关资讯
相关论文
Integrating Graph Contextualized Knowledge into Pre-trained Language Models
Bin He,Di Zhou,Jinghui Xiao,Xin jiang,Qun Liu,Nicholas Jing Yuan,Tong Xu
3+阅读 · 2019年12月3日
Zhen Zhang,Jiajun Bu,Martin Ester,Jianfeng Zhang,Chengwei Yao,Zhi Yu,Can Wang
5+阅读 · 2019年11月14日
Multi-Paragraph Reasoning with Knowledge-enhanced Graph Neural Network
Deming Ye,Yankai Lin,Zhenghao Liu,Zhiyuan Liu,Maosong Sun
15+阅读 · 2019年11月6日
Geometric Graph Convolutional Neural Networks
Przemysław Spurek,Tomasz Danel,Jacek Tabor,Marek Śmieja,Łukasz Struski,Agnieszka Słowik,Łukasz Maziarka
5+阅读 · 2019年9月11日
Position-aware Graph Neural Networks
Jiaxuan You,Rex Ying,Jure Leskovec
6+阅读 · 2019年6月11日
Self-Attention Graph Pooling
Junhyun Lee,Inyeop Lee,Jaewoo Kang
3+阅读 · 2019年4月17日
Ryo Takahashi,Ran Tian,Kentaro Inui
3+阅读 · 2018年5月24日
Luke Vilnis,Xiang Li,Shikhar Murty,Andrew McCallum
4+阅读 · 2018年5月17日
Lior Friedman,Shaul Markovitch
4+阅读 · 2018年1月31日
Liqian Ma,Qianru Sun,Stamatios Georgoulis,Luc Van Gool,Bernt Schiele,Mario Fritz
6+阅读 · 2018年1月21日
Top