论文专栏:KDD 2020 知识图谱相关论文分享

论文解读者:北邮 GAMMA Lab 博士生 闫博

题目:利用多信号输入推断知识图谱中节点的重要性 会议: KDD 2020 论文地址:https://dl.acm.org/doi/10.1145/3394486.3403093 推荐理由:这篇论文是作者在KDD19上利用单一输入信号进行节点重要性推断论文的后续研究,扩展成了多输入信号。利用迭代的方式对输入的不同类信号进行聚类,从而解决不同信号的冲突问题。实验表明,多种信号比相比单一信号,能更准确地推断出节点的重要性,对输入信号进行迭代聚类的方式有效解决了信号冲突问题。 节点重要性估计是知识图谱中一项重要的任务,它可以被下游许多任务利用,如推荐系统,搜索和查询消歧,节点资源分配等。在现实生活中,除了知识图谱本身的信息,还有许多外界的输入信息(输入信号),这些输入信号对节点的重要性评估也至关重要。此任务的关键是如何有效利用来自不同来源的输入信号。这些外部输入信号,例如票数或浏览量,可以直接告诉我们知识图谱中实体的重要性。现有方法无法同时考虑多个信号,所以它们对这些外部信号的使用受到一定限制,造成了外部信号的利用率低下。本文设计了一个端到端的隐变量模型MultiImport,从多个稀疏,可能重叠的输入信号中推断潜在节点的重要性。它捕获节点重要性和输入信号之间的关系,并有效地处理了多个信号的潜在冲突问题。在多个知识图谱上的实验表明,MultiImport在利用多个输入信号推断节点重要性的任务中优于现有方法,并且与最先进的方法相比,NDCG@100提高了23.7%

成为VIP会员查看完整内容
0
17

相关内容

论文专栏: KDD 2020 元学习相关论文分享

论文解读者: 北邮 GAMMA Lab 硕士生 王春辰

题目: TAdaNet: Task-Adaptive Network for Graph-Enriched Meta-Learning

会议: KDD 2020

论文地址: https://dl.acm.org/doi/pdf/10.1145/3394486.3403230

推荐理由: 标准的元学习过程是共享全局的经验进行参数调整。具有全局共享知识的标准元学习不能很好地处理任务的异构性问题,即任务位于不同的分布。本文提出了一种可以融合领域知识的框架,并提供对于特定任务的参数定制。相比于标准元学习过程,该方法可以更好的使的参数适应于一种特定的任务。

1 引言 现实应用程序中带注释的数据样本通常是有限的。元学习利用从相关任务中学习到的先验知识,并将其推广到有监督经验有限的新任务中,是一种有效的少发式学习方法。然而,具有全局共享知识的标准元学习不能很好地处理任务的异构性问题,即任务位于不同的分布。而KDD2020上的这篇文章利用领域知识图来丰富数据表示,并提供特定于任务的定制。

2 动机与贡献 本文着眼于将领域图中的信息引入到元学习当中来,提出了一个任务自适应的元学习框架TAdaNet,该框架允许跨领域知识图的节点传递消息,并促进针对不同任务的元知识定制。该模型通过在记忆网络中组织历史任务中的任务知识来学习任务嵌入,并根据任务嵌入的条件产生任务感知参数调整来定制学习器参数。每项任务的学习者为分类任务的每个类生成一个原型。具体地说,该框架利用给定图上的类关系,通过注意力机制组合邻域信息来学习原型。数据表示可以通过聚合来自其邻居的信息来丰富,并且任务关系由图上链接类的路径来捕获。

成为VIP会员查看完整内容
0
9

题目: 鲁棒的跨语言知识图谱实体对齐

会议: KDD 2020

论文地址: https://dl.acm.org/doi/pdf/10.1145/3394486.3403268

代码地址: https://github.com/scpei/REA

推荐理由: 这篇论文首次提出了跨语言实体对齐中的噪音问题,并提出了一种基于迭代训练的除噪算法,从而进行鲁棒的跨语言知识图谱实体对齐。本工作对后续跨语言实体对齐的去噪研究具有重要的开创性意义。

跨语言实体对齐旨在将不同知识图谱中语义相似的实体进行关联,它是知识融合和知识图谱连接必不可少的研究问题,现有方法只在有干净标签数据的前提下,采用有监督或半监督的机器学习方法进行了研究。但是,来自人类注释的标签通常包含错误,这可能在很大程度上影响对齐的效果。因此,本文旨在探索鲁棒的实体对齐问题,提出的REA模型由两个部分组成:噪声检测和基于噪声感知的实体对齐。噪声检测是根据对抗训练原理设计的,基于噪声感知的实体对齐利用图神经网络对知识图谱进行建模。两个部分迭代进行训练,从而让模型去利用干净的实体对来进行节点的表示学习。在现实世界的几个数据集上的实验结果证明了提出的方法的有效性,并且在涉及噪声的情况下,此模型始终优于最新方法,并且在准确度方面有显著提高。

1 引言 现有方法在进行跨语言实体对齐时没有考虑噪音问题,而这些噪音可能会损害模型的效果。如图1所示,(a)中的两个不同语言的知识图谱存在实体对噪音(虚线表示的实体对1-4),(b)是理想状况下节点在特征空间中的表示,可以看出不同语言知识图谱中具有相似语义的实体在特征空间中也相近。(c)是利用含有噪音的训练数据得到的节点特征表示,由于噪音的存在,节点的表示存在了一定的偏差。我们希望跨语言实体对齐是鲁棒性的,即使训练数据中存在噪音,模型也能尽量减少噪音的消极影响,得到如图(b)中的表示。为了克服现有的跨语言实体对齐方法在处理带噪标签实体对时存在的局限性,本文探讨了如何将噪声检测与实体对齐模型结合起来,以及如何共同训练它们以对齐不同语言知识图谱中的实体。

成为VIP会员查看完整内容
0
10

对于来自开源社会传感器的多种类型并发事件及其相关参与者进行建模是许多领域(如医疗保健、救灾和金融分析)的一项重要任务。预测未来的事件可以帮助人类分析师更好地理解全球社会动态,并做出快速而准确的决策。预期参与这些活动的参与者或参与者还可以帮助涉众更好地响应意外事件。然而,由于以下几个因素,实现这些目标是具有挑战性的:(i)难以从大规模输入中过滤出相关信息,(ii)输入数据通常为高维非结构化和Non-IID(非独立同分布),(iii)相关的文本特征是动态的,随时间而变化。最近,图神经网络在学习复杂和关系数据方面表现出了优势。本文研究了一种基于异构数据融合的时间图学习方法,用于预测多类型并发事件并同时推断多个候选参与者。为了从历史数据中获取时间信息,我们提出了一种基于事件知识图的图学习框架Glean,它结合了关系和单词上下文。我们提出了一个上下文感知的嵌入融合模块来丰富事件参与者的隐藏特性。我们在多个真实数据集上进行了广泛的实验,结果表明,所提出的方法在社会事件预测方面与各种先进的方法相比具有竞争力,而且还提供了急需的解释能力。

成为VIP会员查看完整内容
0
43

【导读】知识图谱是学术界和工业界近年来关注的焦点。2020年最近以来,KDD、ICML、ACL、IJCAI会议论文公布,专知小编整理了最新8篇关于知识图谱的论文,来自Amazon、CMU、斯坦福 、Google等,请大家查看!

1、MultiImport: Inferring Node Importance in a Knowledge Graph from Multiple Input Signals(推断知识图谱节点重要性),KDD 2020

摘要:给定多个输入信号,我们如何推断知识图谱(KG)中的节点重要性?节点重要性估计是一项非常重要和具有挑战性的任务,它可以为许多应用带来好处,包括推荐、搜索和查询消歧。实现这一目标的一个关键挑战是如何有效地利用来自不同来源的输入。一方面,KG是一个丰富的信息源,具有多种类型的节点和边。另一方面,有外部输入信号,如投票或页面浏览量,可以直接告诉我们实体在KG中的重要性。虽然已经开发了一些方法来解决这个问题,但它们对这些外部信号的使用受到了限制,因为它们没有同时考虑多个信号的输入。在本文中,我们提出了一个端到端的多输入模型,它从多个可能重叠的输入信号中推断出潜在节点的重要性。MultiImport是一种潜在的变量模型,它捕捉节点重要性与输入信号之间的关系,有效地从多个可能存在冲突的信号中学习。同时,MultiImport提供了一种基于注意力图神经网络的有效估计器。我们在真实的KGs上进行了实验,表明MultiImport处理了多个涉及从多个输入信号推断节点重要性的挑战,并且始终优于现有方法,实现了比最先进的方法高23.7%的NDCG@100。

论文地址:

https://arxiv.org/abs/2006.12001

2、Low-Dimensional Hyperbolic Knowledge Graph Embeddings(低维双曲知识图谱嵌入),ACL 2020

摘要: 知识图谱(KG)嵌入通过学习实体和关系的低维表示,以预测缺失事实。KGs通常具有层次结构和逻辑模式,必须在嵌入空间中保留这些模式。对于分层数据,双曲嵌入方法已显示出高保真度和简洁表示的优势。然而,现有的双曲嵌入方法不能解释KGs中丰富的逻辑模式。在本工作中,我们引入了一类双曲KG嵌入模型,可以同时捕获层次和逻辑模式。我们的方法结合双曲反射和旋转注意力模型复杂的关系模式。在标准KG基准上的实验结果表明,我们的方法在低维的平均倒数(MRR)方面比预先的欧几里得和双曲的工作提高了6.1%。此外,我们观察到不同的几何变换捕捉不同类型的关系,而基于注意的变换则推广到多重关系。在高维情况下,我们的方法在WN18RR和YAGO3-10上分别获得了49.6%和57.7%的最先进的MRR。

论文地址: https://www.zhuanzhi.ai/paper/c929578a71dcc0545a5ab0d15379828d

3、Orthogonal Relation Transforms with Graph Context Modeling for Knowledge Graph Embedding(正交关系转换与图上下文建模的知识图谱嵌入),ACL 2020

摘要: 基于距离的知识图谱嵌入已经在知识图谱链接预测任务上有了实质性的改进,从TransE到目前最先进的RotatE。然而,诸如 N-to-1, 1-to-N和N-to-N的复杂关系仍然难以预测。在这项工作中,我们提出了一种新的基于距离的知识图谱链接预测方法。首先,通过对模型关系的正交变换,将RotatE从二维复数域扩展到高维空间。关系的正交变换嵌入保持了对于对称/反对称关系、逆关系和复合关系的建模能力,同时具有更好的建模能力。其次,将图形上下文直接集成到距离评分函数中。具体地说,图上下文是通过两个有向上下文表示来显式建模的。嵌入到知识图中的每个节点都增加了两个上下文表示,这两个上下文表示分别从相邻的传出节点/边和传入节点/边计算得到。该方法提高了N-to-1, 1-to-N和N-to-N情况下的预测精度。实验结果表明,该算法在两个常用的基准测试FB15k237和WNRR-18上都取得了最好的结果,特别是在节点数较多的FB15k-237上。

论文地址:

https://www.zhuanzhi.ai/paper/95c6de11bba8e20d6247977d1481a9a5

4、SEEK: Segmented Embedding of Knowledge Graphs(知识图谱可分割嵌入),ACL 2020

摘要:近年来,知识图谱嵌入成为人工智能领域的研究热点,在推荐、问答等各种下游应用中发挥着越来越重要的作用。然而,现有的知识图谱嵌入方法没有在模型复杂度和模型表现力之间取得适当的折衷,这使得它们仍然远远不能令人满意。为了缓解这一问题,我们提出了一个轻量级的建模框架,它可以在不增加模型复杂度的情况下获得具有高度竞争力的关系表达能力。我们的框架侧重于评分函数的设计,并突出了两个关键特征:1)促进充分的特征交互;2)保持关系的对称性和反对称性。值得注意的是,由于评分函数设计的通用性和美观性,我们的框架可以将现有的许多著名的方法作为特例合并在一起。此外,在公共基准上的大量实验证明了该框架的有效性。

论文地址:

https://www.zhuanzhi.ai/paper/287e7f984d9160af6c2b3c5311438ba6

5、Reasoning Like Human: Hierarchical Reinforcement Learning for Knowledge Graph Reasoning(层次强化学习知识图谱推理),IJCAI 2020

摘要:知识图谱通常存在不完备性。知识图谱补全的一种流行方法是通过对连接两个实体的其他路径上发现的信息进行多跳推理来推断丢失的知识。然而,多跳推理仍然具有挑战性,因为推理过程通常经历多个语义问题,即一个关系或一个实体具有多个含义。针对这种情况,我们提出了一种新的层次强化学习框架来自动地从知识图谱中学习推理链。我们的框架是受层次结构的启发,通过人类处理认知模糊的情况。整个推理过程分解为两层强化学习策略,用于编码历史信息和学习结构化行动空间。因此,处理多重语义问题更加可行和自然。实验结果表明,我们提出的模型在模糊关系任务方面取得了显著的改进。

论文地址:

https://www.ijcai.org/Proceedings/2020/267

6、TransOMCS: From Linguistic Graphs to Commonsense Knowledge(从语言图谱到常识图谱),IJCAI 2020

摘要:常识的获取是人工智能的关键问题。传统的获取常识的方法通常需要费力而昂贵的人工注释,这在大规模上是不可行的。本文探讨了一种实用的从语言图中挖掘常识知识的方法,目的是将用语言模式获得的廉价知识转化为昂贵的常识知识。其结果是将大规模选择偏好知识资源ASER [Zhang et al., 2020]转换为与ConceptNet表示相同但比前者大两个数量级的TransOMCS [Liu and Singh, 2004]。实验结果表明,该方法在数量、新颖性和质量上都是有效的。TransOMCS可以通过以下网址公开访问。

https://github.com/HKUST-KnowComp/TransOMCS

论文地址:

https://www.zhuanzhi.ai/paper/516aa9ba7c5991ecc6149d6ed3cbcccd

成为VIP会员查看完整内容
0
36

题目: Hyperbolic Attention Network

摘要: 最近的方法已经成功地证明了在双曲空间中学习浅层网络参数的优势。我们将双曲几何引入到用于计算不同神经网络结构的注意力机制的嵌入中,从而扩展了这一工作。通过改变object表示的嵌入几何形状,可以在不增加模型参数的情况下能更有效地利用嵌入空间。更重要的是,由于查询的语义距离以指数的速度增长,双曲几何与欧几里得几何相反—可以编码那些object而没有任何干扰。我们的方法在总体上对WMT' 14(英语到德语)的神经机器翻译、图学习(合成和现实世界图任务)和视觉问答(CLEVR)3个任务得到了提升,同时保持神经表征的简洁。

成为VIP会员查看完整内容
0
36

知识图谱被广泛用于提高推荐准确度。知识图谱上的多跳用户-物品连接还提供了关于为什么推荐某个项的推理。然而,路径推理是一个复杂的组合优化问题。传统的推荐方法通常采用蛮力方法来寻找可行路径,这导致了与可解释性和收敛性相关的问题。在本文中,我们通过更好地监督寻路过程来解决这些问题。关键思想是用最小的标记努力提取不完美的路径演示,并有效地利用这些演示来指导寻路。特别地,我们设计了一个基于演示的知识图推理框架用于可解释推荐。我们还提出了一个反面的actor批评家(ADAC)模型用于演示导向的寻路。在三个真实基准上的实验表明,我们的方法比最先进的基准更快地收敛,并且具有更好的推荐精度和可解释性。

成为VIP会员查看完整内容
0
42
小贴士
相关主题
相关论文
Menghan Wang,Yujie Lin,Guli Lin,Keping Yang,Xiao-ming Wu
6+阅读 · 6月1日
Hongwei Wang,Hongyu Ren,Jure Leskovec
20+阅读 · 2月17日
K-BERT: Enabling Language Representation with Knowledge Graph
Weijie Liu,Peng Zhou,Zhe Zhao,Zhiruo Wang,Qi Ju,Haotang Deng,Ping Wang
14+阅读 · 2019年9月17日
Liang Yao,Chengsheng Mao,Yuan Luo
4+阅读 · 2019年9月11日
HyperKG: Hyperbolic Knowledge Graph Embeddings for Knowledge Base Completion
Prodromos Kolyvakis,Alexandros Kalousis,Dimitris Kiritsis
3+阅读 · 2019年8月17日
Haoyu Wang,Vivek Kulkarni,William Yang Wang
5+阅读 · 2018年10月31日
Brandon Malone,Alberto García-Durán,Mathias Niepert
3+阅读 · 2018年10月22日
Xinya Du,Claire Cardie
3+阅读 · 2018年5月15日
Yu Su,Honglei Liu,Semih Yavuz,Izzeddin Gur,Huan Sun,Xifeng Yan
9+阅读 · 2018年4月19日
Daniel Oñoro-Rubio,Mathias Niepert,Alberto García-Durán,Roberto González,Roberto J. López-Sastre
7+阅读 · 2018年3月31日
Top