为了扩大知识图谱中少样本关系的覆盖范围,近年来少样本知识图谱补全(FKGC)得到了越来越多的研究兴趣。现有的模型利用了一种多跳关系的邻居信息来增强其语义表示。但是,当邻域过于稀疏,没有邻域来表示少射关系时,噪声邻域信息可能会被放大。此外,以往的知识图谱补全方法对多对多(1-N)、多对一(N-1)、多对多(N-N)等复杂关系进行建模和推断需要较高的模型复杂度和大量的训练实例。因此,由于训练实例有限,FKGC模型很难在少样本场景下推断复杂关系。本文提出了一种全局-局部框架下的少样本关系学习方法来解决上述问题。在全局阶段,构建了一种新颖的门控和专注邻居聚合器,用于精确集成几个样本关系的邻域的语义,这有助于过滤噪声邻域,即使一个KG包含非常稀疏的邻域。对于局部阶段,我们设计了一种基于元学习的TransH (MTransH)方法来建模复杂关系,并以少量学习的方式训练模型。大量实验表明,我们的模型在常用的基准数据集NELL-One和Wiki-One上的性能优于先进的FKGC方法。与强基线模型MetaR相比,我们的模型通过度量Hits@10在NELL-One上实现了8.0%的5次FKGC性能改进,在Wiki-One上实现了2.8%

https://www.zhuanzhi.ai/paper/94d6afca9acf028db665ffb6575b7c34

成为VIP会员查看完整内容
0
16

相关内容

知识图谱(Knowledge Graph),在图书情报界称为知识域可视化或知识领域映射地图,是显示知识发展进程与结构关系的一系列各种不同的图形,用可视化技术描述知识资源及其载体,挖掘、分析、构建、绘制和显示知识及它们之间的相互联系。 知识图谱是通过将应用数学、图形学、信息可视化技术、信息科学等学科的理论与方法与计量学引文分析、共现分析等方法结合,并利用可视化的图谱形象地展示学科的核心结构、发展历史、前沿领域以及整体知识架构达到多学科融合目的的现代理论。它能为学科研究提供切实的、有价值的参考。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

异构图神经网络(HGNN)作为一种新兴的技术,在处理异构信息网络(HIN)方面表现出优越的能力。然而,大多数HGNN遵循半监督学习方式,这明显限制了它们在现实中的广泛使用,因为标签在实际应用中通常很少。近年来,对比学习,一种自监督的学习方法,成为最令人兴奋的学习模式之一,在没有标签的情况下显示出巨大的潜力。在本文中,我们研究了自监督HGNN的问题,并提出了一种新的HGNN的共同对比学习机制,名为HeCo。不同于传统的对比学习只关注于对正样本和负样本的对比,HeCo采用了跨视角对比机制。具体来说,我们提出了HIN的两种视图(网络模式视图和元路径视图)来学习节点嵌入,从而同时捕获局部和高阶结构。在此基础上,提出了一种跨视图对比学习方法,并提出了一种视图掩码机制,能够从两个视图中提取正面和负面的嵌入信息。这使得两个视图能够相互协作监督,并最终学习高级节点嵌入。此外,设计了两个扩展的HeCo,以产生高质量的硬负样本,进一步提高了HeCo的性能。在各种真实网络上进行的大量实验表明,所提出的方法的性能优于最新的技术。

https://www.zhuanzhi.ai/paper/9af678b0d09538b9cc18ef07a10d9560

成为VIP会员查看完整内容
0
12

知识图谱(KG)是一种灵活的结构,能够描述数据实体之间的复杂关系。目前,大多数KG嵌入模型都是基于负采样进行训练的,即模型的目标是最大限度地增加KG内被连接实体的某些相似度,同时最小化被采样的断开实体的相似度。负抽样通过只考虑负实例的子集,降低了模型学习的时间复杂度,这可能会由于抽样过程的不确定性而无法提供稳定的模型性能。为了避免这一缺陷,我们提出了一种新的KG嵌入高效非采样知识图谱嵌入框架(NS-KGE)。其基本思想是在模型学习中考虑KG中的所有负面实例,从而避免负面抽样。框架可应用于基于平方损失的知识图谱嵌入模型或其损失可转换为平方损失的模型。这种非抽样策略的一个自然副作用是增加了模型学习的计算复杂度。为了解决这一问题,我们利用数学推导来降低非采样损失函数的复杂度,最终为我们提供了比现有模型更好的KG嵌入效率和精度。在基准数据集上的实验表明,NS-KGE框架在效率和准确率方面均优于传统的基于负采样的模型,该框架适用于大规模知识图谱嵌入模型。

https://www.zhuanzhi.ai/paper/a63903c464665db631cd3167d395a238

成为VIP会员查看完整内容
0
16

时序知识图谱推理是信息检索和语义搜索的关键任务。当TKG频繁更新时,这是特别具有挑战性的。该模型必须适应TKG的变化,以便进行有效的训练和推理,同时保持其对历史知识的表现。最近的工作通过增加一个时间感知编码函数来实现TKG补全(TKGC)。然而,使用这些方法在每个时间步骤中直接微调模型并不能解决以下问题:1)灾难性遗忘;2)模型不能识别事实的变化(例如,政治派别的变化和婚姻的结束);3)缺乏训练效率。为了解决这些挑战,我们提出了时间感知增量嵌入(TIE)框架,该框架结合了TKG表示学习、经验回放和时间正则化。我们引入一组度量标准来描述模型的不妥协性,并提出一个约束,将删除的事实与负面标签相关联。在Wikidata12k和YAGO11k数据集上的实验结果表明,本文提出的TIE框架减少了大约10倍的训练时间,并在提出的指标上有所改进。对于任何传统的度量方法,它都不会造成性能上的重大损失。广泛的消融研究揭示了不同评估指标之间的性能权衡,这对于真实世界的TKG应用的决策是至关重要的。

成为VIP会员查看完整内容
0
22

图神经网络(GNNs)最近在图学习方面取得了重大进展。尽管GNN具有丰富的表示能力,但对于大规模的社会建模应用来说,GNN的开发仍然相对不足。在线社交平台中普遍存在的一种应用是好友推荐:平台向用户推荐其他候选用户,以提高用户的联系性、留存率和参与度。然而,在大型社交平台上建模这样的用户-用户互动带来了独特的挑战: 这些图表通常有重尾度分布,其中很大一部分用户是不活跃的,并且结构和参与信息有限。此外,用户与不同的功能进行交互,与不同的组进行交流,并具有多方面的交互模式。我们研究了用于好友推荐的GNN应用,就我们所知,为这项任务提供了GNN设计的首次研究。为了充分利用平台内异构用户行为的丰富知识,我们将好友推荐设计为具有多模式用户特征和链接传播特征的多层面好友排名。我们提出了一个神经结构,GraFRank,它是精心设计的,从多种用户特征形态和用户-用户交互中学习表达用户表示。具体而言,GraFRank通过模态特定的邻居聚合器处理模态同质性的异质性,并通过交叉模态关注学习非线性模态相关性。我们在两个数百万用户的社交网络数据集上进行了实验,这些数据集来自领先和广泛流行的移动社交平台Snapchat,在候选检索(30%的MRR)和排名(20%的MRR)任务上,GraFRank的表现优于一些最先进的方法。此外,我们的定性分析表明,低活跃度和低级别用户的关键人群获得了显著收益。

成为VIP会员查看完整内容
0
29

属性网络嵌入的目的是结合网络的拓扑结构和节点属性学习低维节点表示。现有的大多数方法要么通过网络结构传播属性,要么通过编码-解码器框架学习节点表示。然而,基于传播的方法倾向于选择网络结构而不是节点属性,而编码-解码器方法倾向于忽略近邻之外的长连接。为了解决这些限制,同时得到这两个方面的优点,我们设计了交叉融合层的无监督属性网络嵌入。具体来说,我们首先构建两个独立的视图来处理网络结构和节点属性,然后设计跨融合层来实现两视图之间灵活的信息交换和集成。交叉融合层的关键设计目标有三方面:1)允许关键信息沿着网络结构传播;2)在传播过程中对每个节点的局部邻域进行异构编码;3)加入额外的节点属性通道,使属性信息不被结构视图所掩盖。在三个数据集和三个下游任务上的大量实验证明了该方法的有效性。

https://cs.nju.edu.cn/yuanyao/static/wsdm2021.pdf

成为VIP会员查看完整内容
0
17

目前流行的图学习方法需要丰富的标签和边信息进行学习。「当新任务的数据稀缺时,元学习允许我们从以前的经验中学习」,并形成急需的归纳偏见,以便快速适应新任务。

此文介绍了「G-META,一种新的图的元学习方法:」

G-META 使用局部子图传递特定于子图的信息,并通过元梯度使模型更快地学习基本知识。 G-META 学习如何仅使用新任务中的少数节点或边来快速适应新任务,并通过学习其他图或相关图(尽管是不相交的标签集)中的数据点来做到这一点。 G-META 在理论上是合理的,因为「特定预测的证据可以在目标节点或边周围的局部子图中找到。」

现有方法是专门为特定的图元学习问题和特定的任务设计的专门技术。虽然这些方法为 GNN 中的元学习提供了一种很有前途的方法,但它们的特定策略没有很好的伸缩性,也不能扩展到其他图的元学习问题(图1)。

成为VIP会员查看完整内容
0
38

题目: 鲁棒的跨语言知识图谱实体对齐

会议: KDD 2020

论文地址: https://dl.acm.org/doi/pdf/10.1145/3394486.3403268

代码地址: https://github.com/scpei/REA

推荐理由: 这篇论文首次提出了跨语言实体对齐中的噪音问题,并提出了一种基于迭代训练的除噪算法,从而进行鲁棒的跨语言知识图谱实体对齐。本工作对后续跨语言实体对齐的去噪研究具有重要的开创性意义。

跨语言实体对齐旨在将不同知识图谱中语义相似的实体进行关联,它是知识融合和知识图谱连接必不可少的研究问题,现有方法只在有干净标签数据的前提下,采用有监督或半监督的机器学习方法进行了研究。但是,来自人类注释的标签通常包含错误,这可能在很大程度上影响对齐的效果。因此,本文旨在探索鲁棒的实体对齐问题,提出的REA模型由两个部分组成:噪声检测和基于噪声感知的实体对齐。噪声检测是根据对抗训练原理设计的,基于噪声感知的实体对齐利用图神经网络对知识图谱进行建模。两个部分迭代进行训练,从而让模型去利用干净的实体对来进行节点的表示学习。在现实世界的几个数据集上的实验结果证明了提出的方法的有效性,并且在涉及噪声的情况下,此模型始终优于最新方法,并且在准确度方面有显著提高。

1 引言 现有方法在进行跨语言实体对齐时没有考虑噪音问题,而这些噪音可能会损害模型的效果。如图1所示,(a)中的两个不同语言的知识图谱存在实体对噪音(虚线表示的实体对1-4),(b)是理想状况下节点在特征空间中的表示,可以看出不同语言知识图谱中具有相似语义的实体在特征空间中也相近。(c)是利用含有噪音的训练数据得到的节点特征表示,由于噪音的存在,节点的表示存在了一定的偏差。我们希望跨语言实体对齐是鲁棒性的,即使训练数据中存在噪音,模型也能尽量减少噪音的消极影响,得到如图(b)中的表示。为了克服现有的跨语言实体对齐方法在处理带噪标签实体对时存在的局限性,本文探讨了如何将噪声检测与实体对齐模型结合起来,以及如何共同训练它们以对齐不同语言知识图谱中的实体。

成为VIP会员查看完整内容
0
16

神经网络模型目前已经被广泛地应用于各种推荐系统中。这些基于神经网络的推荐算法通常只会从用户的行为序列中学习到一个用户表征向量,但是这个统一的表征向量往往无法反映用户在一段时期内的多种不同的兴趣。以下图为例,Emma 的商品点击序列反映了她近期三种不同的兴趣,包括珠宝、手提包和化妆品。我们提出了一种可调控的多兴趣推荐框架来解决这种情况。多兴趣抽取模块会从用户的点击序列中捕获到用户多种不同的兴趣,然后可以用来召回一些相似的商品。聚合模块会将这些不同兴趣召回的商品整合起来作为推荐的候选商品,供下游的任务来使用。

成为VIP会员查看完整内容
0
23
小贴士
相关VIP内容
专知会员服务
16+阅读 · 4月25日
专知会员服务
29+阅读 · 2月3日
专知会员服务
17+阅读 · 2020年12月17日
专知会员服务
38+阅读 · 2020年10月22日
专知会员服务
16+阅读 · 2020年9月10日
专知会员服务
23+阅读 · 2020年8月11日
相关论文
Boxi Wu,Heng Pan,Li Shen,Jindong Gu,Shuai Zhao,Zhifeng Li,Deng Cai,Xiaofei He,Wei Liu
0+阅读 · 6月9日
Guanglin Niu,Yang Li,Chengguang Tang,Ruiying Geng,Jian Dai,Qiao Liu,Hao Wang,Jian Sun,Fei Huang,Luo Si
7+阅读 · 4月27日
Xiaofeng Mao,Yuefeng Chen,Shuhui Wang,Hang Su,Yuan He,Hui Xue
5+阅读 · 2020年12月10日
Heterogeneous Graph Transformer
Ziniu Hu,Yuxiao Dong,Kuansan Wang,Yizhou Sun
18+阅读 · 2020年3月3日
Efficiently Embedding Dynamic Knowledge Graphs
Tianxing Wu,Arijit Khan,Huan Gao,Cheng Li
9+阅读 · 2019年10月15日
Xin Lv,Yuxian Gu,Xu Han,Lei Hou,Juanzi Li,Zhiyuan Liu
3+阅读 · 2019年8月30日
Few-shot Learning: A Survey
Yaqing Wang,Quanming Yao
311+阅读 · 2019年4月10日
Koki Kishimoto,Katsuhiko Hayashi,Genki Akai,Masashi Shimbo,Kazunori Komatani
4+阅读 · 2019年2月8日
Heinrich Jiang,Jennifer Jang,Samory Kpotufe
3+阅读 · 2018年5月21日
Top