题目: Probability Calibration for Knowledge Graph Embedding Models

摘要: 知识图谱嵌入的研究忽略了概率定标问题。我们展示了流行的嵌入模型确实是未经校准的。这意味着与预测三元组相关的概率估计是不可靠的。摘要针对知识图谱中常见的情况,提出了一种新的校准模型的方法。我们建议在我们的方法的同时使用普拉特尺度和等渗回归。在三个带有地面真值负样本的数据集上进行的实验表明,与使用负样本的黄金标准相比,我们的贡献使模型得到了很好的校准。我们得到的结果显着优于未校准的模型从所有校准方法。我们证明等渗回归提供了最好的整体性能,而不是没有权衡。我们还表明,经过校准的模型不需要定义特定于关系的决策阈值就可以达到最先进的精度。

成为VIP会员查看完整内容
0
29

相关内容

知识图谱(Knowledge Graph),在图书情报界称为知识域可视化或知识领域映射地图,是显示知识发展进程与结构关系的一系列各种不同的图形,用可视化技术描述知识资源及其载体,挖掘、分析、构建、绘制和显示知识及它们之间的相互联系。 知识图谱是通过将应用数学、图形学、信息可视化技术、信息科学等学科的理论与方法与计量学引文分析、共现分析等方法结合,并利用可视化的图谱形象地展示学科的核心结构、发展历史、前沿领域以及整体知识架构达到多学科融合目的的现代理论。它能为学科研究提供切实的、有价值的参考。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

题目: Multi-view Knowledge Graph Embedding for Entity Alignment

摘要: 我们研究了知识图谱之间基于嵌入的实体对齐问题。之前的研究主要集中在实体的关系结构上。有些还进一步合并了另一种类型的特性,比如属性,以进行细化。然而,大量的实体特征尚未被探索或没有被平等地放在一起处理,这损害了基于嵌入的实体对齐的准确性和鲁棒性。在本文中,我们提出了一个新的框架,统一实体的多个视图来学习嵌入来实现实体对齐。具体来说,我们根据实体名称、关系和属性的视图嵌入实体,并使用几种组合策略。此外,我们设计了一些跨KG推理方法来增强两个KG之间的对齐。我们在真实数据集上的实验表明,所提出的框架显著优于目前最先进的基于嵌入的实体对齐方法。所选择的视图、跨KG推理和组合策略都有助于性能的提高。

成为VIP会员查看完整内容
0
42

题目: Low-Dimensional Hyperbolic Knowledge Graph Embeddings

摘要: 知识图谱(KG)嵌入通过学习实体和关系的低维表示,以预测缺失事实。KGs通常具有层次结构和逻辑模式,必须在嵌入空间中保留这些模式。对于分层数据,双曲嵌入方法已显示出高保真度和简洁表示的优势。然而,现有的双曲嵌入方法不能解释KGs中丰富的逻辑模式。在本工作中,我们引入了一类双曲KG嵌入模型,可以同时捕获层次和逻辑模式。我们的方法结合双曲反射和旋转注意力模型复杂的关系模式。在标准KG基准上的实验结果表明,我们的方法在低维的平均倒数(MRR)方面比预先的欧几里得和双曲的工作提高了6.1%。此外,我们观察到不同的几何变换捕捉不同类型的关系,而基于注意的变换则推广到多重关系。在高维情况下,我们的方法在WN18RR和YAGO3-10上分别获得了49.6%和57.7%的最先进的MRR。

成为VIP会员查看完整内容
0
55

题目: KG-BERT: BERT for Knowledge Graph Completion

摘要: 知识图谱是许多人工智能任务的重要资源,但往往是不完整的。在这项工作中,我们使用预训练的语言模型来对知识图谱进行补全。我们将知识图谱中的三元组视为文本序列,并提出了一种新的框架结构——知识图谱双向编码方向转换器(KG-BERT)来对这些三元组进行建模。该方法以一个三元组的实体描述和关系描述作为输入,利用KG-BERT语言模型计算三元组的评分函数。在多个基准知识图谱上的实验结果表明,我们的方法在三元组分类、链接预测和关系预测任务上都能达到最新的性能。

成为VIP会员查看完整内容
0
138

题目: Knowledge Graph Embeddings and Explainable AI

摘要: 知识图谱嵌入是一种广泛采用的知识表示方法,它将实体和关系嵌入到向量空间中。在这一章中,我们通过解释知识图谱嵌入是什么,如何生成它们以及如何对它们进行评估,向读者介绍知识图谱嵌入的概念。我们总结了这一领域的最新研究成果,对向量空间中表示知识的方法进行了介绍。在知识表示方面,我们考虑了可解释性问题,并讨论了通过知识图谱嵌入来解释预测的模型和方法。

成为VIP会员查看完整内容
0
100

题目: A Complete Characterization of Projectivity for Statistical Relational Models

摘要: 关系数据的生成概率模型由一系列不同大小域上的关系结构的概率分布组成。在现有的大多数统计关系学习(SRL)框架中,当尺寸为n的结构在尺寸为k < n的诱导子结构上的分布边际与尺寸为k的结构的给定分布相等时,这些模型就不是投影的。投影性是非常有益的,因为它可以直接从子采样的关系结构中进行提升推理和统计一致性学习。在早期的工作中,一些SRL语言的简单片段被识别出来,它们代表了投影模型。然而,对于射影模型还没有给出完整的描述和表示框架。在本文中,我们填补了这一空白:利用无穷可交换阵列的表示定理,我们引入了一类与投影关系模型完全对应的有向图潜变量模型。作为一个副产品,我们还获得了一个表征,当给定的尺寸为k的结构上的分布是尺寸为k的子结构在更大的size-n结构中的统计频率分布。这些结果为如何将Halpern等人的随机世界方法应用于一般关系签名的概率推断这一老的开放问题提供了新思路。

成为VIP会员查看完整内容
0
17

有关实体及其关系的真实世界事实的知识库是各种自然语言处理任务的有用资源。然而,由于知识库通常是不完整的,因此能够执行知识库补全或链接预测是很有用的。本文全面概述了用于知识库完成的实体和关系的嵌入模型,总结了标准基准数据集上最新的实验结果。

成为VIP会员查看完整内容
0
76

题目: Probabilistic Regression for Visual Tracking

简介:

从根本上说,视觉跟踪是在每个视频帧中使目标状态回归的问题。尽管取得了重大进展,但跟踪器仍然容易出现故障和不准确的情况。因此,至关重要的是在目标估算中表示不确定性。尽管当前的主要范式依赖于估计与状态有关的置信度得分,但是该值缺乏明确的概率解释,使它的使用变得复杂。因此,在这项工作中,我们提出了概率回归公式,并将其应用于跟踪。我们的网络预测给定输入图像后焦油状态的条件概率密度。至关重要的是,我们的配方能够对由于任务中不正确的注释和歧义而产生的标签噪声进行建模。通过最小化Kullback Leibler差异来训练回归网络。当应用于跟踪时,我们的公式不仅允许输出的概率表示,而且还可以显着提高性能。我们的跟踪器在六个数据集上设置了最新的技术,在LaSOT上实现了59.8%的AUC,在Tracking Net上实现了75.8%的成功。可以在https://github.com/visionml/pytracking获得代码和模型。

成为VIP会员查看完整内容
0
28

题目: Bayesian Neural Networks With Maximum Mean Discrepancy Regularization

摘要: 贝叶斯神经网络(BNNs)训练来优化整个分布的权重,而不是一个单一的集合,在可解释性、多任务学习和校准等方面具有显著的优势。由于所得到的优化问题的难解性,大多数BNNs要么通过蒙特卡罗方法采样,要么通过在变分近似上最小化一个合适的样本下界(ELBO)来训练。在这篇论文中,我们提出了后者的一个变体,其中我们用最大平均偏差(MMD)估计器代替了ELBO项中的Kullback-Leibler散度,这是受到了最近的变分推理工作的启发。在根据MMD术语的性质提出我们的建议之后,我们接着展示了公式相对于最先进的公式的一些经验优势。特别地,我们的BNNs在多个基准上实现了更高的准确性,包括多个图像分类任务。此外,它们对权重上的先验选择更有鲁棒性,而且它们的校准效果更好。作为第二项贡献,我们提供了一个新的公式来估计给定预测的不确定性,表明与更经典的标准(如微分熵)相比,它在对抗攻击和输入噪声的情况下表现得更稳定。

成为VIP会员查看完整内容
0
41

【导读】2020 年 2 月 7 日-2 月 12 日,AAAI 2020 在美国纽约举办。Michael Galkin撰写了AAAI2020知识图谱论文相关研究趋势包括:KG-Augmented语言模型,异构KGs中的实体匹配,KG完成和链路预测,基于kg的会话人工智能和问题回答,包括论文,值得查看!

Hiroaki Hayashi, Zecong Hu, Chenyan Xiong, Graham Neubig: Latent Relation Language Models. AAAI 2020

  • 潜在关系语言模型:本文提出了一种潜在关系语言模型(LRLMs),这是一类通过知识图谱关系对文档中词语的联合分布及其所包含的实体进行参数化的语言模型。该模型具有许多吸引人的特性:它不仅提高了语言建模性能,而且能够通过关系标注给定文本的实体跨度的后验概率。实验证明了基于单词的基线语言模型和先前合并知识图谱信息的方法的经验改进。定性分析进一步证明了该模型的学习能力,以预测适当的关系在上下文中。

成为VIP会员查看完整内容
0
141

Embedding methods which enforce a partial order or lattice structure over the concept space, such as Order Embeddings (OE) (Vendrov et al., 2016), are a natural way to model transitive relational data (e.g. entailment graphs). However, OE learns a deterministic knowledge base, limiting expressiveness of queries and the ability to use uncertainty for both prediction and learning (e.g. learning from expectations). Probabilistic extensions of OE (Lai and Hockenmaier, 2017) have provided the ability to somewhat calibrate these denotational probabilities while retaining the consistency and inductive bias of ordered models, but lack the ability to model the negative correlations found in real-world knowledge. In this work we show that a broad class of models that assign probability measures to OE can never capture negative correlation, which motivates our construction of a novel box lattice and accompanying probability measure to capture anticorrelation and even disjoint concepts, while still providing the benefits of probabilistic modeling, such as the ability to perform rich joint and conditional queries over arbitrary sets of concepts, and both learning from and predicting calibrated uncertainty. We show improvements over previous approaches in modeling the Flickr and WordNet entailment graphs, and investigate the power of the model.

0
5
下载
预览
小贴士
相关资讯
17篇必看[知识图谱Knowledge Graphs] 论文@AAAI2020
【泡泡图灵智库】边缘化采样一致性
泡泡机器人SLAM
17+阅读 · 2019年10月14日
知识图谱嵌入(KGE):方法和应用的综述
AI科技评论
70+阅读 · 2019年8月26日
论文浅尝 | 知识图谱三元组置信度的度量
开放知识图谱
21+阅读 · 2019年5月16日
论文浅尝 | Interaction Embeddings for Prediction and Explanation
开放知识图谱
8+阅读 · 2019年2月1日
概率论之概念解析:引言篇
专知
4+阅读 · 2018年1月8日
概率论之概念解析:极大似然估计
专知
6+阅读 · 2018年1月6日
干货 | 一文搞懂极大似然估计
AI100
6+阅读 · 2017年12月3日
相关论文
Aidan Hogan,Eva Blomqvist,Michael Cochez,Claudia d'Amato,Gerard de Melo,Claudio Gutierrez,José Emilio Labra Gayo,Sabrina Kirrane,Sebastian Neumaier,Axel Polleres,Roberto Navigli,Axel-Cyrille Ngonga Ngomo,Sabbir M. Rashid,Anisa Rula,Lukas Schmelzeisen,Juan Sequeda,Steffen Staab,Antoine Zimmermann
81+阅读 · 2020年3月4日
Commonsense Knowledge Base Completion with Structural and Semantic Context
Chaitanya Malaviya,Chandra Bhagavatula,Antoine Bosselut,Yejin Choi
17+阅读 · 2019年12月19日
Efficiently Embedding Dynamic Knowledge Graphs
Tianxing Wu,Arijit Khan,Huan Gao,Cheng Li
13+阅读 · 2019年10月15日
Representation Learning with Ordered Relation Paths for Knowledge Graph Completion
Yao Zhu,Hongzhi Liu,Zhonghai Wu,Yang Song,Tao Zhang
10+阅读 · 2019年9月26日
Liang Yao,Chengsheng Mao,Yuan Luo
9+阅读 · 2019年9月11日
Long-tail Relation Extraction via Knowledge Graph Embeddings and Graph Convolution Networks
Ningyu Zhang,Shumin Deng,Zhanlin Sun,Guanying Wang,Xi Chen,Wei Zhang,Huajun Chen
8+阅读 · 2019年3月4日
Xuelu Chen,Muhao Chen,Weijia Shi,Yizhou Sun,Carlo Zaniolo
6+阅读 · 2019年2月26日
Luke Vilnis,Xiang Li,Shikhar Murty,Andrew McCallum
5+阅读 · 2018年5月17日
Seyed Mehran Kazemi,David Poole
7+阅读 · 2018年2月13日
Agustinus Kristiadi,Mohammad Asif Khan,Denis Lukovnikov,Jens Lehmann,Asja Fischer
4+阅读 · 2018年2月3日
Top
微信扫码咨询专知VIP会员