题目: Group Representation Theory for Knowledge Graph Embedding

摘要: 最近,知识图谱嵌入已经成为一种流行的建模和推断缺失链接的方法。本文提出了一种知识图谱嵌入的群论观点,将以往的方法与不同的群作用联系起来。此外,利用群表示理论中的Schur引理,我们证明了最新的嵌入方法RotatE具有从任意有限阿贝尔群建立关系的能力

作者简介: Chen Cai,俄亥俄州立大学计算机科学与工程系博士。他的研究兴趣在于图表示学习和拓扑数据分析。

成为VIP会员查看完整内容
0
16

相关内容

知识图谱(Knowledge Graph),在图书情报界称为知识域可视化或知识领域映射地图,是显示知识发展进程与结构关系的一系列各种不同的图形,用可视化技术描述知识资源及其载体,挖掘、分析、构建、绘制和显示知识及它们之间的相互联系。 知识图谱是通过将应用数学、图形学、信息可视化技术、信息科学等学科的理论与方法与计量学引文分析、共现分析等方法结合,并利用可视化的图谱形象地展示学科的核心结构、发展历史、前沿领域以及整体知识架构达到多学科融合目的的现代理论。它能为学科研究提供切实的、有价值的参考。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

题目: KG-BERT: BERT for Knowledge Graph Completion

摘要: 知识图谱是许多人工智能任务的重要资源,但往往是不完整的。在这项工作中,我们使用预训练的语言模型来对知识图谱进行补全。我们将知识图谱中的三元组视为文本序列,并提出了一种新的框架结构——知识图谱双向编码方向转换器(KG-BERT)来对这些三元组进行建模。该方法以一个三元组的实体描述和关系描述作为输入,利用KG-BERT语言模型计算三元组的评分函数。在多个基准知识图谱上的实验结果表明,我们的方法在三元组分类、链接预测和关系预测任务上都能达到最新的性能。

成为VIP会员查看完整内容
0
106

题目: Knowledge Graph Embeddings and Explainable AI

摘要: 知识图谱嵌入是一种广泛采用的知识表示方法,它将实体和关系嵌入到向量空间中。在这一章中,我们通过解释知识图谱嵌入是什么,如何生成它们以及如何对它们进行评估,向读者介绍知识图谱嵌入的概念。我们总结了这一领域的最新研究成果,对向量空间中表示知识的方法进行了介绍。在知识表示方面,我们考虑了可解释性问题,并讨论了通过知识图谱嵌入来解释预测的模型和方法。

成为VIP会员查看完整内容
0
76

【导读】2020 年 2 月 7 日-2 月 12 日,AAAI 2020 在美国纽约举办。Michael Galkin撰写了AAAI2020知识图谱论文相关研究趋势包括:KG-Augmented语言模型,异构KGs中的实体匹配,KG完成和链路预测,基于kg的会话人工智能和问题回答,包括论文,值得查看!

Hiroaki Hayashi, Zecong Hu, Chenyan Xiong, Graham Neubig: Latent Relation Language Models. AAAI 2020

  • 潜在关系语言模型:本文提出了一种潜在关系语言模型(LRLMs),这是一类通过知识图谱关系对文档中词语的联合分布及其所包含的实体进行参数化的语言模型。该模型具有许多吸引人的特性:它不仅提高了语言建模性能,而且能够通过关系标注给定文本的实体跨度的后验概率。实验证明了基于单词的基线语言模型和先前合并知识图谱信息的方法的经验改进。定性分析进一步证明了该模型的学习能力,以预测适当的关系在上下文中。

成为VIP会员查看完整内容
0
128

题目: Embedding Symbolic Knowledge into Deep Networks

摘要:

在这项工作中,我们的目标是利用先前的符号知识来提高深层模型的性能。提出了一种利用增广图卷积网络(GCN)将命题公式(和赋值)投影到流形上的图嵌入网络。为了生成语义上可靠的嵌入,我们开发了识别节点异构性的技术和将结构约束合并到嵌入中的语义正则化。实验结果表明,该方法提高了训练后的模型的性能,使其能更好地进行蕴涵检测和视觉关联预测。有趣的是,我们观察到命题理论表达的可追踪性和嵌入的容易程度之间的联系。对这一联系的进一步探索可以阐明知识编辑与向量表示学习之间的关系。

作者:

Ziwei Xu是新加坡国立大学博士研究生。之前是中国科学技术大学的一名本科生,对计算机视觉感兴趣,尤其对搭建自然语言、人类知识和视觉世界之间的桥梁感兴趣。

成为VIP会员查看完整内容
0
24

题目: Quaternion Knowledge Graph Embeddings

摘要: 在本篇论文中,我们引入了更具表现力的超复数表示来为知识图嵌入建模实体和关系。更具体地说,四元数嵌入是一种具有三个虚分量的超复数值嵌入,用来表示实体。关系被建模为四元数空间中的旋转。该方法的优点是:(1)利用Hamilton积有效地捕捉了各分量之间的潜在相互依赖关系,鼓励了实体与关系之间更紧密的相互作用;(2)四元数在四维空间中实现了表示旋转,比在复平面上的旋转具有更大的自由度;(3)利用Hamilton积可以有效地捕捉各分量之间的潜在相互依赖关系该框架是超复数空间上复数的推广,同时提供了更好的几何解释,同时满足了关系表示学习(即建模对称、反对称和反演)的关键要求。

作者简介: Shuai Zhang,罗切斯特大学激光能量学实验室科学家。个人主页:http://eps.berkeley.edu/~szhang/

成为VIP会员查看完整内容
0
36

论文题目: A Structural Graph Representation Learning Framework

论文摘要: 许多基于图的机器学习任务的成功在很大程度上取决于从图数据中学习到的适当表示。大多数工作都集中在于学习保留邻近性的节点嵌入,而不是保留节点之间结构相似性的基于结构的嵌入。这些方法无法捕获对基于结构的应用程序(如web日志中的visitor stitching)至关重要的高阶结构依赖和连接模式。在这项工作中,我们阐述了高阶网络表示学习,并提出了一个称为HONE的通用框架,用于通过节点邻域中的子图模式(network motifs, graphlet orbits/positions)从网络中学习这种结构性节点嵌入。HONE引入了一种通用的diffusion机制和一种节省空间的方法,该方法避免了使用k-step线性算子来显式构造k-step motif-based矩阵。此外,HONE被证明是快速和有效的,最坏情况下的时间复杂度几乎是线性的。实验结果表明,该算法能有效地处理大量的网络日志数据,包括链接预测和visitor stitching。

作者简介:

Ryan A. Rossi,目前在Adobe Research工作,研究领域是机器学习;涉及社会和物理现象中的大型复杂关系(网络/图形)数据的理论、算法和应用。在普渡大学获得了计算机科学博士和硕士学位。

Nesreen K. Ahmed,英特尔实验室的高级研究员。我在普渡大学计算机科学系获得博士学位,在普渡大学获得统计学和计算机科学硕士学位。研究方向是机器学习和数据挖掘,涵盖了大规模图挖掘、统计机器学习的理论和算法,以及它们在社会和信息网络中的应用。

成为VIP会员查看完整内容
0
57

论文摘要

图无处不在,从引文和社交网络到知识图谱(KGs)。它们是最富表现力的数据结构之一,已被用于建模各种问题。知识图谱是图中事实的结构化表示,其中节点表示实体,边表示实体之间的关系。最近的研究已经开发出几种大型知识图谱;例如DBpedia、YAGO、NELL和Freebase。然而,它们都是稀疏的,每个实体只有很少的事实。例如,每个实体只包含1.34个事实。在论文的第一部分,我们提出了缓解这一问题的三个解决方案:(1)KG规范化,即(2)关联提取,它涉及到从非结构化文本中提取实体之间的语义关系的自动化过程;(3)链接预测,它包括基于KG中的已知事实推断缺失的事实。KG的规范化,我们建议CESI(规范化使用嵌入和边信息),一个新颖的方法执行规范化学习嵌入开放KG。KG嵌入的方法扩展了最新进展将相关NP和关系词信息原则的方式。对于关系提取,我们提出了一种远程监督神经关系提取方法,该方法利用KGs中的附加边信息来改进关系提取。最后,对于链路预测,我们提出了扩展ConvE的InteractE,这是一种基于卷积神经网络的链路预测方法,通过三个关键思想:特征置换、新颖的特征重塑和循环卷积来增加特征交互的次数。通过对多个数据集的大量实验,验证了所提方法的有效性。

传统的神经网络如卷积网络和递归神经网络在处理欧几里得数据时受到限制。然而,在自然语言处理(NLP)中图形是很突出的。最近,图卷积网络(Graph Convolutional Networks, GCNs)被提出来解决这一缺点,并成功地应用于多个问题。在论文的第二部分,我们利用GCNs来解决文档时间戳问题,它是文档检索和摘要等任务的重要组成部分。

为此,我们提出利用GCNs联合开发文档语法和时态图结构的NeuralDater,以获得该问题的最新性能。提出了一种灵活的基于图卷积的词嵌入学习方法——SynGCN,该方法利用词的依赖上下文而不是线性上下文来学习更有意义的词嵌入。在论文的第三部分,我们讨论了现有GCN模型的两个局限性,即(1)标准的邻域聚合方案对影响目标节点表示的节点数量没有限制。这导致了中心节点的噪声表示,中心节点在几个跃点中几乎覆盖了整个图。为了解决这个缺点,我们提出了ConfGCN(基于信任的GCN),它通过估计信任来确定聚合过程中一个节点对另一个节点的重要性,从而限制其影响邻居。(2)现有的GCN模型大多局限于处理无向图。然而,更一般和更普遍的一类图是关系图,其中每条边都有与之关联的标签和方向。现有的处理此类图的方法存在参数过多的问题,并且仅限于学习节点的表示。我们提出了一种新的图卷积框架CompGCN,它将实体和关系共同嵌入到一个关系图中。CompGCN是参数有效的,并且可以根据关系的数量进行扩展。它利用了来自KG嵌入技术的各种实体-关系组合操作,并在节点分类、链接预测和图分类任务上取得了明显的优势结果。

成为VIP会员查看完整内容
0
65

Embedding entities and relations into a continuous multi-dimensional vector space have become the dominant method for knowledge graph embedding in representation learning. However, most existing models ignore to represent hierarchical knowledge, such as the similarities and dissimilarities of entities in one domain. We proposed to learn a Domain Representations over existing knowledge graph embedding models, such that entities that have similar attributes are organized into the same domain. Such hierarchical knowledge of domains can give further evidence in link prediction. Experimental results show that domain embeddings give a significant improvement over the most recent state-of-art baseline knowledge graph embedding models.

0
9
下载
预览
小贴士
相关VIP内容
专知会员服务
128+阅读 · 2020年2月13日
相关资讯
17篇必看[知识图谱Knowledge Graphs] 论文@AAAI2020
【论文笔记】基于BERT的知识图谱补全
专知
99+阅读 · 2019年9月15日
论文浅尝 | 基于知识图谱中图卷积神经网络的推荐系统
开放知识图谱
60+阅读 · 2019年8月27日
图嵌入(Graph embedding)综述
人工智能前沿讲习班
364+阅读 · 2019年4月30日
动态知识图谱补全论文合集
专知
41+阅读 · 2019年4月18日
收藏 | 最新知识图谱论文清单(附解读、下载)
THU数据派
8+阅读 · 2018年11月19日
网络表示学习综述:一文理解Network Embedding
PaperWeekly
27+阅读 · 2018年8月14日
相关论文
Menghan Wang,Yujie Lin,Guli Lin,Keping Yang,Xiao-ming Wu
7+阅读 · 2020年6月1日
Representation Learning with Ordered Relation Paths for Knowledge Graph Completion
Yao Zhu,Hongzhi Liu,Zhonghai Wu,Yang Song,Tao Zhang
6+阅读 · 2019年9月26日
Domain Representation for Knowledge Graph Embedding
Cunxiang Wang,Feiliang Ren,Zhichao Lin,Chenxv Zhao,Tian Xie,Yue Zhang
9+阅读 · 2019年9月11日
Liang Yao,Chengsheng Mao,Yuan Luo
8+阅读 · 2019年9月11日
HyperKG: Hyperbolic Knowledge Graph Embeddings for Knowledge Base Completion
Prodromos Kolyvakis,Alexandros Kalousis,Dimitris Kiritsis
4+阅读 · 2019年8月17日
Rik Koncel-Kedziorski,Dhanush Bekal,Yi Luan,Mirella Lapata,Hannaneh Hajishirzi
32+阅读 · 2019年4月4日
Koki Kishimoto,Katsuhiko Hayashi,Genki Akai,Masashi Shimbo,Kazunori Komatani
4+阅读 · 2019年2月8日
Multi-Task Identification of Entities, Relations, and Coreference for Scientific Knowledge Graph Construction
Yi Luan,Luheng He,Mari Ostendorf,Hannaneh Hajishirzi
8+阅读 · 2018年8月29日
Ivana Balazevic,Carl Allen,Timothy M. Hospedales
5+阅读 · 2018年8月28日
Chung-Wei Lee,Wei Fang,Chih-Kuan Yeh,Yu-Chiang Frank Wang
7+阅读 · 2018年5月26日
Top