Complex node interactions are common in knowledge graphs, and these interactions also contain rich knowledge information. However, traditional methods usually treat a triple as a training unit during the knowledge representation learning (KRL) procedure, neglecting contextualized information of the nodes in knowledge graphs (KGs). We generalize the modeling object to a very general form, which theoretically supports any subgraph extracted from the knowledge graph, and these subgraphs are fed into a novel transformer-based model to learn the knowledge embeddings. To broaden usage scenarios of knowledge, pre-trained language models are utilized to build a model that incorporates the learned knowledge representations. Experimental results demonstrate that our model achieves the state-of-the-art performance on several medical NLP tasks, and improvement above TransE indicates that our KRL method captures the graph contextualized information effectively.


翻译:复杂的节点互动在知识图中很常见,这些互动还包含丰富的知识信息。然而,传统方法通常在知识代表学习(KRL)程序期间将三重作为培训单位,忽视知识图(KGs)中节点的背景信息。 我们将模型对象概括为非常一般的形式,从理论上支持从知识图中提取的任何子图,这些子图被输入到一个新型的基于变压器的模型中,以学习知识嵌入。为了扩大知识的使用场景,使用预先培训的语言模型来构建一个包含知识代表的模型。实验结果表明,我们的模型在数项医学NLP任务上取得了最先进的表现, TransE的改进表明,我们的KRL方法有效地捕捉了图形背景信息。

5
下载
关闭预览

相关内容

17篇知识图谱Knowledge Graphs论文 @AAAI2020
专知会员服务
167+阅读 · 2020年2月13日
最新BERT相关论文清单,BERT-related Papers
专知会员服务
52+阅读 · 2019年9月29日
17篇必看[知识图谱Knowledge Graphs] 论文@AAAI2020
BERT/Transformer/迁移学习NLP资源大列表
专知
19+阅读 · 2019年6月9日
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
24+阅读 · 2019年5月18日
无监督元学习表示学习
CreateAMind
25+阅读 · 2019年1月4日
Facebook PyText 在 Github 上开源了
AINLP
7+阅读 · 2018年12月14日
【NIPS2018】接收论文列表
专知
5+阅读 · 2018年9月10日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
Arxiv
14+阅读 · 2019年11月26日
Arxiv
20+阅读 · 2019年9月7日
Arxiv
6+阅读 · 2019年9月4日
Arxiv
28+阅读 · 2018年4月6日
VIP会员
相关VIP内容
17篇知识图谱Knowledge Graphs论文 @AAAI2020
专知会员服务
167+阅读 · 2020年2月13日
最新BERT相关论文清单,BERT-related Papers
专知会员服务
52+阅读 · 2019年9月29日
相关资讯
17篇必看[知识图谱Knowledge Graphs] 论文@AAAI2020
BERT/Transformer/迁移学习NLP资源大列表
专知
19+阅读 · 2019年6月9日
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
24+阅读 · 2019年5月18日
无监督元学习表示学习
CreateAMind
25+阅读 · 2019年1月4日
Facebook PyText 在 Github 上开源了
AINLP
7+阅读 · 2018年12月14日
【NIPS2018】接收论文列表
专知
5+阅读 · 2018年9月10日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
Top
微信扫码咨询专知VIP会员