论文题目: Learning Conceptual-Contextual Embeddings for Medical Text

论文摘要:

对于自然语言理解任务来说,外部知识通常是有用的。本文介绍了一个上下文文本表示模型,称为概念上下文(CC)嵌入,它将结构化的知识合并到文本表示中。与实体嵌入方法不同,文中提到的方法将知识图编码到上下文模型中。就像预先训练好的语言模型一样,CC嵌入可以很容易地在广泛的任务中重用。模型利用语义泛化,有效地编码了庞大的UMLS数据库。电子实验健康记录(EHRs)和医疗文本处理基准表明,而使得模型大大提高了监督医疗NLP任务的性能。

成为VIP会员查看完整内容
0
36

相关内容

知识图谱(Knowledge Graph),在图书情报界称为知识域可视化或知识领域映射地图,是显示知识发展进程与结构关系的一系列各种不同的图形,用可视化技术描述知识资源及其载体,挖掘、分析、构建、绘制和显示知识及它们之间的相互联系。 知识图谱是通过将应用数学、图形学、信息可视化技术、信息科学等学科的理论与方法与计量学引文分析、共现分析等方法结合,并利用可视化的图谱形象地展示学科的核心结构、发展历史、前沿领域以及整体知识架构达到多学科融合目的的现代理论。它能为学科研究提供切实的、有价值的参考。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

题目: KG-BERT: BERT for Knowledge Graph Completion

摘要: 知识图谱是许多人工智能任务的重要资源,但往往是不完整的。在这项工作中,我们使用预训练的语言模型来对知识图谱进行补全。我们将知识图谱中的三元组视为文本序列,并提出了一种新的框架结构——知识图谱双向编码方向转换器(KG-BERT)来对这些三元组进行建模。该方法以一个三元组的实体描述和关系描述作为输入,利用KG-BERT语言模型计算三元组的评分函数。在多个基准知识图谱上的实验结果表明,我们的方法在三元组分类、链接预测和关系预测任务上都能达到最新的性能。

成为VIP会员查看完整内容
0
79

最近发布的GPT-3让我对NLP中的零学习和小样本的状态产生了兴趣。虽然大多数的零样本学习研究集中在计算机视觉,也有一些有趣的工作在NLP领域。

我将会写一系列的博文来涵盖现有的关于NLP零样本学习的研究。在这第一篇文章中,我将解释Pushp等人的论文“一次训练,到处测试:文本分类的零样本学习”。本文从2017年12月开始,首次提出了文本分类的零样本学习范式。

什么是零样本学习?

零样本学习是检测模型在训练中从未见过的类的能力。它类似于我们人类在没有明确监督的情况下归纳和识别新事物的能力。

例如,我们想要做情感分类和新闻分类。通常,我们将为每个数据集训练/微调一个新模型。相比之下,零样本学习,你可以直接执行任务,如情绪和新闻分类,没有任何特定的任务训练。

一次训练,随处测试

本文提出了一种简单的零样本分类方法。他们没有将文本分类为X类,而是将任务重新组织为二元分类,以确定文本和类是否相关。

https://amitness.com/2020/05/zero-shot-text-classification/

成为VIP会员查看完整内容
0
46

对于自然语言理解任务来说,外部知识通常是有用的。我们介绍了一个上下文文本表示模型,称为概念上下文(CC)嵌入,它将结构化的知识合并到文本表示中。与实体嵌入方法不同,我们的方法将知识图编码到上下文模型中。就像预先训练好的语言模型一样,CC嵌入可以很容易地在广泛的任务中重用。我们的模型利用语义泛化,有效地编码了庞大的UMLS数据库。在电子健康记录(EHRs)和医疗文本处理基准上的实验表明,我们的模型大大提高了监督医疗NLP任务的性能。

成为VIP会员查看完整内容
0
28

External knowledge is often useful for natural language understanding tasks. We introduce a contextual text representation model called Conceptual-Contextual (CC) embeddings, which incorporates structured knowledge into text representations. Unlike entity embedding methods, our approach encodes a knowledge graph into a context model. CC embeddings can be easily reused for a wide range of tasks just like pre-trained language models. Our model effectively encodes the huge UMLS database by leveraging semantic generalizability. Experiments on electronic health records (EHRs) and medical text processing benchmarks showed our model gives a major boost to the performance of supervised medical NLP tasks.

0
10
下载
预览

题目

知识图谱的生成式对抗零样本关系学习:Generative Adversarial Zero-Shot Relational Learning for Knowledge Graphs

简介

大规模知识图谱(KGs)在当前的信息系统中显得越来越重要。为了扩大知识图的覆盖范围,以往的知识图完成研究需要为新增加的关系收集足够的训练实例。本文考虑一种新的形式,即零样本学习,以摆脱这种繁琐的处理,对于新增加的关系,我们试图从文本描述中学习它们的语义特征,从而在不见实例的情况下识别出看不见的关系。为此,我们利用生成性对抗网络(GANs)来建立文本与知识边缘图域之间的联系:生成器学习仅用有噪声的文本描述生成合理的关系嵌入。在这种背景下,零样本学习自然转化为传统的监督分类任务。从经验上讲,我们的方法是模型不可知的,可以应用于任何版本的KG嵌入,并在NELL和Wikidataset上产生性能改进。

作者 Pengda Qin,Xin Wang,Wenhu Chen,Chunyun Zhang,Weiran Xu1William Yang Wang

成为VIP会员查看完整内容
0
33

论文题目: Attending to Entities for Better Text Understanding

论文作者: Pengxiang Cheng ,Katrin Erk

论文摘要: NLP的最新进展见证了大规模预训练语言模型(GPT,BERT,XLNet等)的发展。基于Transformer(Vaswani等人,2017),并在一系列最终任务中,此类模型取得了最先进的结果,接近人类的表现。当与足够多的层和大量的预训练数据配对时,这清楚地证明了堆叠式自我注意架构的强大功能。但是,在需要复杂而又长距离推理的任务上,表面水平的提示还不够,在预训练的模型和人类绩效之间仍然存在很大的差距。Strubell等。 (2018)最近表明,可以注入句法知识通过监督的自我注意将其构建为模型。我们推测,将语义知识(尤其是共指信息)类似地注入到现有模型中,将会提高此类复杂问题的性能。上在LAMBADA(Paperno et al.2016)任务中,我们显示了从头开始训练并同时作为自我注意的辅助监督的模型优于最大的GPT-2模型,并设置了新的最新技术,而仅包含与GPT-2相比,它只占很小一部分参数。我们还对模型架构和监督配置的不同变体进行了全面分析,为将类似技术应用于其他问题提供了未来的方向。

成为VIP会员查看完整内容
0
17

摘要:文本蕴涵是自然语言处理的基本任务。大多数解决这个问题的方法只使用训练数据中的文本内容。一些方法已经表明,来自外部知识来源(如知识图谱)的信息除了文本内容之外,还可以通过提供对任务至关重要的背景知识来增加价值。然而,所提出的模型并没有充分利用通常大而有噪声的公斤中所包含的信息,而且也不清楚如何有效地编码这些信息以使其对加密有用。我们提出了一种方法,通过(1)使用个性化的PageR- ank生成低噪声的上下文子图和(2)使用图卷积网络捕获KG结构对这些子图进行编码,用KGs的信息来补充基于文本的嵌入模型。我们的技术扩展了文本模型挖掘知识结构和语义信息的能力。我们在多个文本蕴涵数据集上评估了我们的方法,并表明使用外部知识有助于提高预测准确性。这一点在极具挑战性的BreakingNLI数据集中表现得尤为明显,我们看到在多个基于文本的entailment模型上有5-20%的绝对改进。

成为VIP会员查看完整内容
0
33

论文摘要

图无处不在,从引文和社交网络到知识图谱(KGs)。它们是最富表现力的数据结构之一,已被用于建模各种问题。知识图谱是图中事实的结构化表示,其中节点表示实体,边表示实体之间的关系。最近的研究已经开发出几种大型知识图谱;例如DBpedia、YAGO、NELL和Freebase。然而,它们都是稀疏的,每个实体只有很少的事实。例如,每个实体只包含1.34个事实。在论文的第一部分,我们提出了缓解这一问题的三个解决方案:(1)KG规范化,即(2)关联提取,它涉及到从非结构化文本中提取实体之间的语义关系的自动化过程;(3)链接预测,它包括基于KG中的已知事实推断缺失的事实。KG的规范化,我们建议CESI(规范化使用嵌入和边信息),一个新颖的方法执行规范化学习嵌入开放KG。KG嵌入的方法扩展了最新进展将相关NP和关系词信息原则的方式。对于关系提取,我们提出了一种远程监督神经关系提取方法,该方法利用KGs中的附加边信息来改进关系提取。最后,对于链路预测,我们提出了扩展ConvE的InteractE,这是一种基于卷积神经网络的链路预测方法,通过三个关键思想:特征置换、新颖的特征重塑和循环卷积来增加特征交互的次数。通过对多个数据集的大量实验,验证了所提方法的有效性。

传统的神经网络如卷积网络和递归神经网络在处理欧几里得数据时受到限制。然而,在自然语言处理(NLP)中图形是很突出的。最近,图卷积网络(Graph Convolutional Networks, GCNs)被提出来解决这一缺点,并成功地应用于多个问题。在论文的第二部分,我们利用GCNs来解决文档时间戳问题,它是文档检索和摘要等任务的重要组成部分。

为此,我们提出利用GCNs联合开发文档语法和时态图结构的NeuralDater,以获得该问题的最新性能。提出了一种灵活的基于图卷积的词嵌入学习方法——SynGCN,该方法利用词的依赖上下文而不是线性上下文来学习更有意义的词嵌入。在论文的第三部分,我们讨论了现有GCN模型的两个局限性,即(1)标准的邻域聚合方案对影响目标节点表示的节点数量没有限制。这导致了中心节点的噪声表示,中心节点在几个跃点中几乎覆盖了整个图。为了解决这个缺点,我们提出了ConfGCN(基于信任的GCN),它通过估计信任来确定聚合过程中一个节点对另一个节点的重要性,从而限制其影响邻居。(2)现有的GCN模型大多局限于处理无向图。然而,更一般和更普遍的一类图是关系图,其中每条边都有与之关联的标签和方向。现有的处理此类图的方法存在参数过多的问题,并且仅限于学习节点的表示。我们提出了一种新的图卷积框架CompGCN,它将实体和关系共同嵌入到一个关系图中。CompGCN是参数有效的,并且可以根据关系的数量进行扩展。它利用了来自KG嵌入技术的各种实体-关系组合操作,并在节点分类、链接预测和图分类任务上取得了明显的优势结果。

成为VIP会员查看完整内容
0
58

External knowledge is often useful for natural language understanding tasks. We introduce a contextual text representation model called Conceptual-Contextual (CC) embeddings, which incorporates structured knowledge into text representations. Unlike entity embedding methods, our approach encodes a knowledge graph into a context model. CC embeddings can be easily reused for a wide range of tasks just like pre-trained language models. Our model effectively encodes the huge UMLS database by leveraging semantic generalizability. Experiments on electronic health records (EHRs) and medical text processing benchmarks showed our model gives a major boost to the performance of supervised medical NLP tasks.

0
20
下载
预览
小贴士
相关VIP内容
专知会员服务
46+阅读 · 2020年5月31日
专知会员服务
37+阅读 · 2020年4月24日
相关论文
Xipeng Qiu,Tianxiang Sun,Yige Xu,Yunfan Shao,Ning Dai,Xuanjing Huang
80+阅读 · 2020年3月18日
Heterogeneous Relational Reasoning in Knowledge Graphs with Reinforcement Learning
Mandana Saebi,Steven Krieg,Chuxu Zhang,Meng Jiang,Nitesh Chawla
8+阅读 · 2020年3月12日
Xiao Zhang,Dejing Dou,Ji Wu
10+阅读 · 2020年3月12日
Liang Yao,Chengsheng Mao,Yuan Luo
5+阅读 · 2019年9月11日
Incorporating Domain Knowledge into Medical NLI using Knowledge Graphs
Soumya Sharma,Bishal Santra,Abhik Jana,T. Y. S. S. Santosh,Niloy Ganguly,Pawan Goyal
3+阅读 · 2019年8月31日
Xiao Zhang,Dejing Dou,Ji Wu
20+阅读 · 2019年8月16日
Ye Liu,Hui Li,Alberto Garcia-Duran,Mathias Niepert,Daniel Onoro-Rubio,David S. Rosenblum
12+阅读 · 2019年3月13日
Wen Zhang,Bibek Paudel,Wei Zhang,Abraham Bernstein,Huajun Chen
6+阅读 · 2019年3月12日
Paul Groth,Antony Scerri,Ron Daniel, Jr.,Bradley P. Allen
3+阅读 · 2018年11月16日
Daniel Oñoro-Rubio,Mathias Niepert,Alberto García-Durán,Roberto González,Roberto J. López-Sastre
8+阅读 · 2018年3月31日
Top