题目: Integrating Deep Learning with Logic Fusion for Information Extraction

摘要:

信息抽取(Information extraction, IE)旨在从输入文本中产生结构化的信息,例如命名实体识别和关系抽取。通过特征工程或深度学习为IE提出了各种尝试。然而,他们中的大多数人并没有将任务本身所固有的复杂关系联系起来,而这一点已被证明是特别重要的。例如,两个实体之间的关系高度依赖于它们的实体类型。这些依赖关系可以看作是复杂的约束,可以有效地表示为逻辑规则。为了将这种逻辑推理能力与深度神经网络的学习能力相结合,我们提出将一阶逻辑形式的逻辑知识集成到深度学习系统中,以端到端方式联合训练。该集成框架通过逻辑规则对神经输出进行知识正则化增强,同时根据训练数据的特点更新逻辑规则的权值。我们证明了该模型在多个IE任务上的有效性和泛化性。

作者:

Sinno Jialin Pan是南洋理工大学计算机科学与工程学院院长兼副教授,研究方向是迁移学习、数据挖掘、人工智能、机器学习。

成为VIP会员查看完整内容
0
45

相关内容

实体(entity)是有可区别性且独立存在的某种事物,但它不需要是物质上的存在。尤其是抽象和法律拟制也通常被视为实体。实体可被看成是一包含有子集的集合。在哲学里,这种集合被称为客体。实体可被使用来指涉某个可能是人、动物、植物或真菌等不会思考的生命、无生命物体或信念等的事物。在这一方面,实体可以被视为一全包的词语。有时,实体被当做本质的广义,不论即指的是否为物质上的存在,如时常会指涉到的无物质形式的实体-语言。更有甚者,实体有时亦指存在或本质本身。在法律上,实体是指能具有权利和义务的事物。这通常是指法人,但也包括自然人。

题目:

Confidence-Aware Learning for Deep Neural Networks

简介:

尽管深度神经网络可以执行多种任务,但过分一致的预测问题限制了它们在许多安全关键型应用中的实际应用。已经提出了许多新的工作来减轻这个问题,但是大多数工作需要在训练和/或推理阶段增加计算成本,或者需要定制的体系结构来分别输出置信估计。在本文中,我们提出了一种使用新的损失函数训练深度神经网络的方法,称为正确排名损失,该方法将类别概率显式规范化,以便根据依据的有序等级更好地进行置信估计。所提出的方法易于实现,并且无需进行任何修改即可应用于现有体系结构。而且,它的训练计算成本几乎与传统的深度分类器相同,并且通过一次推断就可以输出可靠的预测。在分类基准数据集上的大量实验结果表明,所提出的方法有助于网络产生排列良好的置信度估计。我们还证明,它对于与置信估计,分布外检测和主动学习密切相关的任务十分有效。

成为VIP会员查看完整内容
0
35

题目

Keywords extraction with deep neural network model

关键词

关键词提取,自然语言处理,深度神经语言模型,人工智能

简介

关键字可以表达文章或句子的主要内容。关键字提取是许多自然语言处理(NLP)应用程序中的关键问题,它可以提高许多NLP系统的性能。关键字提取的传统方法基于机器学习或图模型。这些方法的性能受功能选择和手动定义的规则影响。近年来,随着深度学习技术的出现,具有深度学习算法的自动学习功能可以提高许多任务的性能。在本文中,我们提出了一种用于关键字提取任务的深度神经网络模型。我们在传统LSTM模型的基础上进行了两个扩展。首先,为了更好地利用给定目标词的历史和后续上下文信息,我们提出了基于目标中心的LSTM模型(TC-LSTM),该模型通过考虑目标词的上下文信息来学习对目标词进行编码。其次,在TC-LSTM模型的基础上,我们应用了自我关注机制,这使我们的模型能够专注于相关文本的信息部分。另外,我们还介绍了一种利用大规模伪训练数据的两阶段训练方法。实验结果表明了我们方法的优势,我们的模型击败了所有基准系统。而且,两阶段训练方法对于提高模型的有效性也具有重要意义。

作者

Yu Zhang, Mingxiang Tuo, Qingyu Yin, Le Qi, Xuxiang Wang, Ting Liu

成为VIP会员查看完整内容
0
43

题目: Probabilistic Logic Neural Networks for Reasoning

摘要:

知识图谱推理的目的是通过对观测到的事实进行推理来预测缺失的事实,它在许多应用中起着至关重要的作用。传统的基于逻辑规则的方法和近年来的知识图谱嵌入方法都对这一问题进行了广泛的探讨。马尔可夫逻辑网络(MLN)是一种有原则的基于规则的逻辑方法,它能够利用一阶逻辑的领域知识,同时处理不确定性。然而,由于其复杂的图形结构,MLNs的推理通常是非常困难的。与MLNs不同的是,知识图的嵌入方法(如TransE、DistMult)学习有效的实体嵌入和关系嵌入进行推理,这样更有效、更高效。然而,他们无法利用领域知识。在本文中,我们提出了概率逻辑神经网络(pLogicNet),它结合了两种方法的优点。pLogicNet使用一阶逻辑的马尔可夫逻辑网络定义所有可能的三联体的联合分布,该网络可以通过变分EM算法进行有效优化。采用知识图谱嵌入模型推断缺失的三联体,根据观测到的三联体和预测到的三联体更新逻辑规则权值。在多个知识图谱的实验证明了pLogicNet在许多竞争基线上的有效性。

作者:

瞿锰是蒙特利尔学习算法研究所的一年级博士生,之前,在伊利诺伊大学香槟分校获得了硕士学位,此外,在北京大学获得了学士学位。主要研究方向为机器学习、贝叶斯深度学习、数据挖掘和自然语言处理。

成为VIP会员查看完整内容
0
69

题目: Embedding Symbolic Knowledge into Deep Networks

摘要:

在这项工作中,我们的目标是利用先前的符号知识来提高深层模型的性能。提出了一种利用增广图卷积网络(GCN)将命题公式(和赋值)投影到流形上的图嵌入网络。为了生成语义上可靠的嵌入,我们开发了识别节点异构性的技术和将结构约束合并到嵌入中的语义正则化。实验结果表明,该方法提高了训练后的模型的性能,使其能更好地进行蕴涵检测和视觉关联预测。有趣的是,我们观察到命题理论表达的可追踪性和嵌入的容易程度之间的联系。对这一联系的进一步探索可以阐明知识编辑与向量表示学习之间的关系。

作者:

Ziwei Xu是新加坡国立大学博士研究生。之前是中国科学技术大学的一名本科生,对计算机视觉感兴趣,尤其对搭建自然语言、人类知识和视觉世界之间的桥梁感兴趣。

成为VIP会员查看完整内容
0
23

题目: Logical Expressiveness of Graph Neural Networks

摘要:

图神经网络(Graph Neural Networks, GNNs)是近年来在分子分类、知识图谱补全等结构化数据处理领域中流行起来的一类机器学习体系结构。最近关于GNNs表达能力的研究已经建立了它们对图中节点进行分类的能力与用于检查图同构的WeisfeilerLehman (WL)测试之间的紧密联系。具体来说,这两篇论文的作者分别观察到,WL测试产生的节点分类总是细化了任何GNN产生的分类,而且有GNN可以重现WL测试。这些结果表明,GNNs在节点分类方面与WL测试一样强大。然而,这并不意味着GNNs可以表达任何通过WL测试改进的分类器。我们的工作旨在回答以下问题:什么是可以用GNNs捕获的节点分类器?在本文中,我们从逻辑的角度来看待这个问题,将其限制在FOC2中可表达的属性上,即具有计数能力的一阶逻辑的两变量片段进行研究。

作者:

Pablo Barceló是智利天主教大学工程学院和数学学院数学与计算工程研究所所长,研究领域为数据库理论、计算机科学中的逻辑、自动机理论。

成为VIP会员查看完整内容
0
28

报告主题:Universal Features-Information Extraction for Transfer Learning

报告摘要:深度神经网络已成功地在广泛的应用中使用。从概念上讲,我们知道数据和标签之间的统计相关性是已知的,并且条件分布的一些近似版本存储在DNN的权重中。通过尝试了解DNN的操作,我们的目标是对统计量在网络内部的表示方式进行数学解释,以便我们可以将存储在一个DNN中的学习知识与其他来源的知识(例如先验知识)集成在一起,结构知识,其他神经网络的学习成果,或者只是将其用于新的相关问题中。在本次演讲中,我们试图通过建立一种理论结构来解决该问题,该结构可以通过信息与特定推理问题的相关性来衡量信息的含义,并以此来解释神经网络在提取“通用特征”(定义为解决方案)时的行为。针对特定的优化问题。我们表明,这种学习过程与统计学和信息论中的许多著名概念紧密相关。基于此理论框架,我们展示了一些在转移学习中使用神经网络的灵活方法,特别是结合了一些常规的信号处理技术。

邀请嘉宾:郑立中(Lizhong Zheng)于1994和1997年在清华大学电子工程系获得学士和硕士学位,2002年在加州大学伯克利分校电气和计算机工程系获博士学位,并到麻省理工学院(MIT) 电气和计算机科学系任教。目前是该系全职教授,IEEE Fellow。主要从事信息论、无线通信和统计干扰理论研究。曾获得IEEE 信息理论学会论文奖、美国国家自然基金会CAREER奖和AFOSR 年轻研究学者奖。 近年来在信息论、信息几何、有损信息处理、网络信息论模型训练和社区发现等最新信息理论及其在通信和大数据等方面的应用有着开创性的研究。

成为VIP会员查看完整内容
0
17
小贴士
相关VIP内容
相关资讯
338页新书《Deep Learning in Natural Language Processing》
机器学习算法与Python学习
6+阅读 · 2018年11月6日
论文浅尝 | Zero-Shot Transfer Learning for Event Extraction
开放知识图谱
20+阅读 · 2018年11月1日
读书报告 | Deep Learning for Extreme Multi-label Text Classification
科技创新与创业
40+阅读 · 2018年1月10日
论文浅尝 | Distant Supervision for Relation Extraction
开放知识图谱
4+阅读 · 2017年12月25日
【深度学习】给初学者的深度学习简介
产业智能官
5+阅读 · 2017年10月17日
【深度】可解释性与deep learning的发展
机器学习研究会
6+阅读 · 2017年10月15日
相关论文
Zhen Zhang,Jiajun Bu,Martin Ester,Jianfeng Zhang,Chengwei Yao,Zhi Yu,Can Wang
6+阅读 · 2019年11月14日
MR-GNN: Multi-Resolution and Dual Graph Neural Network for Predicting Structured Entity Interactions
Nuo Xu,Pinghui Wang,Long Chen,Jing Tao,Junzhou Zhao
6+阅读 · 2019年5月23日
Junlang Zhan,Hai Zhao
3+阅读 · 2019年3月1日
Lin Qiu,Hao Zhou,Yanru Qu,Weinan Zhang,Suoheng Li,Shu Rong,Dongyu Ru,Lihua Qian,Kewei Tu,Yong Yu
4+阅读 · 2019年1月28日
Dinesh Raghu,Nikhil Gupta, Mausam
3+阅读 · 2018年5月3日
Mohammadhosein Hasanbeig,Alessandro Abate,Daniel Kroening
5+阅读 · 2018年4月22日
Fangkai Yang,Daoming Lyu,Bo Liu,Steven Gustafson
5+阅读 · 2018年4月20日
Guangneng Hu,Yu Zhang,Qiang Yang
7+阅读 · 2018年4月20日
Pingping Zhang,Dong Wang,Huchuan Lu,Hongyu Wang
5+阅读 · 2018年2月22日
Quanshi Zhang,Song-Chun Zhu
12+阅读 · 2018年2月7日
Top