论文题目: Neural Reading Comprehension And Beyond

论文摘要: 教机器理解人类语言文件是人工智能中最难以捉摸和长期存在的挑战之一。本文研究的是阅读理解问题:如何建立计算机系统来阅读一篇文章并回答理解问题。一方面,我们认为阅读理解是评估计算机系统对人类语言理解程度的重要任务。另一方面,如果我们能建立一个高性能的阅读理解系统,它们将是问答和对话等应用的关键技术系统。在这篇论文中,我们关注的是神经阅读理解:一类建立在深层神经网络之上的阅读理解模型。与传统的稀疏的、手工设计的基于特征的模型相比,这些端到端的神经模型在学习丰富的语言现象和提高现代阅读理解基准上的性能方面有了很大的提高。在第一部分中,我们将讨论神经的本质阅读理解和目前我们努力建立有效的神经阅读理解模型,更重要的是,了解神经阅读理解模型实际上学到了什么,需要解决语言理解的深度是什么当前任务。我们还总结了这一领域的最新进展,并讨论了未来的发展方向和有待解决的问题。在本论文的第二部分,我们将探讨如何在最近神经阅读理解的成功基础上建立实际的应用。特别是我们开创了两个新的研究方向:1)如何将信息检索技术与神经阅读理解相结合,解决大规模的开放领域问题回答;2)如何从现有的单轮、基于广域的阅读理解模型构建会话式问题回答系统。我们在DRQA和coqa项目中实现了这些想法,并证明了这些方法的有效性。我们相信他们对未来的语言技术有很大的希望。

下载链接: https://stacks.stanford.edu/file/druid:gd576xb1833/thesis-augmented.pdf

成为VIP会员查看完整内容
0
16

相关内容

自然语言处理(NLP)是语言学,计算机科学,信息工程和人工智能的一个子领域,与计算机和人类(自然)语言之间的相互作用有关,尤其是如何对计算机进行编程以处理和分析大量自然语言数据 。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

【简介】自然语言处理(NLP)能够帮助智能型机器更好地理解人类的语言,实现基于语言的人机交流。目前随着计算能力的发展和大量语言数据的出现,推动了使用数据驱动方法自动进行语义分析的需求。由于深度学习方法在计算机视觉、自动语音识别,特别是NLP等领域取得了显著的进步,数据驱动策略的应用已经非常的普遍。本综述对NLP领域中所应用的深度学习进行了分类和讨论。它涵盖了NLP的核心任务和应用领域,并对深度学习方法如何推进这些领域的发展进行了细致的描述。最后我们进一步分析和比较了不同的方法和目前最先进的模型。

原文连接:https://arxiv.org/abs/2003.01200

介绍

自然语言处理(NLP)是计算机科学的一个分支,能够为自然语言和计算机之间提高沟通的桥梁。它帮助机器理解、处理和分析人类语言。NLP通过深入地理解数据的上下文,使得数据变得更有意义,这反过来又促进了文本分析和数据挖掘。NLP通过人类的通信结构和通信模式来实现这一点。这篇综述涵盖了深度学习在NLP领域中所扮演的新角色以及各种应用。我们的研究主要集中在架构上,很少讨论具体的应用程序。另一方面,本文描述了将深度学习应用于NLP问题中时所面临的挑战、机遇以及效果评估方式。

章节目录

section 2: 在理论层面介绍了NLP和人工智能,并将深度学习视为解决现实问题的一种方法。

section 3:讨论理解NLP所必需的基本概念,包括各种表示法、模型框架和机器学习中的示例性问题。

section 4:总结了应用在NLP领域中的基准数据集。

section 5:重点介绍一些已经被证明在NLP任务中有显著效果的深度学习方法。

section 6:进行总结,同时解决了一些开放的问题和有希望改善的领域。

成为VIP会员查看完整内容
0
63

题目: Neural Machine Reading Comprehension:Methods and Trends

摘要: 近年来,随着深度学习的出现,要求机器根据给定的语境回答问题的机器阅读理解(MRC)越来越受到广泛的关注。虽然基于深度学习的MRC研究方兴未艾,但目前还缺乏一篇全面的综述文章来总结本文提出的方法和近期的发展趋势。因此,我们对这一有希望的领域的最新研究工作进行了全面的综述。具体来说,我们比较了不同维度的MRC任务,并介绍了其总体架构。我们进一步提供了流行模型中使用的最新方法的分类。最后,我们讨论了一些新的趋势,并通过描述该领域的一些开放性问题得出结论。

下载链接: https://arxiv.org/pdf/1907.01118v2.pdf

成为VIP会员查看完整内容
0
33

论文题目: Introduction to Neural Network based Approaches for Question Answering over Knowledge Graphs

论文摘要: 问答作为一种直观的查询结构化数据源的方法已经出现,并在过去几年中取得了重大进展。在这篇文章中,我们概述了这些最新的进展,重点是基于神经网络的知识图问答系统。我们向读者介绍任务中的挑战、当前的方法范例,讨论显著的进展,并概述该领域的新趋势。通过本文,我们的目标是为新进入该领域的人员提供一个合适的切入点,并简化他们在创建自己的QA系统的同时做出明智决策的过程。

成为VIP会员查看完整内容
0
37

Reading comprehension (RC) has been studied in a variety of datasets with the boosted performance brought by deep neural networks. However, the generalization capability of these models across different domains remains unclear. To alleviate this issue, we are going to investigate unsupervised domain adaptation on RC, wherein a model is trained on labeled source domain and to be applied to the target domain with only unlabeled samples. We first show that even with the powerful BERT contextual representation, the performance is still unsatisfactory when the model trained on one dataset is directly applied to another target dataset. To solve this, we provide a novel conditional adversarial self-training method (CASe). Specifically, our approach leverages a BERT model fine-tuned on the source dataset along with the confidence filtering to generate reliable pseudo-labeled samples in the target domain for self-training. On the other hand, it further reduces domain distribution discrepancy through conditional adversarial learning across domains. Extensive experiments show our approach achieves comparable accuracy to supervised models on multiple large-scale benchmark datasets.

0
4
下载
预览

论文摘要:

教机器理解人类语言文档是人工智能中最难以捉摸和长期存在的挑战之一。本文探讨了阅读理解的问题:如何构建计算机系统来阅读文章和回答理解问题。一方面,我们认为阅读理解是评价计算机系统对人类语言理解程度的一项重要任务。另一方面,如果我们能够构建高性能的阅读理解系统,那么它将成为问答和对话系统等应用的关键技术。本文以神经阅读理解为研究对象:一种基于深度神经网络的阅读理解模型。与传统的稀疏的、手工设计的基于特征的模型相比,这些端到端神经模型在学习丰富的语言现象方面更加有效,并且在所有现代阅读理解基准上的表现都有很大的提高。本文由两部分组成。第一部分是对神经阅读理解的本质进行概括,介绍我们在构建有效的神经阅读理解模型方面所做的努力,更重要的是了解神经阅读理解模型实际学到了什么,以及解决当前任务需要什么样的语言理解深度。我们还总结了该领域的最新进展,讨论了该领域的未来发展方向和有待解决的问题。在本文的第二部分,我们探讨了如何在最近神经阅读理解成功的基础上建立实际应用。特别是,我们开创了两个新的研究方向:1)如何将信息检索技术与神经阅读理解相结合,解决大规模开放领域的问题;(2)如何从当前的单圈、跨步阅读理解模式中构建会话问答系统。我们在DrQA和CoQA项目中实现了这些想法,并证明了这些方法的有效性。我们相信他们对推动未来的语言技术有很大帮助。

成为VIP会员查看完整内容
0
30

Commonsense knowledge plays an important role when we read. The performance of BERT on SQuAD dataset shows that the accuracy of BERT can be better than human users. However, it does not mean that computers can surpass the human being in reading comprehension. CommonsenseQA is a large-scale dataset which is designed based on commonsense knowledge. BERT only achieved an accuracy of 55.9% on it. The result shows that computers cannot apply commonsense knowledge like human beings to answer questions. Comprehension Ability Test (CAT) divided the reading comprehension ability at four levels. We can achieve human like comprehension ability level by level. BERT has performed well at level 1 which does not require common knowledge. In this research, we propose a system which aims to allow computers to read articles and answer related questions with commonsense knowledge like a human being for CAT level 2. This system consists of three parts. Firstly, we built a commonsense knowledge graph; and then automatically constructed the commonsense knowledge question dataset according to it. Finally, BERT is combined with the commonsense knowledge to achieve the reading comprehension ability at CAT level 2. Experiments show that it can pass the CAT as long as the required common knowledge is included in the knowledge base.

0
3
下载
预览

This paper focuses on how to take advantage of external relational knowledge to improve machine reading comprehension (MRC) with multi-task learning. Most of the traditional methods in MRC assume that the knowledge used to get the correct answer generally exists in the given documents. However, in real-world task, part of knowledge may not be mentioned and machines should be equipped with the ability to leverage external knowledge. In this paper, we integrate relational knowledge into MRC model for commonsense reasoning. Specifically, based on a pre-trained language model (LM). We design two auxiliary relation-aware tasks to predict if there exists any commonsense relation and what is the relation type between two words, in order to better model the interactions between document and candidate answer option. We conduct experiments on two multi-choice benchmark datasets: the SemEval-2018 Task 11 and the Cloze Story Test. The experimental results demonstrate the effectiveness of the proposed method, which achieves superior performance compared with the comparable baselines on both datasets.

0
5
下载
预览
小贴士
相关VIP内容
专知会员服务
15+阅读 · 2020年4月23日
专知会员服务
63+阅读 · 2020年3月12日
FlowQA: Grasping Flow in History for Conversational Machine Comprehension
专知会员服务
14+阅读 · 2019年10月18日
相关论文
Yu Cao,Meng Fang,Baosheng Yu,Joey Tianyi Zhou
4+阅读 · 2019年11月13日
Yidan Hu,Gongqi Lin,Yuan Miao,Chunyan Miao
3+阅读 · 2019年9月8日
Jindou Wu,Yunlun Yang,Chao Deng,Hongyi Tang,Bingning Wang,Haoze Sun,Ting Yao,Qi Zhang
6+阅读 · 2019年3月28日
Minghao Hu,Furu Wei,Yuxing Peng,Zhen Huang,Nan Yang,Dongsheng Li
3+阅读 · 2018年11月15日
Knowledge Based Machine Reading Comprehension
Yibo Sun,Daya Guo,Duyu Tang,Nan Duan,Zhao Yan,Xiaocheng Feng,Bing Qin
3+阅读 · 2018年9月12日
Ankit Goyal,Jian Wang,Jia Deng
3+阅读 · 2018年5月25日
Zia Hasan,Sebastian Fischer
5+阅读 · 2018年3月25日
Wei He,Kai Liu,Yajuan Lyu,Shiqi Zhao,Xinyan Xiao,Yuan Liu,Yizhong Wang,Hua Wu,Qiaoqiao She,Xuan Liu,Tian Wu,Haifeng Wang
3+阅读 · 2017年11月15日
Top