题目: Neural Machine Reading Comprehension:Methods and Trends

摘要: 近年来,随着深度学习的出现,要求机器根据给定的语境回答问题的机器阅读理解(MRC)越来越受到广泛的关注。虽然基于深度学习的MRC研究方兴未艾,但目前还缺乏一篇全面的综述文章来总结本文提出的方法和近期的发展趋势。因此,我们对这一有希望的领域的最新研究工作进行了全面的综述。具体来说,我们比较了不同维度的MRC任务,并介绍了其总体架构。我们进一步提供了流行模型中使用的最新方法的分类。最后,我们讨论了一些新的趋势,并通过描述该领域的一些开放性问题得出结论。

下载链接: https://arxiv.org/pdf/1907.01118v2.pdf

成为VIP会员查看完整内容
0
33

相关内容

机器学习的一个分支,它基于试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的一系列算法。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

题目: A Comprehensive Survey of Multilingual Neural Machine Translation

摘要: 本文综述了近年来备受关注的多语言神经机器翻译(MNMT)。由于翻译知识的转移(迁移学习),MNMT在提高翻译质量方面发挥了重要作用。MNMT比统计机器翻译更有前途,也更有趣,因为端到端建模和分布式表示为机器翻译的研究开辟了新途径。为了利用多语言并行语料库来提高翻译质量,人们提出了许多方法。但是,由于缺乏全面的综述,很难确定哪些方法是有希望的,因此值得进一步探讨。在这篇论文中,我们对现有的关于MNMT的文献进行了深入的综述。我们首先根据中心用例对各种方法进行分类,然后根据资源场景、基础建模原则、核心问题和挑战对它们进行进一步分类。只要有可能,我们就通过相互比较来解决几种技术的优缺点。我们还讨论了未来的方向,跨国公司的研究可能采取。本文的目标读者既有初学者,也有专家。我们希望这篇论文能够作为一个起点,同时也为那些对MNMT感兴趣的研究人员和工程师提供新的思路。

成为VIP会员查看完整内容
0
8

To provide a survey on the existing tasks and models in Machine Reading Comprehension (MRC), this report reviews: 1) the dataset collection and performance evaluation of some representative simple-reasoning and complex-reasoning MRC tasks; 2) the architecture designs, attention mechanisms, and performance-boosting approaches for developing neural-network-based MRC models; 3) some recently proposed transfer learning approaches to incorporating text-style knowledge contained in external corpora into the neural networks of MRC models; 4) some recently proposed knowledge base encoding approaches to incorporating graph-style knowledge contained in external knowledge bases into the neural networks of MRC models. Besides, according to what has been achieved and what are still deficient, this report also proposes some open problems for the future research.

0
7
下载
预览

题目: A Survey on Document-level Machine Translation: Methods and Evaluation

摘要: 机器翻译(Machine translation,MT)是自然语言处理(NLP)中的一项重要任务,它使翻译过程自动化,减少了对人工翻译的依赖。随着神经网络的出现,翻译质量超过了使用统计技术得到的翻译质量。直到三年前,所有的神经翻译模型都是独立翻译句子的,不包含任何额外的句子信息。本文的目的是突出神经革命前后在文档级机器翻译领域所做的主要工作,以便研究人员能够认识到我们从哪里开始,我们正朝着哪个方向前进。在谈到统计机器翻译(SMT)的文献时,我们关注的是那些试图改善特定话语现象翻译的作品,而在神经机器翻译(NMT)中,我们关注的是那些明确使用更广泛语境的作品。除此之外,我们还介绍了为说明该领域的改进而引入的评估策略。

成为VIP会员查看完整内容
0
4

论文题目: Introduction to Neural Network based Approaches for Question Answering over Knowledge Graphs

论文摘要: 问答作为一种直观的查询结构化数据源的方法已经出现,并在过去几年中取得了重大进展。在这篇文章中,我们概述了这些最新的进展,重点是基于神经网络的知识图问答系统。我们向读者介绍任务中的挑战、当前的方法范例,讨论显著的进展,并概述该领域的新趋势。通过本文,我们的目标是为新进入该领域的人员提供一个合适的切入点,并简化他们在创建自己的QA系统的同时做出明智决策的过程。

成为VIP会员查看完整内容
0
37

论文题目: Neural Reading Comprehension And Beyond

论文摘要: 教机器理解人类语言文件是人工智能中最难以捉摸和长期存在的挑战之一。本文研究的是阅读理解问题:如何建立计算机系统来阅读一篇文章并回答理解问题。一方面,我们认为阅读理解是评估计算机系统对人类语言理解程度的重要任务。另一方面,如果我们能建立一个高性能的阅读理解系统,它们将是问答和对话等应用的关键技术系统。在这篇论文中,我们关注的是神经阅读理解:一类建立在深层神经网络之上的阅读理解模型。与传统的稀疏的、手工设计的基于特征的模型相比,这些端到端的神经模型在学习丰富的语言现象和提高现代阅读理解基准上的性能方面有了很大的提高。在第一部分中,我们将讨论神经的本质阅读理解和目前我们努力建立有效的神经阅读理解模型,更重要的是,了解神经阅读理解模型实际上学到了什么,需要解决语言理解的深度是什么当前任务。我们还总结了这一领域的最新进展,并讨论了未来的发展方向和有待解决的问题。在本论文的第二部分,我们将探讨如何在最近神经阅读理解的成功基础上建立实际的应用。特别是我们开创了两个新的研究方向:1)如何将信息检索技术与神经阅读理解相结合,解决大规模的开放领域问题回答;2)如何从现有的单轮、基于广域的阅读理解模型构建会话式问题回答系统。我们在DRQA和coqa项目中实现了这些想法,并证明了这些方法的有效性。我们相信他们对未来的语言技术有很大的希望。

下载链接: https://stacks.stanford.edu/file/druid:gd576xb1833/thesis-augmented.pdf

成为VIP会员查看完整内容
0
16

《FlowQA: Grasping Flow in History for Conversational Machine Comprehension.》Hsin-YuanHuang, Eunsol Choi,Wen-tauYih [ICLR] (2019)

会话机器理解需要对会话历史有深刻的理解,为了使传统的单圈模型能够进行全面编码,作者引入Flow机制,该机制可以通过交替并行处理结构合并在回答先前问题的过程中生成的中间表示。与先前的将问题/答案作为输入的方法相比,Flow更深入地整合了历史对话的潜在语义。其性能也优于SCONE中的所有三个领域中的最佳模型,准确性提高了2.6%

Github项目地址:https://github.com/momohuang/FlowQA

成为VIP会员查看完整内容
FlowQA Grasping Flow in History for Conversational Machine Comprehension.pdf
0
14

Machine reading comprehension have been intensively studied in recent years, and neural network-based models have shown dominant performances. In this paper, we present a Sogou Machine Reading Comprehension (SMRC) toolkit that can be used to provide the fast and efficient development of modern machine comprehension models, including both published models and original prototypes. To achieve this goal, the toolkit provides dataset readers, a flexible preprocessing pipeline, necessary neural network components, and built-in models, which make the whole process of data preparation, model construction, and training easier.

1
6
下载
预览

Machine reading comprehension (MRC) requires reasoning about both the knowledge involved in a document and knowledge about the world. However, existing datasets are typically dominated by questions that can be well solved by context matching, which fail to test this capability. To encourage the progress on knowledge-based reasoning in MRC, we present knowledge-based MRC in this paper, and build a new dataset consisting of 40,047 question-answer pairs. The annotation of this dataset is designed so that successfully answering the questions requires understanding and the knowledge involved in a document. We implement a framework consisting of both a question answering model and a question generation model, both of which take the knowledge extracted from the document as well as relevant facts from an external knowledge base such as Freebase/ProBase/Reverb/NELL. Results show that incorporating side information from external KB improves the accuracy of the baseline question answer system. We compare it with a standard MRC model BiDAF, and also provide the difficulty of the dataset and lay out remaining challenges.

0
3
下载
预览
小贴士
相关VIP内容
注意力机制模型最新综述
专知会员服务
157+阅读 · 2019年10月20日
FlowQA: Grasping Flow in History for Conversational Machine Comprehension
专知会员服务
14+阅读 · 2019年10月18日
相关论文
A Comprehensive Survey on Transfer Learning
Fuzhen Zhuang,Zhiyuan Qi,Keyu Duan,Dongbo Xi,Yongchun Zhu,Hengshu Zhu,Hui Xiong,Qing He
85+阅读 · 2019年11月7日
Jindou Wu,Yunlun Yang,Chao Deng,Hongyi Tang,Bingning Wang,Haoze Sun,Ting Yao,Qi Zhang
6+阅读 · 2019年3月28日
Claudio Gambella,Bissan Ghaddar,Joe Naoum-Sawaya
7+阅读 · 2019年1月16日
Analysis Methods in Neural Language Processing: A Survey
Yonatan Belinkov,James Glass
4+阅读 · 2019年1月14日
Minghao Hu,Furu Wei,Yuxing Peng,Zhen Huang,Nan Yang,Dongsheng Li
3+阅读 · 2018年11月15日
Knowledge Based Machine Reading Comprehension
Yibo Sun,Daya Guo,Duyu Tang,Nan Duan,Zhao Yan,Xiaocheng Feng,Bing Qin
3+阅读 · 2018年9月12日
Wei He,Kai Liu,Yajuan Lyu,Shiqi Zhao,Xinyan Xiao,Yuan Liu,Yizhong Wang,Hua Wu,Qiaoqiao She,Xuan Liu,Tian Wu,Haifeng Wang
3+阅读 · 2017年11月15日
Top