本文提出了一个新的多粒度阅读理解框架,并且在NQ数据集上验证了其有效性。我们利用文档自身的层次结构特性,以四个粒度建模文档,并且同时考虑NQ中两个粒度答案的依赖关系。实验结果表明我们提出的方法是非常有效的,并且相比现有方法有了大幅度的提升。

整体系统架构,所有文档片段被独立的输入到模型中,最后汇总之后得到答案 我们针对这种NQ数据集提出了一个新的框架,整体系统架构如图3所示,我们将问题以及文档的每个片段独立的输入到模型中,通过BERT编码器进行编码,得到问题和文档片段的初步表示,然后用我们提出的图编码器用得到的表示进一步建模,最终得到一系列结构化的表示,汇总到答案选择模块得到答案。

成为VIP会员查看完整内容
0
31

相关内容

自然语言理解(NLU)的最新进展正在推动信息检索(IR)的快速发展,这在很大程度上要归功于对文档排序的深层语言模型(LMs)的微调。虽然非常有效,但是基于这些LMs的排序模型比以前的方法增加了几个数量级的计算成本,特别是因为它们必须通过一个庞大的神经网络来为每个查询文档对提供数据,从而计算单个相关分数。为了解决这个问题,我们提出了一种新的排序模型ColBERT,它采用深度LMs(特别是BERT)来进行有效的检索。ColBERT引入了一种后期交互体系结构,该体系结构使用BERT独立地对查询和文档进行编码,然后使用一种廉价但功能强大的交互步骤来建模它们的细粒度相似性。通过延迟并保留这种细粒度交互,ColBERT可以利用深度LMs的表达能力,同时获得离线预先计算文档表示的能力,这大大加快了查询处理的速度。除了降低通过传统模型检索的文档重新排序的成本外,ColBERT的修剪友好交互机制还支持利用向量相似度索引来直接从大型文档集合进行端到端检索。我们使用两个最近的文章搜索数据集对ColBERT进行了广泛的评估。结果表明,ColBERT的有效性与现有的基于bert的模型相比是有竞争力的(并且优于每个非bert基线),同时执行两个数量级的速度更快,每个查询需要减少四个数量级的错误。

成为VIP会员查看完整内容
0
30

题目:

基于抽取的高考作文生成

简介:

机器人自动写作是人工智能和自然语言处理领域重要的研究方向,然而传统的自动写作方法主要针对体育新闻、天气预报等较短的段落级文本进行研究,并没有对篇章级文本自动生成技术进行深入的建模,针对这一问题,我们着重研究面向高考作文的篇章级文本生成任务。具体而言我们提出了一种基于抽取式的高考作文生成模型,即先进性抽取再利用深度学习排序方法进行段落内部的文本组合生产。通过实际专家测评,我们生成的作文能达到北京高考二类卷平均分数,具有一定的实际应用价值。

成为VIP会员查看完整内容
0
25

论文摘要: Multi-paragraph推理对于open-domain问答(OpenQA)是必不可少的,尽管在当前的OpenQA系统中受到的关注较少。在这项工作中,我们提出一个知识增强图神经网络(KGNN),使用实体对多个段落进行推理。为了显式地捕捉到实体的关系,KGNN利用关系事实知识图谱构建实体图谱。实验结果表明,与HotpotQA数据集上的基线方法相比,KGNN在分散注意力和完整的wiki设置方面都有更好的表现。我们进一步的分析表明,KGNN在检索更多的段落方面是有效和具有鲁棒性的。

成为VIP会员查看完整内容
0
78
小贴士
相关资讯
神经机器阅读理解最新综述:方法和趋势
PaperWeekly
10+阅读 · 2019年7月25日
微软机器阅读理解在一场多轮对话挑战中媲美人类
微软丹棱街5号
17+阅读 · 2019年5月14日
最新论文解读 | 基于预训练自然语言生成的文本摘要方法
微软研究院AI头条
49+阅读 · 2019年3月19日
图注意力网络
科技创新与创业
26+阅读 · 2017年11月22日
相关论文
Multi-Paragraph Reasoning with Knowledge-enhanced Graph Neural Network
Deming Ye,Yankai Lin,Zhenghao Liu,Zhiyuan Liu,Maosong Sun
15+阅读 · 2019年11月6日
BERT-Based Multi-Head Selection for Joint Entity-Relation Extraction
Weipeng Huang,Xingyi Cheng,Taifeng Wang,Wei Chu
3+阅读 · 2019年9月26日
Yidan Hu,Gongqi Lin,Yuan Miao,Chunyan Miao
3+阅读 · 2019年9月8日
Wen Zhang,Bibek Paudel,Liang Wang,Jiaoyan Chen,Hai Zhu,Wei Zhang,Abraham Bernstein,Huajun Chen
6+阅读 · 2019年3月21日
Knowledge Based Machine Reading Comprehension
Yibo Sun,Daya Guo,Duyu Tang,Nan Duan,Zhao Yan,Xiaocheng Feng,Bing Qin
3+阅读 · 2018年9月12日
Linfeng Song,Zhiguo Wang,Mo Yu,Yue Zhang,Radu Florian,Daniel Gildea
6+阅读 · 2018年9月6日
Sandeep Subramanian,Tong Wang,Xingdi Yuan,Saizheng Zhang,Yoshua Bengio,Adam Trischler
4+阅读 · 2018年5月30日
Adams Wei Yu,David Dohan,Minh-Thang Luong,Rui Zhao,Kai Chen,Mohammad Norouzi,Quoc V. Le
3+阅读 · 2018年4月23日
Minjoon Seo,Tom Kwiatkowski,Ankur P. Parikh,Ali Farhadi,Hannaneh Hajishirzi
3+阅读 · 2018年4月20日
Wei He,Kai Liu,Yajuan Lyu,Shiqi Zhao,Xinyan Xiao,Yuan Liu,Yizhong Wang,Hua Wu,Qiaoqiao She,Xuan Liu,Tian Wu,Haifeng Wang
3+阅读 · 2017年11月15日
Top