【EMNLP2020-清华】基于常识知识图谱的多跳推理语言生成

2020 年 9 月 25 日 专知



尽管生成式预训练语言模型在一系列文本生成任务上取得了成功,但在生成过程中需要对基本常识进行推理的情况下,它们仍然会受到影响。现有的将常识知识整合到生成的预训练语言模型中的方法,只是简单地通过对单个知识三元组的后训练来迁移关系知识,而忽略了知识图谱中丰富的连接。我们认为,利用知识图谱的结构和语义信息有助于常识感知文本的生成。在本文中,我们提出用多跳推理流(GRF)进行生成,使预训练的模型能够在从外部常识知识图谱中提取的多关系路径上进行动态多跳推理。我们的经验表明,我们的模型在三个文本生成任务上优于现有的基线,这些任务需要推理而非常识知识。通过模型推导出的推理路径,证明了动态多跳推理模块的有效性,为生成过程提供了理论依据。


https://arxiv.org/abs/2009.11692



专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“GRF” 可以获取《【EMNLP2020-清华】基于常识知识图谱的多跳推理语言生成》专知下载链接索引

专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取5000+AI主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取5000+AI主题知识资源
登录查看更多
5

相关内容

【知识图谱@EMNLP2020】Knowledge Graphs in NLP @ EMNLP 2020
专知会员服务
40+阅读 · 2020年11月22日
专知会员服务
26+阅读 · 2020年11月5日
最新《知识驱动的文本生成》综述论文,44页pdf
专知会员服务
74+阅读 · 2020年10月13日
【ECCV2020】基于场景图分解的自然语言描述生成
专知会员服务
23+阅读 · 2020年9月3日
【ICML2020-浙江大学】对抗性互信息的文本生成
专知会员服务
43+阅读 · 2020年7月4日
专知会员服务
39+阅读 · 2020年6月19日
【KDD2020】图神经网络生成式预训练
专知
20+阅读 · 2020年7月3日
自然语言处理ACL2020论文列表
专知
12+阅读 · 2020年6月23日
新任务&数据集:视觉常识推理(VCR)
专知
50+阅读 · 2018年12月1日
基于深度学习的文本生成【附217页PPT下载】
专知
34+阅读 · 2018年11月24日
Heterogeneous Graph Transformer
Arxiv
27+阅读 · 2020年3月3日
Heterogeneous Deep Graph Infomax
Arxiv
11+阅读 · 2019年11月19日
Self-Attention Graph Pooling
Arxiv
13+阅读 · 2019年6月13日
Factor Graph Attention
Arxiv
6+阅读 · 2019年4月11日
Arxiv
6+阅读 · 2019年3月19日
Arxiv
4+阅读 · 2019年1月1日
Arxiv
25+阅读 · 2017年12月6日
VIP会员
相关论文
Heterogeneous Graph Transformer
Arxiv
27+阅读 · 2020年3月3日
Heterogeneous Deep Graph Infomax
Arxiv
11+阅读 · 2019年11月19日
Self-Attention Graph Pooling
Arxiv
13+阅读 · 2019年6月13日
Factor Graph Attention
Arxiv
6+阅读 · 2019年4月11日
Arxiv
6+阅读 · 2019年3月19日
Arxiv
4+阅读 · 2019年1月1日
Arxiv
25+阅读 · 2017年12月6日
Top
微信扫码咨询专知VIP会员