在保持训练前序列模型的灵活性的同时,整合外部知识是否有利于常识推理仍然是一个开放的问题。为了研究这个问题,我们开发了生成的知识提示,它包括从语言模型中生成知识,然后在回答问题时提供知识作为额外的输入。我们的方法不需要任务特定的监督来进行知识整合,也不需要访问结构化知识库,但它提高了大规模、最先进的模型在四个常识推理任务上的性能,在数值常识(NumerSense)、一般常识(CommonsenseQA 2.0)、以及科学常识(QASC)基准。生成的知识提示突出了大规模语言模型作为外部知识的灵活来源,以提高常识推理。我们的代码可以在github.com/anonymous_repo上找到。

成为VIP会员查看完整内容
24

相关内容

专知会员服务
32+阅读 · 2021年10月9日
专知会员服务
54+阅读 · 2021年2月2日
【AAAI2021】知识图谱增强的预训练模型的生成式常识推理
【知识图谱@EMNLP2020】Knowledge Graphs in NLP @ EMNLP 2020
专知会员服务
40+阅读 · 2020年11月22日
EMNLP 2021 最新综述:语言模型中的关系性知识
PaperWeekly
0+阅读 · 2021年12月3日
ACL2020 | 基于Knowledge Embedding的多跳知识图谱问答
AI科技评论
18+阅读 · 2020年6月29日
自然语言处理常识推理综述论文,60页pdf
专知
69+阅读 · 2019年4月4日
新任务&数据集:视觉常识推理(VCR)
专知
50+阅读 · 2018年12月1日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
2+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
CSKG: The CommonSense Knowledge Graph
Arxiv
18+阅读 · 2020年12月21日
Arxiv
99+阅读 · 2020年3月4日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
2+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
微信扫码咨询专知VIP会员