Dialogue systems powered by large pre-trained language models (LM) exhibit an innate ability to deliver fluent and natural-looking responses. Despite their impressive generation performance, these models can often generate factually incorrect statements impeding their widespread adoption. In this paper, we focus on the task of improving the faithfulness -- and thus reduce hallucination -- of Neural Dialogue Systems to known facts supplied by a Knowledge Graph (KG). We propose Neural Path Hunter which follows a generate-then-refine strategy whereby a generated response is amended using the k-hop subgraph of a KG. Neural Path Hunter leverages a separate token-level fact critic to identify plausible sources of hallucination followed by a refinement stage consisting of a chain of two neural LM's that retrieves correct entities by crafting a query signal that is propagated over the k-hop subgraph. Our proposed model can easily be applied to any dialogue generated responses without retraining the model. We empirically validate our proposed approach on the OpenDialKG dataset against a suite of metrics and report a relative improvement of faithfulness over GPT2 dialogue responses by 8.4%.


翻译:由受过培训的大型语言模型(LM)所推动的对话系统具有提供流利和自然反应的天赋能力。尽管这些模型一代人的表现令人印象深刻,但它们往往会产生事实错误的陈述,阻碍其广泛采用。在本文件中,我们侧重于改进神经对话系统的忠实性,从而将幻觉减少至知识图(KG)提供的已知事实。我们建议神经路径猎人遵循一种产生即时反应的战略,利用KG的Khop分谱对生成的反应进行修正。神经路径猎人利用一个单独的象征性事实评论家,确定合理的幻觉来源,随后是一个精细化阶段,由两个神经LM组成的链条链条通过在K-hop子图中传播的查询信号,检索正确的实体。我们提议的模型可以很容易地应用于任何产生的任何对话,而无需对模型进行再培训。我们用经验验证了我们提出的在OpenDialKG数据集上对一套计量标准进行修改的方法,并报告了8.4%的GPT2对话答复相对改进率。

0
下载
关闭预览

相关内容

专知会员服务
25+阅读 · 2021年4月2日
【ACL2020-Allen AI】预训练语言模型中的无监督域聚类
专知会员服务
23+阅读 · 2020年4月7日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
143+阅读 · 2019年10月12日
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
24+阅读 · 2019年5月18日
已删除
将门创投
3+阅读 · 2019年1月29日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
15+阅读 · 2018年12月24日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
最佳实践:深度学习用于自然语言处理(三)
待字闺中
3+阅读 · 2017年8月20日
Type-augmented Relation Prediction in Knowledge Graphs
Generating Fact Checking Explanations
Arxiv
9+阅读 · 2020年4月13日
Arxiv
3+阅读 · 2019年3月29日
VIP会员
相关VIP内容
专知会员服务
25+阅读 · 2021年4月2日
【ACL2020-Allen AI】预训练语言模型中的无监督域聚类
专知会员服务
23+阅读 · 2020年4月7日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
143+阅读 · 2019年10月12日
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
24+阅读 · 2019年5月18日
已删除
将门创投
3+阅读 · 2019年1月29日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
15+阅读 · 2018年12月24日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
最佳实践:深度学习用于自然语言处理(三)
待字闺中
3+阅读 · 2017年8月20日
Top
微信扫码咨询专知VIP会员