Pre-trained models learn contextualized word representations on large-scale text corpus through a self-supervised learning method, which has achieved promising performance after fine-tuning. These models, however, suffer from poor robustness and lack of interpretability. Pre-trained models with knowledge injection, which we call knowledge enhanced pre-trained models (KEPTMs), possess deep understanding and logical reasoning and introduce interpretability to some extent. In this survey, we provide a comprehensive overview of KEPTMs for natural language processing. We first introduce the progress of pre-trained models and knowledge representation learning. Then we systematically categorize existing KEPTMs from three different perspectives. Finally, we outline some potential directions of KEPTMs for future research.


翻译:未经培训的模型通过自我监督的学习方法学习关于大规模文本材料的背景化字表,在微调后取得了有希望的成绩,但这些模型缺乏强健性和可解释性,但是,这些模型缺乏强健性和可解释性,我们称之为知识强化的预培训模型(KEPTMs)的预培训模型具有深刻的理解和逻辑推理,在一定程度上引入了可解释性。在本次调查中,我们全面概述了用于自然语言处理的KEPTMs。我们首先介绍了预先培训的模型和知识代表性学习的进展。然后,我们从三个不同的角度对现有的KEPTMs进行系统分类。最后,我们为今后的研究概述了KEPTMs的一些潜在方向。

28
下载
关闭预览

相关内容

ACM/IEEE第23届模型驱动工程语言和系统国际会议,是模型驱动软件和系统工程的首要会议系列,由ACM-SIGSOFT和IEEE-TCSE支持组织。自1998年以来,模型涵盖了建模的各个方面,从语言和方法到工具和应用程序。模特的参加者来自不同的背景,包括研究人员、学者、工程师和工业专业人士。MODELS 2019是一个论坛,参与者可以围绕建模和模型驱动的软件和系统交流前沿研究成果和创新实践经验。今年的版本将为建模社区提供进一步推进建模基础的机会,并在网络物理系统、嵌入式系统、社会技术系统、云计算、大数据、机器学习、安全、开源等新兴领域提出建模的创新应用以及可持续性。 官网链接:http://www.modelsconference.org/
【资源】领域自适应相关论文、代码分享
专知
31+阅读 · 2019年10月12日
BERT/Transformer/迁移学习NLP资源大列表
专知
19+阅读 · 2019年6月9日
Hierarchically Structured Meta-learning
CreateAMind
24+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
Call for Participation: Shared Tasks in NLPCC 2019
中国计算机学会
5+阅读 · 2019年3月22日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】图上的表示学习综述
机器学习研究会
14+阅读 · 2017年9月24日
Arxiv
20+阅读 · 2021年9月21日
Arxiv
19+阅读 · 2021年6月15日
Arxiv
103+阅读 · 2021年6月8日
Arxiv
101+阅读 · 2020年3月4日
Arxiv
19+阅读 · 2019年4月5日
VIP会员
相关VIP内容
相关资讯
【资源】领域自适应相关论文、代码分享
专知
31+阅读 · 2019年10月12日
BERT/Transformer/迁移学习NLP资源大列表
专知
19+阅读 · 2019年6月9日
Hierarchically Structured Meta-learning
CreateAMind
24+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
Call for Participation: Shared Tasks in NLPCC 2019
中国计算机学会
5+阅读 · 2019年3月22日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】图上的表示学习综述
机器学习研究会
14+阅读 · 2017年9月24日
相关论文
Arxiv
20+阅读 · 2021年9月21日
Arxiv
19+阅读 · 2021年6月15日
Arxiv
103+阅读 · 2021年6月8日
Arxiv
101+阅读 · 2020年3月4日
Arxiv
19+阅读 · 2019年4月5日
Top
微信扫码咨询专知VIP会员