【CIKM2021】用领域知识增强预训练语言模型的问题回答

知识增强预训练语言模型(Knowledge enhanced pre- training language model, K-PLMs)已被证明对许多公共任务是有效的，但在实践中成功应用的却很少。为了解决这一问题，我们提出了一种系统的方法K-AID，包括一个低成本的获取领域知识的过程，一个有效的知识注入模块，以提高模型的性能，以及一个知识蒸馏组件，以减少模型尺寸和部署K-PLMs资源受限的设备(如:CPU)为现实世界的应用。重要的是，我们的方法捕获的是关系知识，而不是像大多数现有的 K-PLMs那样捕获实体知识，这有助于更好地改进句子级别的文本分类和文本匹配任务，这些任务在回答问题(QA)中扮演着关键角色。我们对电子商务、政府、影视三个领域的5个文本分类任务和3个文本匹配任务进行了一系列实验，并在电子商务领域进行了在线A /B测试。实验结果表明，该方法能够在句子水平的问题回答任务上取得显著的提高，在工业环境中带来有益的商业价值。

https://www.zhuanzhi.ai/paper/f2b18d6b3b8fd0eef9f9f6142e452f42

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“KAID” 就可以获取《【CIKM2021】用领域知识增强预训练语言模型的问题回答》专知下载链接

专知，专业可信的人工智能知识分发 ，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取5000+AI主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取5000+AI主题知识资源