【AAAI2020】从BERT归纳关系知识（Inducing Relational Knowledge from BERT），法阿尔图瓦大学副教授Zied Bouraoui、卡迪夫大学讲师Jose Camacho-Collados

题目： Inducing Relational Knowledge from BERT

摘要： 单词嵌入的一个最显著的特性是它们捕获了某些类型的语义和句法关系。最近，像BERT这样的预训练语言模型已经在许多自然语言处理任务中取得了突破性的成果。然而，目前还不清楚这些模型在多大程度上捕获了标准单词em-beddings已经捕获的关系知识边缘。为了解决这个问题，我们提出了一种从预先训练的语言模型中提取关系知识的方法。从一个给定关系的几个种子实例开始，我们首先使用一个大的文本语料库来找到可能表达这种关系的句子。然后我们使用这些提取的句子的子集作为模板。最后，我们对语言模型进行微调，以预测给定的词对是否可能是某个关系的实例，前提是给定该关系的实例化模板作为输入。

作者简介： Zied Bouraoui是法国阿尔图瓦大学的副教授。他的研究兴趣是机器学习（ML）、自然语言处理（NLP）和知识表示（KR）的交叉点。目前，他正在研究自动化知识库的完成和灵活的推理方法的开发，以克服逻辑推理的一些局限性。他还对不确定性和或不一致性推理、信念合并/修正和查询回答方法的发展感兴趣。

Jose Camacho-Collados目前是卡迪夫大学计算机科学与信息学院的讲师，此前，他作为博士后在FLEXILOG ERC项目上工作了一年。他研究了自然语言处理（NLP）的各种主题，主要集中在词汇和分布语义领域。目前，他正致力于将显性知识（主要从词汇资源）整合到下游NLP应用中，特别关注多语言性和歧义性。