【KDD2022】掩码与推理: 用于复杂逻辑查询的预训练知识图谱Transformers

知识图谱(KG)嵌入已经成为不完备知识图谱推理的主流方法，但由于其固有的浅层和静态架构的限制，难以处理日益受到关注的复杂逻辑查询，包括逻辑运算符、imputed边、多源实体和未知中间实体。在这项工作中，我们提出了知识图谱转换器(kgTransformer)，它具有掩码的预训练和微调策略。我们设计了一种KG三重变换方法，使Transformer能够处理KGs，并通过混合专家(mix -of- experts, MoE)稀疏激活进一步加强了这种方法。然后，我们将复杂的逻辑查询表述为掩码预测，并引入两阶段掩码训练前策略以提高可移植性和泛化性。在两个基准测试上的大量实验表明，kgTransformer在9个域内和域外推理任务上可以始终优于基于KG嵌入的基准和高级编码器。此外，kgTransformer可以通过提供完整的推理路径来解释给定的答案，从而具有可解释性。

https://keg.cs.tsinghua.edu.cn/jietang/publications/KDD22-Liu-et-al-KG-Transformer.pdf