【AAAI2021教程】常识知识获取与表示，USC/斯坦福等学者讲述，250页ppt

2021 年 2 月 5 日 专知

本教程将由四个主要部分组成，每个部分由一名讲者负责，然后是一个讨论环节。我们将从介绍常识的公理化理论开始。接下来，我们将讨论跨异构常识源协调节点和关系的工作，以及这种整合对下游推理任务的影响。第三，我们将讨论如何从文本中自动提取常识知识，以及定量和定性语境化。然后，我们将讨论大型模型(如BERT、GPT-2和T5)如何学习隐式地表示通过阅读Web获得的大量常识知识。另外，如何通过精心设计的语言提示或对知识图谱元组进行微调来提取这些知识。我们将以对未来方法的讨论来结束本教程，并提出在下一代常识推理技术中结合语言模型、知识图谱和公理化。一些机器学习和语言建模的知识会有帮助，但不是强制性的: 我们将介绍相关的机器学习概念，以便每个人都有机会跟随。

https://usc-isi-i2.github.io/AAAI21Tutorial/

目录：

Introduction to commonsense knowledge
Axiomatization of commonsense knowledge
Consolidating Commonsense Knowledge
Extracting and contextualizing commonsense knowledge
Language models, QA, and evaluation challenges
Way forward: KGs+LMs+axioms?

常识推理被认为是构建更先进的“通用”人工智能系统的关键，这些系统具有类似人类的能力和推理能力，即使在面对不确定、隐含(或潜在矛盾)信息时也是如此。认识到它的重要性，几个社区的研究人员越来越多地从事研究和评估常识推理任务有关的问题回答和溯因推理。与其他“纯”或逻辑推理任务不同，知识库和推理公理可以分离(至少在原则上)，知识是常识推理的一个重要方面。例如BERT (Devlin et al.， 2018)和GPT (Radford et al.， 2019)等基于转换的模型，或者通过使用自然语言处理和众包技术构建的概念、关系和事件的“知识图谱”来获取知识。一旦获得，知识也必须被恰当地表示，以支持类似人类的推理和问题回答。语言模型倾向于连续的类向量表示，而知识图谱则更加离散。在本教程中，我们将基于经典研究以及自然语言处理和语义Web社区的现代进展，全面概述常识知识获取和表示技术。

参与者的先验知识将是最少的。一些机器学习的知识，包括基本的概念，如训练，测试和验证，特征工程等将是有帮助的，但不是绝对的先决条件，因为我们不会进入高级机器学习数学或优化。此外，在可能的情况下，我们将介绍基本的机器学习概念，以便每个人都有机会跟随。参加者不需要有任何回答自然语言常识问题的知识，也不需要有最先进的知识来源或公理化理论。

参考文献：

Bosselut, A.; Rashkin, H.; Sap, M.; Malaviya, C.; Celikyilmaz, A.; and Choi, Y. 2019. COMET: Commonsense transformers for automatic knowledge graph construction. arXiv preprint arXiv:1906.05317.
Chalier, Y.; Razniewski, S.; and Weikum, G. 2020. Joint Reasoning for Multi-Faceted Commonsense Knowledge. AKBC.
Devlin, J.; Chang, M. W.; Lee, K.; and Toutanova, K. 2018. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805.
Ilievski, F.; Szekely, P.; Zhang, B. 2020. CSKG: The CommonSense Knowledge Graph. arXiv preprint arXiv:2012.11490.
Radford, A.; Wu, J.; Child, R.; Luan, D.; Amodei, D.; and Sutskever, I. 2019. Language models are unsupervised multitask learners. OpenAI Blog1(8): 9.
Romero, J.; Razniewski, S.; Pal, K.; Z. Pan, J.; Sakhadeo, A.; and Weikum, G. 2019. Commonsense properties from query logs and question answering forums. In Proceedingsof the 28th ACM International Conference on Information and Knowledge Management, 1411–1420.
Tandon, N.; De Melo, G.; and Weikum, G. 2017. Webchild2.0: Fine-grained commonsense knowledge distillation. In Proceedings of ACL 2017, System Demonstrations, 115–120.