为机器配备对世界实体及其关系的全面了解一直是人工智能的一个长期目标。在过去的十年中,大规模知识库(也称为知识图谱)已经从Web内容和文本源中自动构建出来,并且已经成为搜索引擎的关键模块。这种机器知识可以被用来从语义上解释新闻、社交媒体和网络表格中的文本短语,并有助于回答问题、自然语言处理和数据分析。本文调查基本概念和实际的方法来创建和管理大型知识库。它涵盖了用于发现和规范化实体及其语义类型以及将它们组织成干净的分类法的模型和方法。在此基础上,本文讨论了以实体为中心的属性的自动提取。为了支持机器知识的长期生命周期和质量保证,本文提出了构建开放模式和知识管理的方法。学术项目的案例研究和工业知识图表补充了概念和方法的调查。

概述

增强计算机的“机器知识”,可以推动智能应用是计算机科学的一个长期目标[323]。由于知识获取方面取得了重大进展,这一以前难以捉摸的愿景如今已变得切实可行。这包括将嘈杂的互联网内容转化为实体和关系上的清晰知识结构的方法。知识获取方法使得自动建设知识库(KB):机器可读的关于现实世界的事实的集合。如今,公开的KBs提供了数以百万计的实体(比如人、组织、地点和书籍、音乐等创意作品)和数十亿的声明(比如谁研究了哪里,哪个国家拥有哪一种资本,或者哪位歌手演唱了哪首歌)。大公司部署的专有KBs包含了更大范围的知识,有一到两个数量级的实体。

知识库成为关键资产的一个突出用例是Web搜索。当我们向百度、Bing或谷歌发送一个类似“迪伦抗议歌曲”的查询时,我们会得到一个清晰的歌曲列表,比如《Blowin ' in the Wind》、《Masters of War》或《a- gonna Rain ' s a- gonna Fall》。因此,搜索引擎自动检测到我们对某一个体实体的事实感兴趣——这里是鲍勃·迪伦——并要求特定类型的相关实体——抗议歌曲——作为答案。这是可行的,因为搜索引擎在其后端数据中心有一个巨大的知识库,有助于发现用户请求(及其上下文)中的实体,并找到简明的答案。

本文介绍了从Web和文本源自动构建和管理大型知识库的方法。我们希望它将对博士生和对广泛的主题感兴趣的教师有用——从机器知识和数据质量到机器学习和数据科学,以及web内容挖掘和自然语言理解的应用。此外,本文还旨在为从事web、社会媒体或企业内容的语义技术的行业研究人员和实践者提供帮助,包括从文本或半结构化数据构建意义的各种应用程序。不需要有自然语言处理或统计学习的先验知识;我们将根据需要介绍相关的方法(或至少给出文献的具体指示)。

这篇文章共分为十章。第2章给出了知识表示的基础知识,并讨论了知识库的设计空间。第3、4和5章介绍了构建包含实体和类型的知识库核心的方法。第3章讨论了利用具有丰富和干净的半结构化内容的优质资源,第4章讨论了从文本内容中获取的知识。第5章特别关注将实体规范化为唯一表示的重要问题。第6章和第7章通过发现和提取实体的属性以及实体之间的关系的方法扩展了知识库的范围。第6章主要讨论为感兴趣的属性预先设计模式的情况。第7章讨论了为KB模式中尚未指定的属性和关系发现新的属性类型的情况。第8章讨论了知识库管理和知识库长期维护的质量保证问题。第9章介绍了几个具体KBs的案例研究,包括工业知识图谱(KGs)。我们在第10章以关键课程和关于机器知识主题可能走向的展望来结束。

成为VIP会员查看完整内容
0
54

相关内容

知识图谱(Knowledge Graph),在图书情报界称为知识域可视化或知识领域映射地图,是显示知识发展进程与结构关系的一系列各种不同的图形,用可视化技术描述知识资源及其载体,挖掘、分析、构建、绘制和显示知识及它们之间的相互联系。 知识图谱是通过将应用数学、图形学、信息可视化技术、信息科学等学科的理论与方法与计量学引文分析、共现分析等方法结合,并利用可视化的图谱形象地展示学科的核心结构、发展历史、前沿领域以及整体知识架构达到多学科融合目的的现代理论。它能为学科研究提供切实的、有价值的参考。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

在本文中,我们对知识图谱进行了全面的介绍,在需要开发多样化、动态、大规模数据收集的场景中,知识图谱最近引起了业界和学术界的极大关注。在大致介绍之后,我们对用于知识图谱的各种基于图的数据模型和查询语言进行了归纳和对比。我们将讨论模式、标识和上下文在知识图谱中的作用。我们解释如何使用演绎和归纳技术的组合来表示和提取知识。我们总结了知识图谱的创建、丰富、质量评估、细化和发布的方法。我们将概述著名的开放知识图谱和企业知识图谱及其应用,以及它们如何使用上述技术。最后,我们总结了未来高层次的知识图谱研究方向。

尽管“知识图谱”一词至少从1972年就开始出现在文献中了[440],但它的现代形式起源于2012年发布的谷歌知识图谱[459],随后Airbnb[83]、亚马逊[280]、eBay[392]、Facebook[365]、IBM[123]、LinkedIn[214]、微软[457]、优步[205]等公司相继发布了开发知识图谱的公告。事实证明,学术界难以忽视这一概念的日益普及: 越来越多的科学文献发表关于知识图谱的主题,其中包括书籍(如[400]),以及概述定义(如[136])的论文,新技术(如[298,399,521]),以及对知识图谱具体方面的调查(如[375,519])。

所有这些发展的核心思想是使用图形来表示数据,通常通过某种方式显式地表示知识来增强这种思想[365]。结果最常用于涉及大规模集成、管理和从不同数据源提取价值的应用场景[365]。在这种情况下,与关系模型或NoSQL替代方案相比,使用基于图的知识抽象有很多好处。图为各种领域提供了简洁而直观的抽象,其中边捕获了社会数据、生物交互、书目引用和合作作者、交通网络等[15]中固有实体之间的(潜在的循环)关系。图允许维护者推迟模式的定义,允许数据(及其范围)以比关系设置中通常可能的更灵活的方式发展,特别是对于获取不完整的知识[2]。与(其他)NoSQL模型不同,专门的图形查询语言不仅支持标准的关系运算符(连接、联合、投影等),而且还支持递归查找通过任意长度路径[14]连接的实体的导航运算符。标准的知识表示形式主义——如本体论[66,228,344]和规则[242,270]——可以用来定义和推理用于标记和描述图中的节点和边的术语的语义。可伸缩的图形分析框架[314,478,529]可用于计算中心性、集群、摘要等,以获得对所描述领域的洞察。各种表示形式也被开发出来,支持直接在图上应用机器学习技术[519,527]。

总之,构建和使用知识图谱的决策为集成和从不同数据源提取价值提供了一系列技术。但是,我们还没有看到一个通用的统一总结,它描述了如何使用知识图谱,使用了哪些技术,以及它们如何与现有的数据管理主题相关。

本教程的目标是全面介绍知识图谱: 描述它们的基本数据模型以及如何查询它们;讨论与schema, identity, 和 context相关的表征;讨论演绎和归纳的方式使知识明确;介绍可用于创建和充实图形结构数据的各种技术;描述如何识别知识图谱的质量以及如何改进知识图谱;讨论发布知识图谱的标准和最佳实践;并提供在实践中发现的现有知识图谱的概述。我们的目标受众包括对知识图谱不熟悉的研究人员和实践者。因此,我们并不假设读者对知识图谱有特定的专业知识。

知识图。“知识图谱”的定义仍然存在争议[36,53,136],其中出现了一些(有时相互冲突的)定义,从具体的技术建议到更具包容性的一般性建议;我们在附录a中讨论了这些先前的定义。在这里,我们采用了一个包容性的定义,其中我们将知识图谱视为一个数据图,目的是积累和传递真实世界的知识,其节点表示感兴趣的实体,其边缘表示这些实体之间的关系。数据图(又称数据图)符合一个基于图的数据模型,它可以是一个有向边标记的图,一个属性图等(我们在第二节中讨论具体的替代方案)。这些知识可以从外部资源中积累,也可以从知识图谱本身中提取。知识可以由简单的语句组成,如“圣地亚哥是智利的首都”,也可以由量化的语句组成,如“所有的首都都是城市”。简单的语句可以作为数据图的边来积累。如果知识图谱打算积累量化的语句,那么就需要一种更有表现力的方式来表示知识——例如本体或规则。演绎的方法可以用来继承和积累进一步的知识(例如,“圣地亚哥是一个城市”)。基于简单或量化语句的额外知识也可以通过归纳方法从知识图谱中提取和积累。

知识图谱通常来自多个来源,因此,在结构和粒度方面可能非常多样化。解决这种多样性, 表示模式, 身份, 和上下文常常起着关键的作用,在一个模式定义了一个高层结构知识图谱,身份表示图中哪些节点(或外部源)引用同一个真实的实体,而上下文可能表明一个特定的设置一些单位的知识是真实的。如前所述,知识图谱需要有效的提取、充实、质量评估和细化方法才能随着时间的推移而增长和改进。

在实践中 知识图谱的目标是作为组织或社区内不断发展的共享知识基础[365]。在实践中,我们区分了两种类型的知识图谱:开放知识图谱和企业知识图谱。开放知识图谱在网上发布,使其内容对公众有好处。最突出的例子——DBpedia[291]、Freebase[51]、Wikidata[515]、YAGO[232]等——涵盖了许多领域,它们要么是从Wikipedia[232,291]中提取出来的,要么是由志愿者社区[51,515]建立的。开放知识图谱也在特定领域内发表过,如媒体[406]、政府[222,450]、地理[472]、旅游[11,263,308,540]、生命科学[79]等。企业知识图谱通常是公司内部的,并应用于商业用例[365]。使用企业知识图谱的著名行业包括网络搜索(如Bing[457]、谷歌[459])、商业(如Airbnb[83]、亚马逊[127、280]、eBay[392]、Uber[205])、社交网络(如Facebook[365]、LinkedIn[214])、金融(如埃森哲[368]、意大利银行[32][326]、彭博[326]、Capital One[65]、富国银行[355])等。应用包括搜索[457,459],推荐[83,205,214,365],个人代理[392],广告[214],商业分析[214],风险评估[107,495],自动化[223],以及更多。我们将在第10节中提供更多关于在实践中使用知识图谱的细节。

结构。本文件其余部分的结构如下:

  • 第2节概述了图形数据模型和可用于查询它们的语言。
  • 第3节描述了知识图谱中模式、标识和上下文的表示形式。
  • 第四节介绍了演绎式的形式主义,通过这种形式主义,知识可以被描述和推导出来。
  • 第5节描述了可以提取额外知识的归纳技术。
  • 第6节讨论了如何从外部资源中创建和丰富知识图谱。
  • 第7节列举了可用于评估知识图谱的质量维度。
  • 第8节讨论知识图谱细化的各种技术。
  • 第9节讨论发布知识图谱的原则和协议。
  • 第10节介绍了一些著名的知识图谱及其应用。
  • 第11节总结了知识图谱的研究概况和未来的研究方向。
  • 附录A提供了知识图谱的历史背景和以前的定义。
  • 附录B列举了将从论文正文中引用的正式定义。
成为VIP会员查看完整内容
0
294
小贴士
相关VIP内容
专知会员服务
38+阅读 · 9月20日
最新《深度持续学习》综述论文,32页pdf
专知会员服务
23+阅读 · 9月6日
专知会员服务
44+阅读 · 8月21日
专知会员服务
53+阅读 · 6月17日
报告 |事理图谱的构建及应用,附61页pdf
专知会员服务
45+阅读 · 1月17日
中文知识图谱构建技术以及应用的综述
专知会员服务
132+阅读 · 2019年10月19日
医疗知识图谱构建与应用
专知会员服务
113+阅读 · 2019年9月25日
相关论文
Xiao Zhang,Dejing Dou,Ji Wu
9+阅读 · 3月12日
Liang Yao,Chengsheng Mao,Yuan Luo
4+阅读 · 2019年9月11日
Xiao Zhang,Dejing Dou,Ji Wu
19+阅读 · 2019年8月16日
Few-shot Learning: A Survey
Yaqing Wang,Quanming Yao
240+阅读 · 2019年4月10日
Wentong Liao,Cuiling Lan,Wenjun Zeng,Michael Ying Yang,Bodo Rosenhahn
3+阅读 · 2019年4月3日
Liang Yao,Chengsheng Mao,Yuan Luo
12+阅读 · 2018年9月15日
Besnik Fetahu
14+阅读 · 2018年4月20日
Ruobing Xie,Zhiyuan Liu,Fen Lin,Leyu Lin
10+阅读 · 2018年2月16日
Yike Liu,Abhilash Dighe,Tara Safavi,Danai Koutra
3+阅读 · 2017年4月12日
Top