来自密歇根州立大学的YaoMa, Wei Jin, andJiliang Tang和IBM研究Lingfei Wu与 Tengfei Ma在AAAI2020做了关于图神经网络的Tutorial报告,总共305页ppt,涵盖使用GNNs对图结构数据的表示学习、GNNs的健壮性、GNNs的可伸缩性以及基于GNNs的应用,非常值得学习。

摘要

图结构数据如社交网络和分子图在现实世界中无处不在。设计先进的图数据表示学习算法以方便后续任务的实现,具有重要的研究意义。图神经网络(GNNs)将深度神经网络模型推广到图结构数据,为从节点层或图层有效学习图结构数据的表示开辟了新的途径。由于其强大的表示学习能力,GNNs在从推荐、自然语言处理到医疗保健的各种应用中都具有实际意义。它已经成为一个热门的研究课题,近年来越来越受到机器学习和数据挖掘界的关注。这篇关于GNNs的教程对于AAAI 2020来说是非常及时的,涵盖了相关的和有趣的主题,包括使用GNNs对图结构数据的表示学习、GNNs的健壮性、GNNs的可伸缩性以及基于GNNs的应用。

目录

  1. 引言 Introduction
  • 图与图结构数据 Graphs and Graph Structured Data
  • 图结构数据任务 Tasks on Graph Structured Data
  • 图神经网络 Graph neural networks
  1. 基础理论Foundations
  • Basic Graph Theory
  • Graph Fourier Transform
  1. 模型 Models
  • Spectral-based GNN layers
  • Spatial-based GNN layers
  • Pooling Schemes for Graph-level Representation Learning
  • Graph Neural Networks Based Encoder-Decoder models
  • Scalable Learning for Graph Neural Networks
  • Attacks and Robustness of Graph Neural Networks
  1. 应用 Applications
  • Natural Language Processing
  • Recommendation
  • Healthcare

百度网盘直接下载: 链接: https://pan.baidu.com/s/1pQC45GLGOtu6T7T-G2Fn4w 提取码: xrkz

讲者介绍

Yao Ma是密歇根州立大学计算机科学与工程专业的博士生。他还在数据科学与工程实验室(DSE实验室)担任研究助理,该实验室由Tang Jiliang博士领导。他的研究兴趣包括网络嵌入和图神经网络在图结构数据上的表示学习。曾在WSDM、ASONAM、ICDM、SDM、WWW、KDD、IJCAI等顶级会议上发表创新工作。在加入密歇根州立大学之前,他在Eindhoven理工大学获得硕士学位,在浙江大学获得学士学位。

http://cse.msu.edu/~mayao4/

Wei Jin是密歇根州立大学计算机科学与工程专业的一年级博士生,导师是Tang Jiliang博士。他的兴趣在于图表示学习。现从事图神经网络的理论基础、模型鲁棒性和应用研究。

https://chandlerbang.github.io/

Jiliang Tang 自2016年秋季以来一直是密歇根州立大学计算机科学与工程系的助理教授。在此之前,他是雅虎研究院的一名研究科学家,2015年在亚利桑那州立大学获得博士学位。他的研究兴趣包括社会计算、数据挖掘和机器学习,以及它们在教育中的应用。他是2019年NSF Career奖、2015年KDD最佳论文亚军和6个最佳论文奖(或亚军)的获得者,包括WSDM2018和KDD2016。他担任会议组织者(如KDD、WSDM和SDM)和期刊编辑(如TKDD)。他在高排名的期刊和顶级会议上发表多项研究成果,获得了成千上万的引用和广泛的媒体报道。

Lingfei Wu是IBM AI foundation Labs的研究人员,IBM T. J. Watson研究中心的推理小组。

https://sites.google.com/a/email.wm.edu/teddy-lfwu/

Tengfei Ma现任美国纽约IBM沃森研究中心研究员。

https://sites.google.com/site/matf0123/home

成为VIP会员查看完整内容
163+
0+
自然语言处理( Natural Language Processing, NLP )

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

机器学习有很多名称,如机器学习、人工智能、模式识别、数据挖掘、数据同化和大数据等等。它在许多科学领域都有发展,比如物理学、工程学、计算机科学和数学。例如,它被用于垃圾邮件过滤、光学字符识别(OCR)、搜索引擎、计算机视觉、自然语言处理(NLP)、广告、欺诈检测、机器人技术、数据预测、材料发现、天文学。这使得有时在文献中很难找到一个特定问题的解决方案,仅仅是因为不同的单词和短语用于同一个概念。

这本书旨在缓解这一问题。一个共同的概念,但已知在几个学科不同的名称,是描述使用数学作为共同的语言。读者会发现索引对他们所知的特定主题有用。该索引是全面的,使它很容易找到所需的信息。希望这本书能成为有用的参考书,并成为任何使用机器学习技术的人书架上的必备品

这本书的重点是为什么——只有当一个算法是成功的被理解的时候,它才能被正确的应用,并且结果是可信的。算法经常被并排讲授,却没有显示出它们之间的异同。这本书解决了共性,并旨在给一个彻底和深入的处理和发展直觉,同时保持简洁。

对于任何使用机器学习技术的人来说,这本有用的参考书应该是必备的。

课件:

成为VIP会员查看完整内容
116+
0+

为了提取知识和做出预测,机器学习使用数学模型来拟合数据。这些模型将特征作为输 入。特征就是原始数据某个方面的数值表示。在机器学习流程中,特征是数据和模型之间 的纽带。特征工程是指从原始数据中提取特征并将其转换为适合机器学习模型的格式。它 是机器学习流程中一个极其关键的环节,因为正确的特征可以减轻构建模型的难度,从而 使机器学习流程输出更高质量的结果。机器学习从业者有一个共识,那就是建立机器学习 流程的绝大部分时间都耗费在特征工程和数据清洗上。然而,尽管特征工程非常重要,专 门讨论这个话题的著作却很少。究其原因,可能是正确的特征要视模型和数据的具体情况 而定,而模型和数据千差万别,很难从各种项目中归纳出特征工程的实践原则。

然而,特征工程并不只是针对具体项目的行为,它有一些基本原则,而且最好结合具体情 境进行解释说明。在本书中,每一章都集中阐述一个数据问题:如何表示文本数据或图像 数据,如何为自动生成的特征降低维度,何时以及如何对特征进行标准化,等等。你可以 将本书看作内容互有联系的短篇小说集,而不是一部长篇小说。每一章都对大量现有特征 工程技术进行了简单介绍,它们综合在一起,阐明了特征工程的基本原则。

掌握一门学科不仅仅是要了解其中的定义以及能够推导公式。仅知道它的工作机制和用途 是不够的,你还必须理解它为什么这样设计,它与其他技术有何联系,以及每种方法的优 点和缺点。只有清楚地知道事情是如何完成的,对其中的基本原理有直观的理解,并能将 知识融会贯通,才称得上精通。尽管一本好书可以让你初窥门径,但只靠读书不能登堂入 室,你必须动手实践,将你的想法变成实际的应用,这是一个不断迭代的过程。在每次迭 代中,我们都能将想法理解得更加透彻,并逐渐找到更巧妙、更有创造性的实现方法。本书的目的就是帮助你更好地实现想法。

  • 第1章介 绍机器学习流程中的基本概念(数据、模型、特征等)。
  • 第 2 章研究数值型数据的基础特 征工程:过滤、分箱、缩放、对数变换和幂次变换,以及交互特征。
  • 第 3 章开始介绍自然 文本的特征工程,并研究词袋、n-gram 和短语检测等技术。
  • 第 4 章介绍 tf-idf(词频 - 逆 文档频率),并将其作为特征缩放的一个例子,说明特征缩放为什么会有效。
  • 从第 5 章开 始,节奏开始加快,我们要讨论高效的分类变量编码技术,包括特征散列化和分箱计数。
  • 第 6 章介绍主成分分析(PCA),此时我们已经深入到机器学习的腹地了。
  • 第 7 章将 k-均 值聚类作为一种特征化技术,说明了模型堆叠这一重要概念。

第 8 章专门讲解图像处理, 图像数据的特征提取要比文本数据困难得多。我们先介绍两种手动提取特征的技术:SIFT 和 HOG,然后再介绍深度学习这种最新的图像特征提取技术。

最后,第 9 章通过一个完 整的例子(为一个学术论文数据集创建推荐器)演示几种技术的实际应用。

成为VIP会员查看完整内容
《Feature Engineering for Machine Learning》英文PDF.pdf
《精通特征工程》中文PDF.pdf
101+
0+

对因果推理的简明和自成体系的介绍,在数据科学和机器学习中越来越重要。

因果关系的数学化是一个相对较新的发展,在数据科学和机器学习中变得越来越重要。这本书提供了一个独立的和简明的介绍因果模型和如何学习他们的数据。在解释因果模型的必要性,讨论潜在的因果推论的一些原则,这本书教读者如何使用因果模型:如何计算干预分布,如何从观测推断因果模型和介入的数据,和如何利用因果思想经典的机器学习问题。所有这些主题都将首先以两个变量的形式进行讨论,然后在更一般的多元情况下进行讨论。对于因果学习来说,二元情况是一个特别困难的问题,因为经典方法中用于解决多元情况的条件独立不存在。作者认为分析因果之间的统计不对称是非常有意义的,他们报告了他们对这个问题十年来的深入研究。

本书对具有机器学习或统计学背景的读者开放,可用于研究生课程或作为研究人员的参考。文本包括可以复制和粘贴的代码片段、练习和附录,其中包括最重要的技术概念摘要。

首先,本书主要研究因果关系推理子问题,这可能被认为是最基本和最不现实的。这是一个因果问题,需要分析的系统只包含两个可观测值。在过去十年中,作者对这个问题进行了较为详细的研究。本书整理这方面的大部分工作,并试图将其嵌入到作者认为对研究因果关系推理问题的选择性至关重要的更大背景中。尽管先研究二元(bivariate)案例可能有指导意义,但按照章节顺序,也可以直接开始阅读多元(multivariate)章节;见图一。

第二,本书提出的解决方法来源于机器学习和计算统计领域的技术。作者对其中的方法如何有助于因果结构的推断更感兴趣,以及因果推理是否能告诉我们应该如何进行机器学习。事实上,如果我们不把概率分布描述的随机实验作为出发点,而是考虑分布背后的因果结构,机器学习的一些最深刻的开放性问题就能得到最好的理解。
成为VIP会员查看完整内容
86+
0+

【导读】以图神经网络为代表的图机器学习在近两年成为研究热点之一。近日,图机器学习专家 Sergei Ivanov 为我们解读了他总结出来的 2020 年图机器学习的四大热门趋势,包括

Sergei Ivanov在这个领域已经工作了几年,很高兴看到这个领域发展很快,经常有非常有趣的想法出现。在这篇综述中,我分析了提交给ICLR 2020的150篇论文,ICLR 2020是机器学习的主要会议之一。我读了大部分的论文,试图了解什么会对这一领域的发展产生重大影响。趋势列表是我自己的,但是我很想知道你是否知道我最近错过的有趣的论文,所以请在下面评论。

2020年才刚刚开始,我们已经可以在最新的研究论文中看到图机器学习(GML)的发展趋势。以下是我对2020年GML的重要内容的看法以及对这些论文的讨论。

概述

本文写作目的并非介绍图机器学习的基本概念,如图神经网络(Graph Neural Network,GNN),而是揭示我们可以在顶级学术会议上看到的前沿研究。首先,我把在图机器学习的研究成果的论文提交到 ICLR 2020阐述了GNN的论文情况

49篇ICLR2020高分「图机器学习GML」接受论文及代码

有 150 篇论文涉及图机器学习,其中三分之一的论文已被接受。这大约相当于所有被接受论文的 10%。

在阅读了大部分关于图机器学习的论文之后,我整理出了 2020 年图机器学习的趋势,如下所列:

    1. 对图神经网络将有更深入的理论理解;
    1. 图神经网络将会有更酷的应用;
    1. 知识图谱将会变得更为流行;
    1. 新的图嵌入框架将出现。

让我们来看看这些趋势。

1. 图神经网络的理论理解

从目前发展趋势看,图机器学习的领域在进展迅速,但是图神经网络还有很多工作要做。但关于图神经网络的工作原理,已经有了一些重要的研究结果! 洛桑联邦理工学院 Andreas Loukas 的这篇论文《What graph neural networks cannot learn: depth vs width》,无论在影响力、简洁性还是对理论理解的深度上,无疑是论文中的代表作。

论文表明,如果我们希望图神经网络能够计算一个流行的图问题(如循环检测、直径估计、顶点覆盖等等),那么节点嵌入的维数(网络宽度 w)乘以层数(网络深度 d) 应与图 n 的大小成正比,即 dw=O(n)。 但现实是当前的GNN的许多实现都无法达到此条件,因为层数和嵌入的尺寸与图的大小相比还不够大。另一方面,较大的网络在实际操作中不合适的,这会引发有关如何设计有效的GNN的问题,当然这个问题也是研究人员未来工作的重点。需要说明的是,这篇论文还从80年代的分布式计算模型中汲取了灵感,证明了GNN本质上是在做同样的事情。

与此类似,Oono 与 Suzuki、Barcelo 等人的另外两篇论文也研究了图神经网络的威力。在第一篇论文《图神经网络在节点分类的表达能力呈指数级下降》(Graph Neual Networks Exponentially Lose Expressive Power for Node Classification)中,论文指出:

在一定的权重条件下,当层数增加时,GCN 只能学习节点度和连通分量(由拉普拉斯谱(the spectra of the Laplacian)确定),除此之外什么也学不到。

这个结果推广了马尔科夫过程(Markov Processes)收敛到唯一平衡点的著名性质,其中收敛速度由转移矩阵的特征值决定。

在第二篇论文《图神经网络的逻辑表达》(The Logical Expressiveness of Graph Neural Network)中,作者展示了图神经网络和它们可以捕获的节点分类器类型之间的联系。我们已经知道,一些图神经网络和图同构的威斯费勒 - 莱曼(Weisfeiler-Leman,WL)算法一样强大,也就是说,当且仅当两个节点被图神经网络分类为相同时,威斯费勒 - 莱曼算法才会将它们着色为相同的颜色。但是,图神经网络可以捕获其他分类函数吗?例如,假设一个布尔函数,当且仅当一个图有一个孤立的顶点时,该函数才会将 ture 赋值给所有的节点。图神经网络能捕捉到这一逻辑吗?从直观上来看是不能,因为图神经网络是一种消息传递机制,如果图的一部分和另一部分(两个连接的组件)之间没有链接,那么这两者之间将不会传递消息。因此,一个建议的简单解决方案是在邻域聚合之后添加一个读出操作,这样当每个节点更新所有特性时,它就拥有了关于图中所有其他节点的信息。

理论方面的其他工作包括 Hou 等人的图神经网络测量图信息的使用,以及 Srinivasan 与 Ribeiro 提出的基于角色和基于距离的节点嵌入的等价性。

2. 图神经网络的更多应用

在过去的一年中,GNN已经在一些实际任务中进行了应用。包括修复 JavaScript 中的 Bug、玩游戏、回答类似 IQ 的测试、优化 TensorFlow 计算图、分子生成以及对话系统中的问题生成。

在论文中,作者其提出了一种在Javascript代码中同时检测和修复错误的方法(HOPPITY: LEARNING GRAPH TRANSFORMATIONS TO DETECT AND FIX BUGS IN PROGRAMS)。具体操作是将代码转换为抽象语法树,然后让GNN进行预处理以便获得代码嵌入,再通过多轮图形编辑运算符(添加或删除节点,替换节点值或类型)对其进行修改。为了理解图形的哪些节点应该修改,论文作者使用了一个指针网络(Pointer network),该网络采用了图形嵌入来选择节点,以便使用LSTM网络进行修复。当然,LSTM网络也接受图形嵌入和上下文编辑。 类似的应用还体现在上面这篇论文中《LambdaNet: Probabilistic Type Inference using Graph Neural Networks》。来自得克萨斯大学奥斯汀分校的作者研究了如何推断像Python或TypeScript此类语言的变量类型。更为具体的,作者给出了一个类型依赖超图(type dependency hypergraph),包含了程序作为节点的变量以及它们之间的关系,如逻辑关系、上下文约束等;然后训练一个GNN模型来为图和可能的类型变量产生嵌入,并结合似然率进行预测。 在智商测试类的应用中,上面这篇论文《Abstract Diagrammatic Reasoning with Multiplex Graph Networks》展示了GNN如何进行IQ类测试,例如瑞文测验(RPM)和图三段论(DS)。具体的在RPM任务中,矩阵的每一行组成一个图形,通过前馈模型为其获取边缘嵌入,然后进行图形汇总。由于最后一行有8个可能的答案,因此将创建8个不同的图,并将每个图与前两行连接起来,以通过ResNet模型预测IQ得分。如下图所示:

DeepMind 的一篇论文《用于优化计算图的增强遗传算法学习》(Reinforced Genetic Algorithm Learning for Optimizing Computation Graphs)提出了 一种强化学习算法,可以优化 TensorFlow 计算图的成本。这些图是通过标准的消息传递图神经网络来处理的,图神经网络生成与图中每个节点的调度优先级相对应的离散化嵌入。这些嵌入被输入到一个遗传算法 BRKGA 中,该算法决定每个节点的设备放置和调度。通过对该模型进行训练,优化得到的 TensorFlow 图的实际计算成本。

类似的炫酷应用还有Chence Shi的分子结构生成《Graph Convolutional Reinforcement Learning》和Jiechuan Jiang玩游戏以及Yu Chen的玩游戏等等《Reinforcement Learning Based Graph-to-Sequence Model for Natural Question Generation》。

3. 知识图谱将会变得更为流行

在ICLR2020会议上,有很多关于知识图谱推理的论文。从本质上讲,知识图谱是一种表示事实的结构化方法。与一般的图不同,知识图谱中的节点和边实际上具有某种意义,例如,演员的名字或在电影中的表演(见下图)。知识图谱的一个常见问题是回答一些复杂的查询,例如“在 2000 年前,Steven Spielberg 的哪些电影获得了奥斯卡奖?”可以将其转换成逻辑查询 ∨ {Win(Oscar, V) ∧ Directed(Spielberg, V) ∧ ProducedBefore(2000, V) }。

知识图谱例子

在 斯坦福大学Ren 等人的论文《Query2box:基于框嵌入的向量空间中知识图谱的推理》(Reasoning over Knowledge Graphs in Vector Space Using Box Embeddings)中,作者建议 将查询嵌入到潜在空间中作为矩形框形式,而不是作为单点形式。这种方法允许执行自然的相交操作,即合取 ∧,因为它会产生新的矩形框。但是,对联合(即析取 ∨)进行建模并不是那么简单,因为它可能会导致不重叠的区域。此外,为了精确建模任何带有嵌入的查询,用 VC 维(Vapnik-Chervonenkis Dimension)度量的嵌入之间的距离函数的复杂度应与图中实体的数量成正比。取而代之的一个很好的技巧是,将一个析取式查询替换为 DNF 形式,其中只有在计算图的末尾才会出现联合,这可以有效地减少对每个子查询的简单举例计算。

Query2Box 推理框架

在类似的主题中,Wang 等人在题为《知识图谱中数字规则的可微学习》(Differentiable Learning of Numerical Rules in Knowledge Graphs)中,提出了一种使用处理数值实体和规则的方法。例如,对于引用知识图谱,可以有一个规则 influences(Y,X) ← colleagueOf(Z,Y) ∧ supervisorOf(Z,X) ∧ hasCitation>(Y,Z),它指出,学生 X 通常会受到他们的导师 Z 的同事 Y 的影响,后者被引用的次数更多。这个规则右边的每个关系都可以表示为一个矩阵,寻找缺失链接的过程可以通过实体向量的连续矩阵乘法,这一过程称为规则学习(Rule Learning)。由于矩阵的构造方式,神经方法只能在诸如 colleagueOf(z,y) 这样的分类规则下工作。该论文作者的贡献在于,他们提出了一种新颖的方法,通过显示实际上无需显式地物化这样的矩阵,显著地减少了运行时间,从而有效地利用 hasCitation(y,z) 和否定运算符等数值规则。

引用知识图谱(Citation KG)示例

在今年的图神经网络(或者说机器学习)中经常出现的一个研究方向是:对现有模型的重新评估,以及在一个公平环境中进行测评。

上面这篇文章即是其中一个,他们的研究表明,新模型的性能往往取决于试验训练中的“次要”细节,例如损失函数的形式、正则器、采样的方案等。在他们进行的大型消融研究中,作者观察到将旧的方法(例如RESCAL模型)的超参数进行适当调整就可以获得SOTA性能。

当然在这个领域还有许多其他有趣的工作,Allen et al. 基于对词嵌入的最新研究,进一步探究了关系与实体的学习表示的隐空间。Asai et al. 则展示了模型如何在回答给定query的Wikipedia图谱上检索推理路径。Tabacof 和 Costabello 讨论了图嵌入模型的概率标定中的一个重要问题,他们指出,目前流行的嵌入模型TransE 和ComplEx(通过将logit函数转换成sigmoid函数来获得概率)均存在误校,即对事实的存在预测不足或预测过度。

4. 新的图嵌入框架将出现

图嵌入是图机器学习的一个长期的研究主题,今年有一些关于我们应该如何学习图表示的新观点出现。

康奈尔的Chenhui Deng等人的《GraphZoom: A Multi-level Spectral Approach for Accurate and Scalable Graph Embedding》提出了一种改善运行时间和准确率的方法,可以应用到任何无监督嵌入方法的节点分类问题。

这篇文章的总体思路是,首先将原始图简化为更小的图,这样可以快速计算节点嵌入,然后再回复原始图的嵌入。

最初,根据属性相似度,对原始图进行额外的边扩充,这些便对应于节点的k近邻之间的链接。随后对图进行粗化:通过局部谱方法将每个节点投影到低维空间中,并聚合成簇。任何无监督的图嵌入方法(例如DeepWalk、Deep Graph Infomax)都可以在小图上获得节点嵌入。在最后一步,得到的节点嵌入(本质上表示簇的嵌入)用平滑操作符迭代地进行广播,从而防止不同节点具有相同的嵌入。在实验中,GraphZoom框架相比node2vec和DeepWalk,实现了惊人的 40 倍的加速,准确率也提高了 10%。 已有多篇论文对图分类问题的研究成果进行了详细的分析。比萨大学的Federico Errica 等人提出《A Fair Comparison of Graph Neural Networks for Graph Classification 》在图分类问题上,对GNN模型进行了重新评估。

他们的研究表明,一个不利用图的拓扑结构(仅适用聚合节点特征)的简单基线能获得与SOTA GNN差不多的性能。事实上,这个让人惊讶的发现,Orlova等人在2015年就已经发表了,但没有引起大家的广泛关注。 Skolkovo 科学技术研究院的Ivanov Sergey等人在《Understanding Isomorphism Bias in Graph Data Sets》研究中发现,在MUTAG和IMDB等常用数据集中,即使考虑节点属性,很多图也都会具有同构副本。而且,在这些同构图中,很多都有不同的target标签,这自然会给分类器引入标签噪声。这表明,利用网络中所有可用的元信息(如节点或边属性)来提高模型性能是非常重要的。 另外还有一项工作是UCLA孙怡舟团队的工作《Are Powerful Graph Neural Nets Necessary? A Dissection on Graph Classification 》。这项工作显示如果用一个线性近邻聚合函数取代原有的非线性近邻聚合函数,模型的性能并不会下降。这与之前大家普遍认为“图数据集对分类的影响并不大”的观点是相反的。同时这项工作也引发一个问题,即如何为此类任务找到一个合适的验证框架。

结论

随着顶会的论文提交量的增长,我们可以预计,2020 年图机器学习领域将会涌现许多有趣的成果。我们已经目睹这一领域的转变,从图的深度学习的启发式应用,到更合理的方法和关于图波形范围的基本问题。图神经网络找到了它的位置,作为一个有效的解决许多实际问题的方法,这些问题可以用图来表达,但我认为,总体而言,图机器学习只不过是触及了我们可以实现的图论和机器学习的交叉点上所能取得的成果的皮毛,我们应该继续关注即将到来的结果。

参考链接:

  1. https://towardsdatascience.com/top-trends-of-graph-machine-learning-in-2020-1194175351a3

  2. AI前线:2020 年图机器学习的热门趋势

    https://mp.weixin.qq.com/s/3hXVJS5uLi0UV_cwvEwbHg

  3. AI科技评论 火爆的图机器学习,2020年将有哪些研究趋势?

    https://mp.weixin.qq.com/s/BYkMRZUOcHfIpVE291QZTQ

成为VIP会员查看完整内容
84+
0+

【导读】2020 年 2 月 7 日-2 月 12 日,AAAI 2020 于美国纽约举办。AAAI2020关于可解释人工智能的Tutorial引起了人们极大的关注,这场Tutorial详细阐述了解释黑盒机器学习模型的术语概念以及相关方法,涵盖基础、工业应用、实际挑战和经验教训,是构建可解释模型的重要指南.

可解释AI:基础、工业应用、实际挑战和经验教训

地址https://xaitutorial2020.github.io/

Tutorial 目标 本教程的目的是为以下问题提供答案:

  • 什么是可解释的AI (XAI)

    • 什么是可解释的AI(简称XAI) ?,人工智能社区(机器学习、逻辑学、约束编程、诊断)的各种流有什么解释?解释的度量标准是什么?
  • 我们为什么要关心?

    • 为什么可解释的AI很重要?甚至在某些应用中至关重要?阐述人工智能系统的动机是什么?
  • 哪里是关键?

    • 在大规模部署人工智能系统时,真正需要解释的实际应用是什么?
  • 它是如何工作的?

    • 在计算机视觉和自然语言处理中,最先进的解释技术是什么?对于哪种数据格式、用例、应用程序、行业,什么有效,什么没有效?
  • 我们学到了什么?

    • 部署现有XAI系统的经验教训和局限性是什么?在向人类解释的过程中?
  • 下一个是什么?

    • 未来的发展方向是什么?

概述

人工智能的未来在于让人们能够与机器合作解决复杂的问题。与任何有效的协作一样,这需要良好的沟通、信任、清晰和理解。XAI(可解释的人工智能)旨在通过结合象征性人工智能和传统机器学习来解决这些挑战。多年来,所有不同的AI社区都在研究这个主题,它们有不同的定义、评估指标、动机和结果。

本教程简要介绍了XAI迄今为止的工作,并调查了AI社区在机器学习和符号化AI相关方法方面所取得的成果。我们将激发XAI在现实世界和大规模应用中的需求,同时展示最先进的技术和最佳实践。在本教程的第一部分,我们将介绍AI中解释的不同方面。然后,我们将本教程的重点放在两个特定的方法上: (i) XAI使用机器学习和 (ii) XAI使用基于图的知识表示和机器学习的组合。对于这两种方法,我们将详细介绍其方法、目前的技术状态以及下一步的限制和研究挑战。本教程的最后一部分概述了XAI的实际应用。

Freddy Lecue博士是加拿大蒙特利尔泰勒斯人工智能技术研究中心的首席人工智能科学家。他也是法国索菲亚安提波利斯温姆斯的INRIA研究所的研究员。在加入泰雷兹新成立的人工智能研发实验室之前,他曾于2016年至2018年在埃森哲爱尔兰实验室担任人工智能研发主管。在加入埃森哲之前,他是一名研究科学家,2011年至2016年在IBM research担任大规模推理系统的首席研究员,2008年至2011年在曼彻斯特大学(University of Manchester)担任研究员,2005年至2008年在Orange Labs担任研究工程师。

目录与内容

第一部分: 介绍和动机

人工智能解释的入门介绍。这将包括从理论和应用的角度描述和激发对可解释的人工智能技术的需求。在这一部分中,我们还总结了先决条件,并介绍了本教程其余部分所采用的不同角度。

第二部分: 人工智能的解释(不仅仅是机器学习!)

人工智能各个领域(优化、知识表示和推理、机器学习、搜索和约束优化、规划、自然语言处理、机器人和视觉)的解释概述,使每个人对解释的各种定义保持一致。还将讨论可解释性的评估。本教程将涵盖大多数定义,但只深入以下领域: (i) 可解释的机器学习,(ii) 可解释的AI与知识图和机器学习。

第三部分: 可解释的机器学习(从机器学习的角度)

在本节中,我们将处理可解释的机器学习管道的广泛问题。我们描述了机器学习社区中解释的概念,接着我们描述了一些流行的技术,主要是事后解释能力、设计解释能力、基于实例的解释、基于原型的解释和解释的评估。本节的核心是分析不同类别的黑盒问题,从黑盒模型解释到黑盒结果解释。

第四部分: 可解释的机器学习(从知识图谱的角度)

在本教程的这一节中,我们将讨论将基于图形的知识库与机器学习方法相结合的解释力。

第五部分: XAI工具的应用、经验教训和研究挑战

我们将回顾一些XAI开源和商业工具在实际应用中的例子。我们关注一些用例:i)解释自动列车的障碍检测;ii)具有内置解释功能的可解释航班延误预测系统;(三)基于知识图谱的语义推理,对企业项目的风险层进行预测和解释的大范围合同管理系统;iv)识别、解释和预测500多个城市大型组织员工异常费用报销的费用系统;v)搜索推荐系统说明;vi)解释销售预测;(七)贷款决策说明;viii)解释欺诈检测。

成为VIP会员查看完整内容
63+
0+

地址:

https://www.manning.com/books/algorithms-and-data-structures-in-action

对这项技术

数据结构和算法是程序存储和处理信息的基础。选择最佳算法可以确保您的程序是快速、高效和可靠的。

关于这本书

算法和数据结构的作用向您介绍了您将在web应用程序、系统编程和数据操作中使用的各种算法。一章一章地,这本书扩展了你已经知道的基本算法,给你一个更好的选择不同的编程问题的解决方案。在本文中,您将发现用于改进优先级队列、高效缓存、集群数据等的技术。每个示例都用各种语言的图形、语言无关伪代码和代码示例进行了完整的说明。完成之后,您将能够实现高级的和不太知名的算法来提高代码的性能。当需要自定义解决方案时,您甚至可以设计自己的数据结构来解决这些情况。

里面有什么:

  • 改进基本数据结构
  • 高效的缓存
  • 最近邻搜索,包括k-d树和s -树
  • 完整的“伪代码”和多种语言的示例

对读者

适合具有基本或中级技能的程序员。以语言无关的方式编写,不需要特定的语言知识。

关于作者

Marcello La Rocca是一名研究科学家和全堆栈工程师,专注于优化算法、遗传算法、机器学习和量子计算。他为Twitter和微软(Microsoft)等公司的大型web应用程序做出了贡献,在学术界和工业界进行了应用研究,并撰写了《Neatsort自适应排序算法》(the Neatsort adaptive sort algorithm)一书。

成为VIP会员查看完整内容
45+
0+

计算机视觉是许多前沿创新的核心,包括自动驾驶汽车、无人机、增强现实、面部识别等等。由于人工智能和深度学习(DL)的快速发展,每天都有惊人的新的计算机视觉应用程序被开发出来。这本《深度学习视觉系统》教你的概念和工具,建立智能,可扩展的计算机视觉系统,可以识别和反应的对象,在图像,视频,和现实生活。有了作者Mohamed Elgendy的专家指导和现实世界项目的说明,您将最终掌握最先进的深度学习技术,这样您就可以构建、贡献和领导令人兴奋的计算机视觉领域!

对这项技术

通过使用深度神经网络,人工智能系统根据它们对输入数据的感知做出决策。基于深度学习的计算机视觉(CV)技术,增强和解释视觉感知,使图像识别、生成和分类等任务成为可能。CV的令人兴奋的进步已经在包括机器人、自动化、农业、医疗保健和安全在内的广泛行业中产生了解决方案。在许多情况下,CV被认为比人类视觉更准确,这是一个重要的区别,当你想到CV程序可以检测皮肤癌或在医学诊断扫描中发现异常时。无论我们谈论的是自动驾驶汽车还是拯救生命的医疗项目,毫无疑问,计算机视觉的深度学习应用正在改变世界。

百度网盘:链接: https://pan.baidu.com/s/1nhgWcnW4Yf8f40DF3zGdHg 提取码: 9vzk

关于这本书 深度学习视觉系统教你应用深度学习技术来解决真实世界的计算机视觉问题。DL和CV专家Mohamed Elgendy以其简单易懂的风格向您介绍了视觉直觉的概念——机器如何学习理解它所看到的东西。然后你将探索不同简历应用中的DL算法。你将深入到简历解释系统或管道的不同部分。使用Python、OpenCV、Keras、Tensorflow和Amazon的MxNet,您将发现解决CV问题的高级DL技术。

我们聚焦的应用包括图像分类、分割、字幕描述、生成以及人脸识别和分析。您还将学习最重要的深度学习体系结构,包括人工神经网络(ANNs)、卷积网络(cns)和递归网络(RNNs),您可以将这些知识应用到相关的深度学习学科,如自然语言处理和语音用户界面。来自Amazon、谷歌和Facebook的真实的、可扩展的项目把这一切都带回家了。有了这本无价的书,你将获得必要的技能,以建立惊人的端到端的CV项目,解决现实世界的问题。

里面有什么

  • 计算机视觉概论
  • 深度学习和神经网络
  • 转移学习和先进的CNN架构
  • 图像分类和字幕
  • 使用YOLO、SSD和R-CNN进行目标检测
  • 风格转移
  • AI伦理
  • 实际项目

目录:

Part I. DEEP LEARNING FOUNDATION

  1. Introduction to Computer Vision
  2. Deep learning and neural networks
  3. Convolutional Neural Networks (CNNs)
  4. Improving deep neural networks and hyperparameters tuningart I. Image Classification and Object Detection
  5. Advanced CNN architectures
  6. Transfer learning
  7. Object detection with YOLO, SSD and R-CNNPART III. Generative Models
  8. Generative Adversarial Networks (GANs)
  9. DeepDream and Neural Style Transfer
  10. Visual Embeddings
成为VIP会员查看完整内容
49+
0+

本书是为那些对数据科学感兴趣的Python程序员编写的。唯一的先决条件是Python的基本知识。不需要有使用复杂算法的经验。数学背景不是必须的。读完这本书的业余爱好者将获得获得第一份高薪数据科学工作所必需的技能。这些技能包括:

  • 概率论和统计学的基础。
  • 监督和非监督机器学习技术。
  • 关键的数据科学图书馆,如NumPy, SciPy, panda, Matplotlib和Scikit-Learn。
  • 解决问题的能力。

开放式解决问题的能力对于数据科学职业来说是必不可少的。不幸的是,这些能力不能通过阅读来获得。要成为一个问题解决者,你必须坚持解决困难的问题。带着这种想法,我的书围绕着案例研究展开:以真实世界为模型的开放式问题。案例研究范围从在线广告分析到使用新闻数据跟踪疾病暴发。

成为VIP会员查看完整内容
45+
0+

【导读】知识图谱一直是学术界和工业界关注的焦点。之前专知报道了AAAI2020相关接受论文。最近Shaoxiong Ji, Shirui Pan, Erik Cambria, Pekka Marttinen, Philip S. Yu等学者发表了关于知识图谱的最新综述论文《A Survey on Knowledge Graphs: Representation, Acquisition and Applications》,25页pdf涵盖107篇参考文献,对知识图谱进行了全面的综述,涵盖了知识图谱表示学习、知识获取与补全、时序知识图谱、知识感知应用等方面的研究课题,并总结了最近的突破和未来的研究方向。我们提出对这些主题进行全视角分类和新的分类法。是关于知识图谱最近非常重要的参考文献。

摘要

人类知识提供了对世界的认知理解。表征实体间结构关系的知识图谱已经成为认知和人类智能研究的一个日益流行的方向。在本次综述论文中,我们对知识图谱进行了全面的综述,涵盖了知识图谱表示学习、知识获取与补全、时序知识图谱、知识感知应用等方面的研究课题,并总结了最近的突破和未来的研究方向。我们提出对这些主题进行全视角分类和新的分类法。知识图谱嵌入从表示空间、得分函数、编码模型和辅助信息四个方面进行组织。对知识获取,特别是知识图谱的补全、嵌入方法、路径推理和逻辑规则推理进行了综述。我们进一步探讨了几个新兴的主题,包括元关系学习、常识推理和时序知识图谱。为了方便未来对知识图的研究,我们还提供了不同任务的数据集和开源库的集合。最后,我们对几个有前景的研究方向进行了深入的展望。

1. 引言

融合人类知识是人工智能的研究方向之一。知识表示与推理是受人类解决问题方式的启发,为智能系统表示知识以获得解决复杂任务的能力。近年来,知识图谱作为结构化人类知识的一种形式,受到了学术界和产业界的广泛关注。知识图谱是事实的结构化表示,由实体、关系和语义描述组成。实体可以是现实世界的对象和抽象概念,关系表示实体之间的关联,实体及其关系的语义描述包含定义良好的类型和属性。属性图或性质图被广泛使用,其中节点和关系具有属性或性质。

知识图谱与知识库是同义的,只是略有不同。当考虑知识图谱的图结构时,知识图谱可以看作是一个图。当它涉及到形式语义时,它可以作为解释和推断事实的知识库。知识库实例和知识图谱如图1所示。知识可以用事实的三元组形式来表达(头实体,关系,尾实体)或者(主语,谓语,宾语)(head, relation,tail)或 (subject, predicate,object)

例如(Albert Einstein; WinnerOf; Nobel Prize). 它也可以表示为一个有向图,其中节点是实体,边是关系。为了简化和顺应研究领域的发展趋势,本文将知识图谱和知识库这两个术语互换使用。

图1 知识库和知识图谱示例

近年来,基于知识图谱的研究主要集中在知识表示学习(KRL)和知识图谱嵌入(KGE)两个方面。具体的知识获取任务包括知识图谱补全(KGC)、三元组分类、实体识别和关系提取。知识感知模型得益于异构信息、丰富的知识表示本体和语义以及多语言知识的集成。因此,许多现实世界的应用,如推荐系统和问题回答已经具备常识性的理解和推理能力。一些现实世界的产品,例如微软的Satori和谷歌的Knowledge Graph,已经显示出提供更高效服务的强大能力。

为了对现有的文献进行全面的综述,本文重点研究了知识表示,它为知识获取和知识感知应用提供了更加上下文化、智能化和语义化的知识表示方法。我们的主要贡献总结如下:

  • 全面性综述。我们对知识图谱的起源和现代知识图谱的关系学习技术进行了全面的综述。介绍和比较了知识图谱表示、学习和推理的主要神经网络结构。此外,我们还提供了不同领域中许多应用的完整概述。

  • 全视图分类和新的分类法。对知识图谱的研究进行了全面的分类,并提出了精细的分类方法。具体来说,在高层次上,我们从KRL、知识获取和知识感知应用三个方面对知识图谱进行了回顾。对于KRL方法,我们进一步将细粒度分类法分为四个视图,包括表示空间、评分函数、编码模型和辅助信息。在知识获取方面,将知识获取分为基于嵌入的排序、关系路径推理、逻辑规则推理和元关系学习; 实体关系获取任务分为实体识别、类型识别、消歧和对齐; 并根据神经范式对关系抽取进行了讨论。

  • 对新进展的广泛综述。知识图谱经历了快速的发展。本论文提供了广泛的新兴主题,包括基于transformer的知识编码、基于图神经网络(GNN)的知识传播、基于路径推理的强化学习和元关系学习。

  • 总结并展望未来的发展方向。这项综述对每个类别进行了总结,并强调了有前途的未来研究方向。

该综述的其余部分组织如下: 首先,知识图谱的概述,包括历史、符号、定义和分类,在第2节中给出; 然后,我们在第三节从四个范围讨论KRL; 接下来,我们将回顾第4节和第5节中知识获取和时间知识图谱的任务;下游应用介绍在第6节; 最后,讨论了未来的研究方向,并得出结论。其他信息,包括KRL模型训练和一组知识图谱数据集以及开源实现,可以在附录中找到。

2 概述

2.1 知识库简史

知识表示在逻辑和人工智能领域经历了漫长的发展历史。图形化知识表示的思想最早可以追溯到1956年Richens[127]提出的语义网概念,而符号逻辑知识可以追溯到1959年的一般问题求解者[109]。知识库首先用于基于知识的推理和问题解决系统。MYCIN[138]是最著名的基于规则的医学诊断专家系统之一,知识库约有600条规则。后来,人类知识表示的社区看到了基于框架的语言、基于规则的表示和混合表示的发展。大约在这个时期的末期,Cyc项目开始了,目的是收集人类的知识。资源描述框架(RDF)和Web本体语言(OWL)相继发布,成为语义Web的重要标准。然后,许多开放知识库或本体被发布,如WordNet、DBpedia、YAGO和Freebase。Stokman和Vries[140]在1988年的图表中提出了结构知识的现代概念。然而,自2012年谷歌搜索引擎首次提出知识图谱概念以来,知识图谱得到了极大的普及,当时提出了知识库[33]的知识融合框架来构建大规模的知识图谱。附录A说明了知识库历史的简要路线图。

图2: 知识库简史

2.2 定义和符号

大多数现有工作都是通过描述一般的语义表示或基本特征来给出定义。然而,还没有这样被广泛接受的正式定义。Paulheim[117]定义了知识图谱的四个标准。Ehrlinger和Woß[35]分析了现有的一些定义并提出定义1强调知识图谱的推理引擎。Wang等[158]在定义2中提出了多关系图的定义。根据之前的文献,我们将知识图谱定义为G={E,R,F},其中E、R和F分别是实体、关系和事实的集合。一个事实记作一个三元组A triple (h,r,t)∈F。

定义1 (Ehrlinger和Woß[35])。知识图谱获取信息并将其集成到本体中,应用推理引擎获得新知识。

定义2 (Wang et al.[158])。知识图谱是由实体和关系构成的多关系图,实体和关系分别被视为节点和不同类型的边。

表一 列出了具体的符号表示及其描述。附录B解释了几种数学运算的细节。

2.3 知识图研究的分类

本综述对知识图谱的研究,即KRL、知识获取、下游知识感知应用等方面进行了全面的文献综述,整合了许多最新的先进深度学习技术。研究的总体分类如图2所示。

图2: 知识图谱研究的分类

知识表示学习(Knowledge Representation Learning,KRL)是知识图谱的一个重要研究课题,它为许多知识获取任务和后续应用奠定了基础。我们将KRL分为表示空间、评分函数、编码模型和辅助信息四个方面,为开发KRL模型提供了清晰的工作流程。具体的内容包括:

  • 关系和实体所表示的表示空间;
  • 度量事实三元组似然性的评分函数
  • 用于表示和学习关系交互的编码模型;
  • 嵌入方法所集成的辅助信息。

表示学习包括点向空间、流形、复向量空间、高斯分布和离散空间。评分指标一般分为基于距离的评分函数和基于相似度匹配的评分函数。目前的研究集中在编码模型,包括线性/双线性模型,因式分解和神经网络。辅助信息包括文本信息、视觉信息和类型信息。

知识获取任务分为三类:关系提取和实体发现。第一个用于扩展现有的知识图谱,而其他两个用于从文本中发现新知识(即关系和实体)。KGC分为以下几类: 基于嵌入的排序、关系路径推理、基于规则的推理和元关系学习。实体发现包括识别、消歧、类型化和对齐。关系提取模型利用了注意力机制、图卷积网络、对抗性训练、强化学习、深度残差学习和迁移学习。

时序知识图谱包含了表示学习的时态信息。本研究将时间嵌入、实体动态、时序关系依赖、时序逻辑推理四个研究领域进行了分类。

知识感知应用包括自然语言理解(NLU)、问题回答、推荐系统和各种真实世界的任务,这些应用程序注入知识以改进表示学习。

2.4 相关综述论文

以往关于知识图谱的综述论文主要集中在统计相关学习[112]、知识图谱精细化[117]、中文知识图谱构建[166]、KGE[158]或KRL[87]。后两项综述与我们的工作关系更大。Lin等[87]以线性的方式提出KRL,着重于定量分析。Wang等人[158]根据评分函数对KRL进行分类,并特别关注KRL中使用的信息类型。它仅从评分度量的角度提供了当前研究的一般视角。我们的综述深入到KRL,并提供了一个完整的视图,它来自四个方面,包括表示空间、评分函数、编码模型和辅助信息。此外,本文还对知识获取和知识感知应用进行了全面的综述,讨论了基于知识图谱的推理和小样本学习等几个新兴的主题。

3 知识表示学习

KRL在文献中也被称为KGE、多关系学习和统计关系学习。本节介绍在分布式表示学习丰富的语义信息的实体和关系形成4个范围的最新进展,包括表示空间(表示实体和关系,3.1节), 得分函数(度量事实的合理性,3.2节),编码模型(模型的语义交互事实,3.3节),和辅助信息(利用外部信息,3.4节)。我们还在第3.5节中提供了一个摘要。KRL模型的训练策略在附录D中进行了回顾。

3.1 表示空间

表示学习的关键是学习低维分布式嵌入的实体和关系。现有文献主要使用实值点向空间(图2(a)),包括向量空间、矩阵空间和张量空间,其他类型的空间如复向量空间(图2(b))、高斯空间(图2(c))、流形空间(图2(d))也被利用。

图3: 不同空间的知识表示示意图

3.2 评分函数

评分函数用于度量事实的可信度,在基于能量的学习框架中也称为能量函数。能量学习的目的是学习能量函数。基于能量的学习目标学习能量函数Eθ(x)参数化θ采取x作为输入,以确保正样本分数高于负样本。本文采用评分函数的形式进行统一。评分函数有两种典型类型,即基于距离的(图3(a))和基于相似性的(图3(b))函数,用于度量事实的合理性。基于距离的评分函数通过计算实体之间的距离来衡量事实的合理度,其中使用较多的是关系为h+r≈t的翻译函数。基于语义相似度的评分方法是通过语义匹配来衡量事实的合理性,通常采用乘法公式,即h⊤Mr≈t⊤,转换头尾部附近的实体表示空间。

图4: 以TransE[10]和DistMult[185]为例的基于距离和基于相似匹配的评分函数示意图。

3.3 编码模型

本节介绍通过特定的模型体系结构(包括线性/双线性模型、因子分解模型和神经网络)对实体和关系的交互进行编码的模型。线性模型通过将头部实体投射到接近尾部实体的表示空间中,将关系表示为线性/双线性映射。因子分解的目的是将关系数据分解为低秩矩阵进行表示学习。神经网络用非线性神经激活和更复杂的网络结构来编码关系数据。几个神经模型如图5所示。

图5: 神经编码模型示意图。(a) MLP[33]和(b) CNN[110]将三元组数据输入到稠密层和卷积运算中学习语义表示,(c) GCN[132]作为知识图谱的编码器,产生实体和关系嵌入。(d) RSN[50]对实体关系序列进行编码,有区别地跳跃关系。

3.4 嵌入辅助信息

为了促进更有效的知识表示,多模态嵌入将诸如文本描述、类型约束、关系路径和视觉信息等外部信息与知识图谱本身结合起来。

3.5 总结

知识表示学习是知识图谱研究领域的一个重要课题。本节回顾了KRL的四方面,其中最近的几种方法总结在表II中,更多的方法在附录c中。总的来说,开发一个新的KRL模型是为了回答以下四个问题:1)选择哪个表示空间; 2)如何测量特定空间中三元组的合理度; 3)采用何种编码模型对关系交互进行建模; 4)是否利用辅助信息。

最常用的表示空间是基于欧几里德点的空间,它通过在向量空间中嵌入实体,并通过向量、矩阵或张量对相互作用进行建模。研究了复向量空间、高斯分布、流形空间和群等表示空间。流形空间相对于点向欧几里德空间的优点是松弛点向嵌入。高斯嵌入能够表达实体和关系的不确定性,以及多重关系语义。在复杂向量空间中嵌入可以有效地建模不同的关系连接模式,特别是对称/反对称模式。表示空间在实体语义信息的编码和关系属性的获取中起着重要的作用。在建立表示学习模型时,应仔细选择和设计合适的表示空间,以匹配编码方法的性质,平衡表达性和计算复杂度。基于距离度量的评分函数采用了翻译原则,而语义匹配评分函数采用了组合运算符。编码模型,尤其是神经网络,在实体和关系的交互建模中起着至关重要的作用。双线性模型也引起了广泛的关注,一些张量因子分解也可以看作是这一类。其他方法包括文本描述、关系/实体类型和实体图像的辅助信息。

图6 知识图谱表示学习模型全面集合

4 知识获取

知识获取的目的是从非结构化文本中构造知识图谱,补全已有的知识图,发现和识别实体和关系。良好的构造和大规模的知识图谱可以用于许多下游应用,并赋予知识感知模型常识推理的能力,从而为人工智能铺平道路。知识获取的主要任务包括关系提取、KGC和其他面向实体的获取任务,如实体识别和实体对齐。大多数方法分别制定KGC和关系提取。然而,这两个任务也可以集成到一个统一的框架中。Han等人[57]提出了一种知识图谱与文本数据融合的联合学习框架,实现了知识图谱与文本的数据融合,解决了文本的KGC和关系提取问题。与知识获取相关的任务还有三元组分类、关系分类等。在这一部分中,我们将对知识获取技术的三个方面进行全面的回顾,即知识图谱补全、实体发现技术和关系提取技术。

4.1 知识图谱补全

基于知识图谱不完备性的特点,提出了一种新的知识图谱三元组生成方法。典型的子任务包括链路预测、实体预测和关系预测。这里给出了一个面向任务的定义。给定一个不完全知识图谱 G = ( E , R , F ) , KGC 的目的推断缺失的三元组 T = { ( h , r , t ) | ( h , r , t ) ∉ F } 。

对KGC的初步研究主要集中在学习低维嵌入进行三元组预测。在本次综述中,我们将这些方法称为基于嵌入的方法。然而,它们中的大多数都没有捕捉到多步关系。因此,最近的工作转向探索多步骤的关系路径和合并逻辑规则,分别称为关系路径推理和基于规则的推理。三元组分类是KGC的一个相关任务,它评估了一个事实三元组分类的正确性,本节还将对此进行讨论。

图7: 基于嵌入的排序和关系路径推理示意图

4.2 实体的发现

本节将基于实体的知识获取分为几个细分的任务,即实体识别、实体消歧、实体类型和实体对齐。我们将它们称为实体发现,因为它们都在不同的设置下探索实体相关的知识。

图8: 实体发现任务的示意图

4.3 关系提取

关系抽取是从纯文本中抽取未知关系事实并将其加入到知识图谱中,是自动构建大规模知识图谱的关键。由于缺乏标记的关系数据,远距离监督25使用启发式匹配来创建训练数据,假设包含相同实体提及的句子在关系数据库的监督下可以表达相同的关系。Mintz等人[103]利用文本特征(包括词汇和句法特征、命名实体标记和连接特征)对关系分类进行远程监控。传统的方法高度依赖于特征工程[103],最近的一种方法探索了特征之间的内在相关性[123]。深度神经网络正在改变知识图谱和文本的表示学习。本节回顾了神经关系提取(NRE)方法的最新进展,概述如图9所示。

图9: 神经关系提取概述

4.4 总结

这一部分回顾了不完全知识图谱的知识补全和纯文本的知识获取。

知识图谱补全完成了现有实体之间缺失的链接,或者推断出给定实体和关系查询的实体。基于嵌入的KGC方法通常依赖于三元组表示学习来捕获语义,并对完成的候选排序。基于嵌入的推理仍然停留在个体关系层面,由于忽略了知识图谱的符号性,缺乏可解释性,使得复杂推理能力较差。符号学与嵌入相结合的混合方法结合了基于规则的推理,克服了知识图谱的稀疏性,提高了嵌入的质量,促使有效的规则注入,并引入了可解释的规则。从知识图谱的图形性质出发,研究了路径搜索和神经路径表示学习,但它们在大规模图上遍历时存在连通性不足的问题。元关系学习的新方向是学习在低资源环境下对未知关系提取的快速适应使用。

实体发现从文本中获取面向实体的知识,将知识融合到知识图谱中。以序列对序列的方式探讨实体识别,实体类标讨论有噪声的类型标签和零样本,实体消歧和对齐学习统一嵌入的迭代对齐模型,解决有限数量的对齐种子样本问题。但是,如果新对齐的实体性能较差,则可能会面临错误积累问题。近年来,针对语言的知识越来越多,跨语言知识对齐的研究应运而生。

关系抽取在距离监督的假设下存在噪声模式,尤其是在不同领域的文本语料库中。因此,弱监督关系提取对于减轻噪声标记的影响是很重要的,例如,以句子包为输入的多实例学习,软选择超过实例的注意机制[90]以减少噪声模式,以及基于rl的方法将实例选择描述为硬决策。另一个原则是学习尽可能丰富的表示。由于深度神经网络可以解决传统特征提取方法中的误差传播问题,因此该领域以基于dnn的模型为主,如表四所示。

表四: 神经关系提取与研究进展综述

5 时序知识图

当前的知识图谱研究多集中在静态知识图上,事实不随时间变化,而对知识图谱的时间动态研究较少。然而,时间信息是非常重要的,因为结构化的知识只在一个特定的时期内存在,而事实的演变遵循一个时间序列。最近的研究开始将时间信息引入到KRL和KGC中,与之前的静态知识图相比,这被称为时序知识图。同时对时间嵌入和关系嵌入进行了研究。

6 知识图谱嵌入应用

丰富的结构化知识对人工智能应用非常有用。但是如何将这些符号化知识集成到现实世界应用的计算框架中仍然是一个挑战。本节介绍几种最新的基于dnn的知识驱动方法,以及NLU、推荐和问题回答方面的应用。附录E中介绍了其他应用,如数字健康和搜索引擎。

6.1自然语言理解

知识感知NLU将结构化的知识注入到统一的语义空间中,增强了语言表示。近年来,知识驱动的发展利用了显性事实知识和隐性语言表示,并探索了许多NLU任务。Chen等人[22]提出了两个知识图谱上的双图随机游动,即提出了一个基于槽的语义知识图谱和一个基于词的词汇知识图谱,以考虑口语理解中的槽间关系。Wang等[156]通过加权的词-概念嵌入,将基于知识概念化的短文本表示学习加以扩充。Peng等[118]整合外部知识库,构建用于社会短文本事件分类的异构信息图。

语言建模是一项基本的NLP任务,它根据给定的顺序预测前面的单词。传统的语言建模方法没有利用文本语料库中经常出现的实体来挖掘事实知识。如何将知识整合到语言表达中,越来越受到人们的关注。知识图谱语言模型(Knowledge graph language model, KGLM)[96]学习通过选择和复制实体来呈现知识。ERNIE-Tsinghua[205]通过聚合的预训练和随机掩蔽来融合信息实体。BERT-MK[62]对图上下文知识进行编码,主要关注医学语料库。ERNIE- baidu[142]引入了命名实体掩蔽和短语掩蔽来将知识整合到语言模型中,ERNIE 2.0[143]通过持续的多任务学习对其进行了进一步的改进。Petroni等[119]对语言模型的大规模训练和知识图谱的查询进行了反思,对语言模型和知识库进行了分析,发现通过预训练语言模型可以获得一定的事实知识。

6.2 问答

基于知识图谱的问答(KG-QA)利用知识图谱中的事实回答自然语言问题。基于神经网络的方法在分布式语义空间中表示问题和答案,也有一些方法对常识推理进行符号知识注入。

6.3 推荐系统

基于用户历史信息的协同过滤是推荐系统研究的热点。然而,它往往不能解决稀疏性问题和冷启动问题。将知识图谱作为外部信息进行集成,使推荐系统具有常识性推理能力。

通过注入基于知识图谱的边侧信息(如实体、关系和属性),许多人致力于基于嵌入的正则化以改进推荐。协同CKE[195]通过翻译KGE模型和堆叠的自动编码器联合训练KGEs、物品的文本信息和视觉内容。DKN[154]注意到时间敏感和主题敏感的新闻文章是由压缩的实体和常识组成的,它通过一个知识感知CNN模型将知识图谱与多通道的单词实体对齐的文本输入合并在一起。然而,DKN不能以端到端方式进行训练,因为实体嵌入需要提前学习。为了实现端到端训练,MKR[155]通过共享潜在特征和建模高阶项-实体交互,将多任务知识图谱表示和推荐关联起来。其他文献考虑知识图谱的关系路径和结构,而KPRN[160]将用户与项目之间的交互视为知识图谱中的实体-关系路径,并利用LSTM对该路径进行偏好推理,获取顺序依赖关系。PGPR[170]在基于知识图谱的用户-物品交互的基础上,实现了增强策略引导的路径推理。KGAT[159]将图注意网络应用于实体-关系和用户-物品图的协作知识图谱上,通过嵌入传播和基于注意的聚合对高阶连通性进行编码。

7 未来的发展方向

为了解决知识表示及其相关应用的挑战,人们做了很多努力。但仍存在一些难以解决的问题和有希望的未来方向。

7.1 复杂推理

知识表示和推理的数值计算需要一个连续的向量空间来捕获实体和关系的语义。虽然基于嵌入的方法对于复杂的逻辑推理有一定的局限性,但关系路径和符号逻辑的两个方向值得进一步探讨。递归关系路径编码、基于GNN的消息传递知识图谱、基于强化学习的路径查找和推理等方法是处理复杂推理的有效方法。对于逻辑规则和嵌入的组合,最近的著作[124,202]将马尔科夫逻辑网络与KGE结合起来,旨在利用逻辑规则并处理它们的不确定性。利用有效的嵌入技术实现不确定性和领域知识的概率推理是一个值得关注的研究方向。

7.2 统一框架

已有多个知识图谱表示学习模型被证明是等价的,如Hayshi和Shimbo[61]证明了在一定约束条件下,HOIE和ComplEx在链接预测的数学上是等价的。ANALOGY [91]提供了几种代表性模型的统一视图,包括DistMult、ComplEx和HolE。Wang等人[162]探索了几种双线性模型之间的联系。Chandrahas等[133]探讨了加法和乘法KRL模型的几何理解。大部分工作分别采用不同的模型对知识获取KGC和关系提取进行了阐述。Han等人[57]将两者放在同一框架下,提出了一种相互关注的知识图谱与文本信息共享的联合学习框架。对知识表示和推理的统一理解研究较少。然而,以类似于图网络[5]的统一框架的方式进行统一的研究,将是值得填补研究空白的。

7.3 可解释性

知识表示和注入的可解释性是知识获取和实际应用的关键问题。已经为可解释性作了初步的努力。ITransF[175]使用稀疏向量进行知识迁移,并用注意力可视化进行解释。CrossE[200]通过使用基于嵌入的路径搜索来生成链接预测的解释,探索了知识图谱的解释方案。然而,最近的神经模型在透明性和可解释性方面存在局限性,尽管它们取得了令人印象深刻的性能。一些方法结合了黑盒神经模型和符号推理,通过合并逻辑规则来提高互操作性。可解释性可以说服人们相信预测。因此,进一步的工作应该是提高预测知识的可解释性和可靠性。

7.4 可扩展性

可扩展性是大规模知识图谱的关键。在计算效率和模型表达性之间存在一种权衡。几种嵌入方法都是利用简化来降低计算成本,如利用循环相关运算来简化张量积[113]。然而,这些方法仍然难以扩展到数百万个实体和关系。

使用马尔可夫逻辑网络等概率逻辑推理需要大量的计算,因此很难扩展到大规模的知识图谱。最近的一个神经逻辑模型[124]中的规则是通过简单的穷举搜索生成的,这使得它在大规模的知识图谱上显得不足。ExpressGNN[202]试图使用NeuralLP[186]进行有效的规则归纳。但是,要处理复杂的深层架构和不断增长的知识图谱,还有很长的路要走。

7.5 知识聚合

全局知识的聚合是知识感知应用的核心。例如,推荐系统使用知识图谱对用户-物品交互进行建模,联合对文本进行分类,将文本和知识图谱编码到语义空间中。现有的知识聚合方法大多设计了注意机制和GNNs等神经网络结构。自然语言处理社区已经从大规模的通过Transformer和BERT模型等变体的训练中得到了发展,而最近的一项发现[119]表明,在非结构化文本上的训练预训练语言模型实际上可以获得一定的事实知识。大规模的训练是一种直接的知识注入方式。然而,以一种有效的、可解释的方式重新思考知识聚合的方式也具有重要的意义。

7.6 自动构建和动态知识图谱

当前的知识图谱高度依赖于手工构建,这是一种劳动密集型和昂贵的工作。知识图谱在不同认知智能领域的广泛应用,要求从大规模非结构化内容中自动构建知识图谱。目前的研究主要集中在已有知识图谱监督下的半自动构建方面。面对多模态性、异构性和大规模的应用,自动构建仍然面临着巨大的挑战。

主流的研究主要集中在静态知识图谱上,在预测时间范围有效性和学习时间信息和实体动态方面也有一些工作。许多事实只在特定的时期内有效。考虑到知识图铺的时间特性,动态知识图谱可以解决传统知识表示和推理的局限性。

8 结论

知识图谱作为人类知识的集合,随着知识表示学习、知识获取方法的出现和知识感知应用的广泛,知识图谱的研究越来越受到重视。本文从四个方面进行了全面的综述: 1)知识图谱嵌入,从嵌入空间、评分指标、编码模型、外部信息嵌入、训练策略等方面进行了全方位的系统综述; 2)从嵌入学习、关系路径推理、逻辑规则推理三个角度对实体发现、关系提取、图补全的知识获取;时序知识图表示学习与完成;4) 在自然语言理解,推荐系统,问题回答和其他杂项应用上的真实世界的知识感知应用。此外,还介绍了数据集和开源库的一些有用资源,并对未来的研究方向进行了讨论。知识图谱承载着一个庞大的研究社区,并具有广泛的方法和应用。我们进行这项综述是为了总结当前有代表性的研究工作和趋势,并期望它能促进未来的研究。

成为VIP会员查看完整内容
54+
0+

Walter Savitch的《用c++解决问题》是c++入门课程中使用最广泛的教科书之一。

现在,在介绍程序设计和c++语言课程时,《用c++解决问题》第七版仍然是学生和教师使用最广泛的教科书。通过每个版本,成百上千的学生都很重视Walt Savitch的编程方法,它强调通过使用恰当的例子和自我测试的例子来积极阅读。这本书是为初学者编写的,重点在于培养强大的解决问题和编程技术,同时向学生介绍c++编程语言。

沃尔特·萨维奇(Walter Savitch)是加州大学圣地亚哥分校计算机科学荣誉退休教授。1969年,他在加州大学伯克利分校获得数学博士学位。从那时起,他一直在加州大学圣地亚哥分校(UCSD)任教。他曾担任加州大学圣地亚哥分校认知科学跨学科博士项目主任达十年之久。他曾在西雅图的华盛顿大学计算机科学系和博尔德的科罗拉多大学担任访问研究员,并在阿姆斯特丹的voor Wiskunde en Informatica中心担任访问学者。

成为VIP会员查看完整内容
36+
0+

【导读】在最新AAAI2020的邀请嘉宾报告上,Facebook人工智能总监、图灵奖得主Yann Lecun给了自监督学习的报告《Self-Supervised Learning 》,44页ppt,介绍了深度学习面临的挑战,自监督学习的光明前景,基于能量学习的因变量模型,介绍最新自监督学习的进展与问题,是非常值得看的报告。

自监督学习 Self-Supervised Learning

计算机感知、语音识别和自然语言处理的最新进展几乎都是建立在有监督的深度学习的基础上的,在这种学习中,机器预测需要人类提供的标注。如今,DL系统已经成为搜索引擎和社交网络内容过滤和检索、医学图像分析、驾驶辅助以及许多科学领域的核心。但是,最好的机器学习方法仍然需要比人类和动物学习多得多的数据或与环境的交互。我们如何让机器像动物和人类一样,通过独立于任务的观察来学习关于世界如何运作的大量背景知识?一种有前途的方法是自监督学习(SSL),即机器从输入的其他部分预测输入的一部分。SSL已经在离散领域带来了巨大的进步,例如语言理解。问题是如何在音频、图像和视频等高维连续域中使用SSL。

成为VIP会员查看完整内容
57+
0+

WSDM 2020全称为第13届国际互联网搜索与数据挖掘会议(The 13thInternational Conference on Web Search and Data Mining, WSDM 2020),将于2020年2月3日-2月7日在美国休斯敦召开。宾夕法尼亚州立大学ZhenhuiLi, Huaxiu Yao, Fenglong Ma等做了关于小数据学习《Learning with Small Data》教程,124页ppt涵盖迁移学习与元学习等最新课题,是非常好的学习材料!

摘要

在大数据时代,我们很容易收集到大量的图像和文本数据。然而,在一些领域,例如医疗保健和城市计算,我们经常面对现实世界中只有少量(标记的)数据的问题。挑战在于如何使机器学习算法在处理小数据时仍能很好地工作?为了解决这个挑战,在本教程中,我们将介绍处理小数据问题的最新机器学习技术。我们特别关注以下三个方面:(1)全面回顾了近年来在探索知识迁移的力量方面取得的进展,特别是在元学习方面;(2)介绍了将人类/专家知识纳入机器学习模型的前沿技术;(3)确定了开放的挑战数据增强技术,如生成性对抗网络。

百度网盘下载: 链接: https://pan.baidu.com/s/1j-xvPMB4WwSdiMoDsaR8Sg 提取码: 8v7y 目录:

  • 引言 Introduction

  • 从模型进行迁移知识 Transfer knowledge from models

    • 迁移学习 Transfer learning
    • 多任务学习 Multi-task learning
    • 元学习 Meta-learning
    • 应用 Applications
  • 领域专家知识迁移 Transfer knowledge from domain expert

    • Enrich representations using knowledge graph
    • Regularizing the loss function by incorporating domain knowledge
  • 数据增广 Data augmentation

    • Augmentation using labeled data
    • Augmentation using unlabeled data

地址

https://sites.psu.edu/wsdm20/

讲者介绍: Zhenhui Li 是宾夕法尼亚州立大学信息科学与技术终身副教授。在加入宾夕法尼亚州立大学之前,她于2012年在伊利诺伊大学香槟分校获得了计算机科学博士学位,当时她是数据挖掘研究小组的成员。她的研究重点是挖掘时空数据,并将其应用于交通、生态、环境、社会科学和城市计算。她是一位充满激情的跨学科研究人员,一直积极与跨领域研究人员合作。她曾担任过许多会议的组织委员会或高级项目委员会,包括KDD、ICDM、SDM、CIKM和SIGSPATIAL。自2012年以来,她一直定期开设数据组织和数据挖掘课程。她的课程经常受到学生的好评。她获得了NSF职业奖、研究院青年教师优秀奖和乔治J.麦克默里教学院青年教师优秀奖。

https://faculty.ist.psu.edu/jessieli/Site/index.html

成为VIP会员查看完整内容
67+
0+

【导读】《C++ Primer 中文版(第5版)》是学习C++的圣经之书。《C++ Primer 中文版(第5版)》所有示例均全部采用 C++11 标准改写,这在经典升级版中极其罕见——充分体现了 C++ 语言的重大进展及其全面实践。书中丰富的教学辅助内容、醒目的知识点提示,以及精心组织的编程示范,让这本书在 C++ 领域的权威地位更加不可动摇。无论是初学者入门,或是中、高级程序员提升,本书均为不容置疑的首选。专知整理关于该书的中英文版本电子书和习题解答欢迎查看!

中文版下载: 链接: https://pan.baidu.com/s/1LsNa77LNgtaamn-j7lPNrg 提取码: i88d

C++ Primer 5 Answers(C++11/14)

地址:https://github.com/Mooophy/Cpp-Primer

GitHub issues GitHub license

  • Windows: Visual Studio 2015+

  • Linux: g++ 5.0+

g++ -std=c++14 some_ex.cpp -o some_ex
  • Mac: clang++ 3.7+
clang++ -std=c++1y some_ex.cpp -o some_ex

Contents

《C++ Primer》第五版中文版习题答案

地址: https://github.com/huangmingchuan/Cpp_Primer_Answers

下面是目录:

Cpp Primer 学习

https://github.com/applenob/Cpp_Primer_Practice

简介

C++ Primer 中文版第5版学习仓库,包括笔记课后练习答案

环境

  • system: ubuntu 16.04
  • IDE: VS Code
  • compiler: g++

原书第五版pdf链接

目录

参考

成为VIP会员查看完整内容
45+
0+

C语言深度指南《Modern C》第二版上线,内容更新,加入插图,是新视角指南的非常好书

地址https://www.manning.com/books/modern-c

Modern C关注现代C编程的新特性和独特之处。本书是基于最新的C标准,并提供了一个最新的视角,关于这个久经考验的真实的语言。

对这项技术

对于一门有50年历史的编程语言来说,C语言是非常现代的。无论您是在编写嵌入式代码、低级系统例程还是高性能应用程序,C语言都能应对挑战。这本独特的书,基于最新的C标准,揭示了这一可靠语言的现代视角。

关于这本书

Modern C向您介绍了现代C编程,强调了这种强大语言的独特和新特性。对于新的C程序员,它从基础开始,比如结构、语法、编译和执行。在此基础上,您将进一步了解控制结构、数据类型、操作符和函数,从而更深入地了解底层所发生的事情。在最后几章中,您将探索性能考虑因素、可重入性、原子性、线程和类型泛型编程。在进行概念强化练习和技能磨练挑战的过程中,您将编写代码。

里面有什么

  • 运算符和函数
  • 指针、线程和原子性
  • C的内存模型
  • 动手练习
成为VIP会员查看完整内容
43+
0+

这本书提供 访问Spark平台的真实文档和示例,以构建大型企业级机器学习应用程序。

在过去的十年里,机器学习取得了一系列惊人的进步。这些突破正在影响我们的日常生活,并对每个行业产生影响。下一代机器学习Spark提供了Spark和Spark MLlib的介绍,并在标准Spark MLlib库之外,向更强大的第三方机器学习算法和库迈进。在这本书的结尾,你将能够通过许多实际的例子和有洞察力的解释将你的知识应用到现实世界的用例中

  • 介绍机器学习、Spark和Spark MLlib 2.4.x
  • 使用XGBoost4J Spark和LightGBM库在Spark上实现闪电般的快速渐变增强
  • 用Spark的隔离林算法检测异常
  • 使用支持多种语言的Spark NLP和Stanford CoreNLP库
  • 使用Alluxio内存数据加速器for Spark优化ML工作负载
  • 使用GraphX和GraphFrames进行图形分析
  • 利用卷积神经网络进行图像识别
  • 利用Keras框架和Spark分布式深度学习库

这本书是给谁的

数据科学家和机器学习工程师,他们希望将自己的知识提升到一个新的水平,使用Spark和更强大的下一代算法和库,而不是标准Spark MLlib库中提供的;同时也是有抱负的数据科学家和工程师的入门书,他们需要机器学习的入门知识,Spark,SparkMLlib。

成为VIP会员查看完整内容
28+
0+

【导读】2020 年 2 月 7 日-2 月 12 日,AAAI 2020 于美国纽约举办。近年来,将传统的处理效果估计方法(如匹配估计器)和先进的表示学习方法(如深度神经网络)相结合的一个新兴的研究方向在广阔的人工智能领域引起了越来越多的关注。来自Georgia、Buffalo、阿里巴巴与Virginia的学者做了因果推理表示学习报告,在本教程中,介绍用于治疗效果估计的传统和最先进的表示学习算法。关于因果推论,反事实和匹配估计的背景也将被包括。我们还将展示这些方法在不同应用领域的应用前景。

摘要

因果推理在医疗保健、市场营销、医疗保健、政治科学和在线广告等许多领域都有大量的实际应用。治疗效果估计作为因果推理中的一个基本问题,在统计学上已被广泛研究了几十年。然而,传统的处理效果估计方法不能很好地处理大规模、高维的异构数据。近年来,将传统的处理效果估计方法(如匹配估计器)和先进的表示学习方法(如深度神经网络)相结合的一个新兴的研究方向在广阔的人工智能领域引起了越来越多的关注。在本教程中,我们将介绍用于治疗效果估计的传统和最先进的表示学习算法。关于因果推论,反事实和匹配估计的背景也将被包括。我们还将展示这些方法在不同应用领域的应用前景。

成为VIP会员查看完整内容
41+
0+

对于任何对资源受限设备上的机器学习感兴趣的人来说,这本书都是必读之书。这是人工智能发展的一个里程碑。”-- Massimo Banzi, Arduino的联合创始人

深度学习网络正变得越来越小。小得多。谷歌Assistant团队可以检测到只有14千字节大小的单词——小到可以在微控制器上运行。有了这本实用的书,你将进入TinyML领域,在这里,深度学习和嵌入式系统结合在一起,用微小的设备创造出惊人的东西。

Pete Warden和Daniel Situnayake解释了如何训练足够小的模型以适应任何环境。对于希望使用机器学习构建嵌入式系统的软件和硬件开发人员来说,这是理想的选择。

不需要机器学习或微控制器经验。建立一个语音识别器,一个摄像头来检测人们,一个魔杖来响应手势。

  • 使用Arduino和超低功耗微控制器
  • 学习ML的要点以及如何训练自己的模型
  • 训练模型来理解音频、图像和加速度计数据
  • 探索TensorFlow Lite的微控制器,谷歌的工具包TinyML
  • 调试应用程序并提供隐私和安全保障
  • 优化延迟、能耗、模型和二进制大小
成为VIP会员查看完整内容
34+
0+

本章从数学角度描述了卷积神经网络(CNN)的工作原理。这一章是自成一体的,重点是让初学者能够理解CNN领域。

卷积神经网络(CNN)在许多计算机视觉、机器学习和模式识别问题上表现出优异的性能。关于这个主题已经发表了许多可靠的论文,并且已经提供了许多高质量的开源CNN软件包。

也有写得很好的CNN教程或CNN软件手册。但是,我们认为,专门为初学者准备的介绍CNN的材料仍然是需要的。研究论文通常很简洁,缺乏细节。对于初学者来说,阅读这样的论文可能是困难的。针对有经验的研究人员的教程可能无法涵盖理解CNN如何运行的所有必要细节。

本章试图提出一个文档:

  • 自成一体。所有需要的数学背景知识都将在本章(或本书其他章节)中介绍;

  • 有所有衍生的细节。这一章的目的是详细解释所有必要的数学。我们尽量不忽略推导过程中的任何重要步骤。因此,初学者应该能够跟上(尽管专家可能会发现这一章有点重复);

  • 忽略实现细节。目的是让读者了解CNN是如何在数学层面运作的。我们将忽略这些实现细节。在CNN中,对各种实现细节做出正确的选择是其高准确性的关键之一(即“细节决定成败”)。然而,我们有意省略了这一部分,以便读者关注数学。在了解了数学原理和细节之后,通过亲身体验CNN编程来学习这些实现和设计细节会更有优势。本章的练习问题提供了动手制作CNN编程的机会。

CNNs在很多应用中都很有用,特别是在与图像相关的任务中。CNNs的应用包括图像分类、图像语义分割、图像中的目标检测等。在本章中,我们将重点讨论图像分类。在图像分类中,每幅图像都有一个主要的对象,占图像的很大一部分。一个图像根据其主要对象的身份被分类到其中一个类中。狗、飞机、鸟等。

成为VIP会员查看完整内容
26+
0+

数十年来,因果推理是一个跨统计、计算机科学、教育、公共政策和经济学等多个领域的重要研究课题。目前,与随机对照试验相比,利用观测数据进行因果关系估计已经成为一个有吸引力的研究方向,因为有大量的可用数据和较低的预算要求。随着机器学习领域的迅速发展,各种针对观测数据的因果关系估计方法层出不穷。在这项调查中,我们提供了一个全面的综述因果推理方法下的潜在结果框架,一个众所周知的因果推理框架。这些方法根据是否需要潜在结果框架的所有三个假设分为两类。对于每一类,分别对传统的统计方法和最近的机器学习增强方法进行了讨论和比较。并介绍了这些方法的合理应用,包括在广告、推荐、医药等方面的应用。此外,还总结了常用的基准数据集和开放源代码,便于研究者和实践者探索、评价和应用因果推理方法。

地址:

https://www.zhuanzhi.ai/paper/a37f27ed97e5318b30be2999e9a768c3

成为VIP会员查看完整内容
37+
0+
登录查看的更多。 返回顶部
本周荟萃主题
深度学习
机器学习的一个分支,它基于试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的一系列算法。
机器学习
“机器学习是近20多年兴起的一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习理论主要是设计和分析一些让 可以自动“ 学习”的算法。机器学习算法是一类从数据中自动分析获得规律,并利用规律对未知数据进行预测的算法。因为学习算法中涉及了大量的统计学理论,机器学习与统计推断学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。很多 推论问题属于 无程序可循难度,所以部分的机器学习研究是开发容易处理的近似算法。”

——中文维基百科
强化学习
强化学习 (Reinforcement learning) 是受到行为心理学启发,机器学习中研究个体 (agent) 如何在环境中采取行动以最大化奖赏 (reward) 的领域。

这一问题由于其普遍性,在许多领域中都有研究,例如博弈论,控制论,运筹学,信息论等等。
推荐系统
推荐系统,是指根据用户的习惯、偏好或兴趣,从不断到来的大规模信息中识别满足用户兴趣的信息的过程。推荐推荐任务中的信息往往称为物品(Item)。根据具体应用背景的不同,这些物品可以是新闻、电影、音乐、广告、商品等各种对象。推荐系统利用电子商务网站向客户提供商品信息和建议,帮助用户决定应该购买什么产品,模拟销售人员帮助客户完成购买过程。个性化推荐是根据用户的兴趣特点和购买行为,向用户推荐用户感兴趣的信息和商品。随着电子商务规模的不断扩大,商品个数和种类快速增长,顾客需要花费大量的时间才能找到自己想买的商品。这种浏览大量无关的信息和产品过程无疑会使淹没在信息过载问题中的消费者不断流失。为了解决这些问题,个性化推荐系统应运而生。个性化推荐系统是建立在海量数据挖掘基础上的一种高级商务智能平台,以帮助电子商务网站为其顾客购物提供完全个性化的决策支持和信息服务。
卷积神经网络
卷积神经网络是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,[1]对于大型图像处理有出色表现。
命名实体识别
命名实体识别(Named Entity Recognition,简称NER),又称作“专名识别”,是指识别文本中具有特定意义的实体,主要包括人名、地名、机构名、专有名词等。
机器翻译
机器翻译,又称为自动翻译,是利用计算机将一种自然语言(源语言)转换为另一种自然语言(目标语言)的过程。它是计算语言学的一个分支,是人工智能的终极目标之一,具有重要的科学研究价值。
计算机视觉
计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取‘信息’的人工智能系统。
新闻
新闻,是指报纸、电台、电视台、互联网等媒体经常使用的记录与传播信息的 [2] 一种文体,是反映时代的一种文体。新闻概念有广义与狭义之分。广义上:除了发表于报刊、广播、互联网、电视上的评论与专文外的常用文本都属于新闻,包括消息、通讯、特写、速写(有的将速写纳入特写之列)等等; [3] 狭义上:消息是用概括的叙述方式,以较简明扼要的文字,迅速及时地报道附近新近发生的、有价值的事实,使一定人群了解。新闻一般包括标题、导语、主体、背景和结语五部分。前三者是主要部分,后二者是辅助部分。写法以叙述为主兼或有议论、描写、评论等。新闻是包含海量资讯的新闻服务平台,真实反映每时每刻的重要事件。您可以搜索新闻事件、热点话题、人物动态、产品资讯等,快速了解它们的最新进展。
图灵奖
图灵奖(A.M. Turing Award,又译“杜林奖”),由 美国计算机协会(ACM)于1966年设立,又叫“A.M. 图灵奖”,专门奖励那些对计算机事业作出重要贡献的个人。其名称取自计算机科学的先驱、英国科学家 阿兰·麦席森·图灵
Top