现在来自密西根州立大学的汤继良团队即将出版一本全面性介绍图深度学习的书:《Deep Learning on Graphs》。

全书概要

为了最好地适应具有不同背景和阅读目的的读者,该书由四个部分组成。 第1部分介绍了基本概念;第2部分讨论了该领域最成熟的方法;第3部分介绍了最具代表性的实际应用,而第4部分介绍了有可能成为将来研究热点的高级方法和应用。每部分的内容如下:

第1部分:基本概念篇

在该部分的章节重点介绍图和深度学习的基础知识,这些基础将为图的深度学习奠定基础。在第1章中,介绍了图的关键概念和属性,图傅里叶变换,图形信号处理,并正式定义了各种类型的复杂图和在图上的计算任务。在第2章中,讨论了各种最基础的神经网络模型,训练深度模型的关键方法以及防止训练过程中过度拟合的实用技术。

第2部分:方法篇

这些章节涵盖了从基本设置到高级设置的最成熟的图深度学习方法。在第3章中,从信息保存的角度介绍了一种通用的图嵌入框架,提供了有关在图像上保留多种类型信息的代表性算法的技术细节,并介绍了专门为复杂形设计的嵌入方法。典型的图神经网络模型包括两个重要操作,即图过滤操作和图池化操作。

在第4章中,回顾了最新的图过滤和池化操作,并讨论了如何在给定下游任务的时学习GNN参数。GNNs是传统深度模型在图上的泛化,因此它们继承了传统深度模型的缺点,容易受到对抗攻击。

在第5章中,重点介绍图对抗攻击的概念和定义,并详细介绍了具有代表性的对抗攻击和防御技术。GNN执行跨层邻域的递归扩展。单个节点邻域的扩展会迅速涉及图的很大一部分甚至整个图。因此,可扩展性是GNN需要解决的紧迫问题。

在6章中详细介绍了用于可扩展性GNN的代表性技术。在第7章中,讨论了为更复杂的图设计的GNN模型。为了使深度学习技术能够在更广泛的设置下推进更多的图应用,在第8中介绍了GNN之外的众多图深度模型。

第3部分:实际应用篇 图提供了真实数据的通用表示方法;因此,在图深度学习方法已应用于各个领域。在这部分的章节中,将介绍了GNN的最具代表性的应用,包括第9章中的自然语言处理,第10章中的计算机视觉,第11章中的数据挖掘和第12章中的生物化学与医疗保健。

第4部分:进展篇 在该部分章节中,重点介绍方法和实际应用方面的最新进展。在13章中,从表达性,深度,公平性,可解释性和自我监督学习方面介绍了高级GNNs。在第14中,讨论了GNN应用的更多领域,包括组合优化,物理,程序表示, 和计算机网络。

英文书预印本免费下载链接如下。大家可以订阅该书。订阅者会自动推送关于该书的最新信息包括针对该书的中英文版的幻灯片和教程视频。同时欢迎大家提供反馈。

英文书:http://cse.msu.edu/~mayao4/dlg_book/

成为VIP会员查看完整内容
0
147

相关内容

作为传统DNNs对图的推广,GNN继承了传统DNNs的优点和缺点。与传统的DNNs一样,GNN在许多图形相关的任务中被证明是有效的,比如节点聚类和图聚焦任务。传统的DNNs已被证明易受专门设计的对抗性攻击(Goodfellow et al., 2014b;徐等,2019b)。在对抗性的攻击下,受害样本会受到干扰,不容易被发现,但会导致错误的结果。越来越明显的是,GNNs也继承了这个缺点。对手可以通过操纵图的结构或节点特征来欺骗GNN模型,从而产生图的对抗性扰动。GNN的这种局限性引起了人们对在诸如金融系统和风险管理等安全关键应用程序中采用它们的极大关注。例如,在一个信用评分系统中,欺诈者可以伪造与几个高信用客户的关系,以逃避欺诈者检测模型;垃圾邮件发送者可以很容易地创建虚假关注者,以增加虚假新闻被推荐和传播的机会。因此,图形对抗性攻击及其对策的研究越来越受到人们的关注。在这一章中,我们首先介绍了图对抗攻击的概念和定义,并详细介绍了一些具有代表性的图对抗攻击方法。然后,我们讨论了针对这些对抗性攻击的典型防御技术。

http://cse.msu.edu/~mayao4/dlg_book/

成为VIP会员查看完整内容
0
27

Richard Szeliski博士,计算机视觉领域的大师级人物,现为Facebook研究科学家。Szeliski博士在计算机视觉研究方面有25年以上的丰富经验,先后任职干DEC和微软研究院。1996年,他在微软研究院任职期间,提出一种基于运动的全景图像拼接模型,采用L-M算法,通过求图像间的几何变换关系来进行图像匹配。此方法是图像拼接领域的经典算法,Richard Szeliski也因此成为图像拼接领域的奠基人。

http://szeliski.org/RichardSzeliski.htm

计算机视觉:算法与应用(第二版)

本书萌芽于2001年,当时,华盛顿大学的Steve Seitz邀我和他一起讲一门课,课程名称是“面向计算机图形学的计算机视觉”。那个时候,计算机图形学领域正在越来越多地使用计算机视觉技术,用它来创建基于图像的真实物体的模型,用于产生视觉效果,用于通过计算摄影学技术来合并真实影像。我们决定聚焦于计算机视觉在若干有趣问题中的应用,例如使用个人照片的图像拼接和基于照片的3D建模等,这一想法引起了学生们的共鸣。

  从那时起,华盛顿大学和斯坦福大学就一直使用类似的课程大纲和项目导向的课程结构来进行常规计算机视觉课程的教学(在斯坦福大学,在2003年这门课程由我和David Fleet共同讲授)。类似的课程大纲也被其他很多大学所采用,并被纳入计算摄影学相关的更专业的课程。(有关如何在课程中使用本书的建议,请参见1.4节的表1.1。)

  本书还反映了我在企业研究实验室(DEC剑桥研究实验室和微软研究院)这二十年的计算机视觉研究经历。在从事研究的过程中,我主要关注在真实世界中具有实际应用的问题和在实践中行之有效的方法(算法)。因此,本书更强调在真实世界条件下有效的基本方法,而较少关注内在完美但难以实际应用的神秘的数学内容。     本书适用于计算机科学和电子工程专业高年级本科的计算机视觉课程。学生最好已经修过图像处理或计算机图形学课程,这样一来,便可以少花一些时间来学习一般性的数学背景知识,多花一些时间来学习计算机视觉技术。本书也适用于研究生的计算机视觉课程(通过专研更富有挑战性的应用和算法领域),作为基本技术和近期研究文献的参考用书。为此,我尽量尝试引用每个子领域中最新的研究进展,即便其技术细节过于复杂而无法在本书中涉及。

  在课程教学过程中,我们发现,要使学生从容应对真实图像及其带来的挑战,让他们尝试实现一些小的课程设计(通常一个建立在另一个基础之上),是很有帮助的。随后,要求学生分成组选择各自的主题,完成最终的课程设计。(有时,这些课程设计甚至能转换为会议论文!)本书各章最后的习题包含有关小型中期课程设计题目的很多建议,也包含一些更开放的问题,这些问题的解决仍然是活跃的研究课题。只要有可能,我都会鼓励学生用他们自己的个人照片来测试他们的算法,因为这可以更好地激发他们的兴趣,往往会产生富有创造性的衍生问题,使他们更熟悉真实影像的多样性和复杂性。

  在阐述和解决计算机视觉问题的过程中,我常常发现从三个高层途径获取灵感是有帮助的。

  • 科学层面:建立图像形成过程的详细模型,为了恢复感兴趣量而构建其逆过程的数学方法(必要时,做简化假设使其在数学上更容易处理)。

  • 统计层面:使用概率模型来量化产生输入图像的未知量先验似然率和噪声测量过程,然后推断所期望量的最可能的估计并分析其结果的不确定程度。使用的推断算法往往与用于逆转(科学的)图像形成过程的优化方法密切相关。

  • 工程层面:开发出易于描述和实现且己知在实践中行之有效的方法。测试这些方法,以便于了解其不足和失效模态,及其期望的计算代价(运行时的性能)。

  以上这三个途径相互依存,并且贯穿本书始终。

第二版特别注释

过去的十年见证了计算机视觉算法在性能和适用性上的一次真正的爆炸,其中大部分是由机器学习算法运用于大量视觉训练数据而产生的。

深度神经网络现在在许多视觉算法中扮演着重要的角色,这本书的新版本在早期就将其作为基础技术介绍,并在后续章节中广泛使用。

第二版中最显著的变化包括:

机器学习、深度学习和深度神经网络在第5章中介绍,因为它们在视觉算法中扮演的角色与在前两章中介绍的图像处理、图形/概率模型和能量最小化等更经典的技术一样重要。

由于端到端深度学习系统不再需要开发构建模块,如特征检测、匹配和分割,因此识别章节已经在书的早些时候移到了第6章。许多选修视觉课程的学生主要对视觉识别感兴趣,因此在课程的早期呈现这些资料,可以使学生更容易以这些主题为期末专题的基础。

目录内容:

成为VIP会员查看完整内容
0
63

内容概要:

在复杂的实际应用中,图是有用的数据结构,例如对物理系统进行建模,学习分子指纹,控制交通网络以及在社交网络中推荐朋友。但是,这些任务需要处理包含元素之间的丰富关系信息且无法通过传统深度学习模型(例如卷积神经网络(CNN)或递归神经网络(RNN))妥善处理的非欧氏图数据。图中的节点通常包含有用的特征信息,这些信息在大多数无监督的表示学习方法(例如,网络嵌入方法)中无法很好地解决。图神经网络(GNN)被提出来结合特征信息和图结构,以通过特征传播和聚集学习更好的图表示。由于其令人信服的性能和高解释性,GNN最近已成为一种广泛应用的图分析工具。

本书全面介绍了图神经网络的基本概念,模型和应用。首先介绍了vanilla GNN模型。然后介绍了vanilla模型的几种变体,例如图卷积网络,图递归网络,图注意力网络,图残差网络和一些通用框架。还包括不同图类型的变体和高级训练方法。对于GNN的应用,该书分为结构,非结构和其他场景,然后介绍了解决这些任务的几种典型模型。最后,最后几章提供了GNN的开放资源以及一些未来方向的展望。

本书组织如下。在第1章中进行了概述之后,在第2章中介绍了数学和图论的一些基本知识。在第3章中介绍了神经网络的基础,然后在第4章中简要介绍了香草GNN。四种类型的模型分别在第5、6、7和8章中介绍。在第9章和第10章中介绍了不同图类型和高级训练方法的其他变体。然后在第11章中提出了几种通用的GNN框架。第12、13和14章介绍了GNN在结构场景,非结构场景和其他场景中的应用。最后,我们在第15章提供了一些开放资源,并在第16章总结了这本书。

作者:

刘知远,清华大学计算机系自然语言处理实验室, 副教授。2006年获得清华大学计算机科学与技术系学士学位,2011年获得博士学位。他的研究兴趣是自然语言处理和社会计算。在IJCAI、AAAI、ACL、EMNLP等国际期刊和会议上发表论文60余篇。

http://nlp.csai.tsinghua.edu.cn/~lzy/index_cn.html

周界是清华大学计算机科学与技术系硕士二年级学生。他于2016年获得清华大学学士学位。他的研究兴趣包括图形神经网络和自然语言处理。

图书目录:

  • 前言
  • 致谢
  • 第一章: 引言
  • 第二章: 数学和图的基础知识
  • 第三章: 神经网络的基础知识
  • 第四章: Vanilla 图神经网络
  • 第五章: 图卷积网络
  • 第六章: 图递归网络
  • 第七章: 图注意力网络
  • 第八章 : 图残差网络
  • 第九章: 同图形型的变体
  • 第十章: 高级训练方法的变体
  • 第十一章: 一般框架
  • 第十二章: 应用——结构场景
  • 第十三章: 应用——非结构性场景
  • 第十四章: 应用——其他场景
  • 第十五章: 开放资源
  • 第十六章: 结论
  • 参考书目
成为VIP会员查看完整内容
0
172

题目: Introduction to Graph Neural Networks

简介:

在复杂的实际应用中,图是有用的数据结构,例如对物理系统进行建模,学习分子指纹,控制交通网络以及在社交网络中推荐朋友。但是,这些任务需要处理包含元素之间的丰富关系信息且无法通过传统深度学习模型(例如卷积神经网络(CNN)或递归神经网络(RNN))妥善处理的非欧氏图数据。图中的节点通常包含有用的特征信息,这些信息在大多数无监督的表示学习方法(例如,网络嵌入方法)中无法很好地解决。提出了图神经网络(GNN)来结合特征信息和图结构,以通过特征传播和聚集学习更好的图表示。由于其令人信服的性能和高解释性,GNN最近已成为一种广泛应用的图形分析工具。本书全面介绍了图神经网络的基本概念,模型和应用。首先介绍了香草GNN模型。然后介绍了vanil la模型的几种变体,例如图卷积网络,图递归网络,图注意力网络,图残差网络和一些通用框架。还包括不同图类型的变体和高级训练方法。对于GNN的应用,该书将min分为结构,非结构和其他场景,然后介绍了解决这些任务的几种典型模型。最后,最后几章提供了GNN的开放资源以及一些未来方向的展望。

深度学习在许多领域都取得了可喜的进展,例如计算机视觉和自然语言处理。这些任务中的数据通常以欧几里得表示。但是,许多学习任务需要处理包含元素之间丰富的关系信息的非欧氏图数据,例如建模物理系统,学习分子指纹,预测蛋白质界面等。图神经网络(GNN)是基于深度学习的方法,在图域上运行。由于其令人信服的性能和高解释性,GNN最近已成为一种广泛应用的图形分析方法。本书全面介绍了图神经网络的基本概念,模型和应用。它从数学模型和神经网络的基础开始。在第一章中,它对GNN的基本概念进行了介绍,目的是为读者提供一个概览。然后介绍了GNN的不同变体:图卷积网络,图递归网络,图注意力网络,图残差网络和一些通用框架。这些最差的结果是将通用的深度学习技术转化为图形,例如卷积神经网络,递归神经网络,注意力机制和跳过连接。此外,这本书介绍了GNN在结构场景(物理,化学,知识图谱),非结构场景(图像,文本)和其他场景(生成模型,组合优化)中的不同应用。最后,这本书列出了相关的数据集,开源平台和GNN的实现。本书组织如下。在第1章中进行了概述之后,在第2章中介绍了数学和图论的一些基本知识。在第3章中介绍了神经网络的基础,然后在第4章中简要介绍了香草GNN。四种类型的模型分别在第5、6、7和8章中介绍。在第9章和第10章中介绍了不同图类型和高级训练方法的其他变体。然后在第11章中提出了几种通用的GNN框架。第12、13和14章介绍了GNN在结构场景,非结构场景和其他场景中的应用。最后,我们在第15章提供了一些开放资源,并在第16章总结了这本书。

成为VIP会员查看完整内容
Introduction to Graph Neural Networks.pdf
0
78

【导读】近年来,随着网络数据量的不断增加,挖掘图形数据已成为计算机科学领域的热门研究课题,在学术界和工业界都得到了广泛的研究。但是,大量的网络数据为有效分析带来了巨大的挑战。因此激发了图表示的出现,该图表示将图映射到低维向量空间中,同时保持原始图结构并支持图推理。图的有效表示的研究具有深远的理论意义和重要的现实意义,本教程将介绍图表示/网络嵌入的一些基本思想以及一些代表性模型。

关于图或网络的文献有两个名称:图表示和网络嵌入。我们注意到图和网络都指的是同一种结构,尽管它们每个都有自己的术语,例如,图和网络的顶点和边。挖掘图/网络的核心依赖于正确表示的图/网络,这使得图/网络上的表示学习成为学术界和工业界的基本研究问题。传统表示法直接基于拓扑图来表示图,通常会导致许多问题,包括稀疏性,高计算复杂性等,从而激发了基于机器学习的方法的出现,这种方法探索了除矢量空间中的拓扑结构外还能够捕获额外信息的潜在表示。因此,对于图来说,“良好”的潜在表示可以更加精确的表示图形。但是,学习网络表示面临以下挑战:高度非线性,结构保持,属性保持,稀疏性。

深度学习在处理非线性方面的成功为我们提供了研究新方向,我们可以利用深度学习来提高图形表示学习的性能,作者在教程中讨论了将深度学习技术与图表示学习相结合的一些最新进展,主要分为两类方法:面向结构的深层方法和面向属性的深层方法。

对于面向结构的方法:

  • 结构性深层网络嵌入(SDNE),专注于保持高阶邻近度。

  • 深度递归网络嵌入(DRNE),其重点是维护全局结构。

  • 深度超网络嵌入(DHNE),其重点是保留超结构。

对于面向属性的方法:

  • 专注于不确定性属性的深度变异网络嵌入(DVNE)。

  • 深度转换的基于高阶Laplacian高斯过程(DepthLGP)的网络嵌入,重点是动态属性。

本教程的第二部分就以上5种方法,通过对各个方法的模型介绍、算法介绍、对比分析等不同方面进行详细介绍。

1、Structural Deep Network Embedding

network embedding,是为网络中的节点学习出一个低维表示的方法。目的在于在低维中保持高度非线性的网络结构特征,但现有方法多采用浅层网络不足以挖掘高度非线性,或同时保留局部和全局结构特征。本文提出一种结构化深度网络嵌入方法,叫SDNE该方法用半监督的深度模型来捕捉高度非线性结构,通过结合一阶相似性(监督)和二阶相似性(非监督)来保留局部和全局特征。

2、 Deep recursive network embedding with regular equivalence

网络嵌入旨在保留嵌入空间中的顶点相似性。现有方法通常通过节点之间的连接或公共邻域来定义相似性,即结构等效性。但是,位于网络不同部分的顶点可能具有相似的角色或位置,即规则的等价关系,在网络嵌入的文献中基本上忽略了这一点。以递归的方式定义规则对等,即两个规则对等的顶点具有也规则对等的网络邻居。因此,文章中提出了一种名为深度递归网络嵌入(DRNE)的新方法来学习具有规则等价关系的网络嵌入。更具体地说,我们提出了一种层归一化LSTM,以递归的方式通过聚合邻居的表示方法来表示每个节点。

3、Structural Deep Embedding for Hyper-Networks

是在hyperedge(超边是不可分解的)的基础上保留object的一阶和二阶相似性,学习异质网络表示。于与HEBE的区别在于,本文考虑了网络high-oeder网络结构和高度稀疏性。

传统的基于clique expansion 和star expansion的方法,显式或者隐式地分解网络。也就说,分解后hyper edge节点地子集,依然可以构成一个新的超边。对于同质网络这个假设是合理地,因为同质网络地超边,大多数情况下都是根据潜在地相似性(共同地标签等)构建的。

4、** Deep variational network embedding in wasserstein space**

大多数现有的嵌入方法将节点作为点向量嵌入到低维连续空间中。这样,边缘的形成是确定性的,并且仅由节点的位置确定。但是,现实世界网络的形成和发展充满不确定性,这使得这些方法不是最优的。为了解决该问题,在本文中提出了一种新颖的在Wasserstein空间中嵌入深度变分网络(DVNE)。所提出的方法学习在Wasserstein空间中的高斯分布作为每个节点的潜在表示,它可以同时保留网络结构并为节点的不确定性建模。具体来说,我们使用2-Wasserstein距离作为分布之间的相似性度量,它可以用线性计算成本很好地保留网络中的传递性。此外,我们的方法通过深度变分模型隐含了均值和方差的数学相关性,可以通过均值矢量很好地捕获节点的位置,而由方差可以很好地捕获节点的不确定性。此外,本文方法通过保留网络中的一阶和二阶邻近性来捕获局部和全局网络结构。

5、Learning embeddings of out-of-sample nodes in dynamic networks

迄今为止的网络嵌入算法主要是为静态网络设计的,在学习之前,所有节点都是已知的。如何为样本外节点(即学习后到达的节点)推断嵌入仍然是一个悬而未决的问题。该问题对现有方法提出了很大的挑战,因为推断的嵌入应保留复杂的网络属性,例如高阶邻近度,与样本内节点嵌入具有相似的特征(即具有同质空间),并且计算成本较低。为了克服这些挑战,本文提出了一种深度转换的高阶拉普拉斯高斯过程(DepthLGP)方法来推断样本外节点的嵌入。DepthLGP结合了非参数概率建模和深度学习的优势。特别是,本文设计了一个高阶Laplacian高斯过程(hLGP)来对网络属性进行编码,从而可以进行快速和可扩展的推理。为了进一步确保同质性,使用深度神经网络来学习从hLGP的潜在状态到节点嵌入的非线性转换。DepthLGP是通用的,因为它适用于任何网络嵌入算法学习到的嵌入。

成为VIP会员查看完整内容
0
139

由于特征工程通常是特定于数据类型且依赖于应用程序的,本书包含专门介绍主要数据类型的特征工程的章节,如文本数据、图像数据、序列数据、时间序列数据、图形数据、流数据、软件工程数据、Twitter 数据和社交媒体数据。这些章节介绍了生成经过反复测试、手工制作的特定于域的功能以及自动通用功能生成方法(如 Word2Vec)的方法。

本书目录:

  1. 预览概述
  2. 文本数据特征工程 
  3. 视觉数据特征提取学习
  4. 基于特征的时序分析
  5. 数据特征流工程
  6. 序列特征生成与特征工程
  7. 图与网络特征生成
  8. 特征选择与评估
  9. 监督学习中的自动特征工程
  10. 基于模式的特征生成
  11. 深度学习特征表示
  12. 用于社交机器人检测的特征工程
  13. 用于软件分析的特征生成与工程
  14. Twitter应用特征工程

本书还包含有关特征选择、基于特征转换的自动方法、使用深度学习方法生成功能以及使用频繁和对比度模式生成特征的章节。有几章是关于在特定应用中使用特征工程的。

本书包含许多有用的特征工程概念和技术,这些概念和技术适用于多种方案:(a) 生成功能以表示没有要素时的数据,(b) 在(人们可能担心)存在时生成有效特征功能不够好/竞争力不够,(c) 在功能过多时选择功能,(d) 为特定类型的应用程序生成和选择有效功能,以及 (e) 了解与相关挑战以及需要处理的方法,各种数据类型。

成为VIP会员查看完整内容
0
52
小贴士
相关论文
Attentive Graph Neural Networks for Few-Shot Learning
Hao Cheng,Joey Tianyi Zhou,Wee Peng Tay,Bihan Wen
16+阅读 · 7月14日
Guanglin Niu,Yongfei Zhang,Bo Li,Peng Cui,Si Liu,Jingyang Li,Xiaowei Zhang
6+阅读 · 2019年12月28日
Efficiently Embedding Dynamic Knowledge Graphs
Tianxing Wu,Arijit Khan,Huan Gao,Cheng Li
5+阅读 · 2019年10月15日
Geometric Graph Convolutional Neural Networks
Przemysław Spurek,Tomasz Danel,Jacek Tabor,Marek Śmieja,Łukasz Struski,Agnieszka Słowik,Łukasz Maziarka
5+阅读 · 2019年9月11日
Lu Liu,Tianyi Zhou,Guodong Long,Jing Jiang,Chengqi Zhang
12+阅读 · 2019年9月11日
Muhan Zhang,Shali Jiang,Zhicheng Cui,Roman Garnett,Yixin Chen
5+阅读 · 2019年5月30日
Embedding Logical Queries on Knowledge Graphs
William L. Hamilton,Payal Bajaj,Marinka Zitnik,Dan Jurafsky,Jure Leskovec
3+阅读 · 2018年9月6日
Yeonwoo Jeong,Hyun Oh Song
4+阅读 · 2018年6月12日
Luke Metz,Niru Maheswaranathan,Brian Cheung,Jascha Sohl-Dickstein
5+阅读 · 2018年5月23日
Yu-Xiong Wang,Ross Girshick,Martial Hebert,Bharath Hariharan
14+阅读 · 2018年4月3日
Top