近年来,图表示学习的研究激增,包括深度图嵌入(deep graph embeddings)技术、卷积神经网络对图结构数据的泛化以及受置信传播启发的神经信息传递方法。与此同时,图表示学习的这些进步促成了许多领域的最新成果,包括化学合成、3D 视觉、推荐系统、问题解答和社交网络分析等。

加拿大麦吉尔大学计算机科学助理教授 William Hamilton 的新书《图表示学习》(Graph Representation Learning)。

据 William 介绍,这本书全面概述了图神经网络、节点嵌入、图卷积、图的深度生成模型以及相关的历史背景和传统方法。

有网友在阅读前两章内容后认为,书中的解释非常清晰和直观,值得与同事分享!

另有网友表示,这本书特别适用于图学习初学者。

章节介绍

该书首先讨论了图表示学习的目标以及图理论和网络分析的主要方法论基础。之后,作者介绍并回顾了学习节点嵌入的方法,包括基于随机游走(random-walk)的方法和知识图谱的应用。

接下来,作者对图神经网络形式(formalism)进行了综合介绍,该形式已经成为使用图数据进行深度学习的主要且快速增长的模型范式。

最后,书中总结了深度生成模型的最新进展,这些模型虽然提出的时间不久,但在图表示学习领域发展迅速。

引言

本章首先介绍了图这种数据结构,然后介绍了基于图的机器学习。

背景和传统方法

本章提供了一些方法论背景,介绍了在现代深度学习方法问世以前,基于图的机器学习使用了哪些方法。作者首先介绍了基本的图统计、核心方法以及它们在节点和图分类任务中的使用。然后作者在书中介绍并探讨了用于测量节点邻域之间重叠的方法,最后简要介绍了使用拉普拉斯(Laplacians)进行谱聚类。

节点嵌入

本书第一部分主要介绍了节点嵌入的内容。

  • 第三章:邻域重建方法

在本章中,作者概述了简单图和加权图的节点嵌入方法。

  • 第四章:多关系数据和知识图谱

在本章中,作者介绍了用于多关系图的类比嵌入方法,同时还简要介绍了知识图谱的相关内容。

图神经网络

本书第一部分探讨了学习图中节点的低维嵌入的方法,第二部分则重点介绍了更加复杂的编码器模型。

  • 第五章:图神经网络模型

在本章中,作者看到开发用于图结构数据的复杂编码器的主要挑战在于,通常的深度学习工具并不适用。图神经网络(GNN)作为在图数据上定义深度神经网络的通用框架,作者对其基本内容展开了详细介绍。

  • 第六章:实践中的图神经网络

本章将探索 GNN 在实践中的应用。具体而言,作者将讨论 GNN 的一些典型应用以及实践中通常如何实现 GNN 的优化,其中重点探讨了特别有效的无监督预训练方法。此外,作者还将介绍一些用以正则化和提升 GNN 效率的常用技术。

  • 第七章:理论依据

本章讲述了图神经网络的一些理论依据,旨在向读者介绍不同理论依据背后的核心思想,这样感兴趣的读者就可以自由地探索和结合他们认为合适的直觉知识和动机。

生成图模型

本书第三部分主要介绍了生成图模型的相关内容。

  • 第八章:传统图生成方法

本章首先讨论图生成的传统方法,并且这些传统方法早于大多数图表示学习研究,甚至是通常的机器学习研究。此外,本章讨论的方法为之后出现的基于深度学习的方法奠定了基础。

  • 第九章:深度生成模型

本章介绍了一系列基础的图的深度生成模型,这些模型在创建通用深度生成模型过程中通常采用三种最流行的方法,分别为变分自编码器(VAE)、生成对抗网络(GAN)和自回归模型。作者将重点介绍这些深度生成模型的简单和通用变体,提供了详细的细节解读以及必要的参考文献。

作者介绍

William Hamilton 于 2018 年取得斯坦福大学计算机科学博士学位,现为加拿大麦吉尔大学计算机科学助理教授,同时还担任加拿大高等研究院(CIFAR)人工智能主席以及 Mila 魁北克 AI 研究所(Mila AI Institute of Quebec)成员。 William 在学生时代取得了诸多荣誉,他曾先后荣获 2013 年度 ACM 本科生研究者荣誉提名、2014 年度加拿大 AI 协会(CAIAC)最佳 AI 主题硕士论文奖,以及 2018 年度斯坦福大学 Arthur Samuel 最佳计算机科学博士论文奖。

他的研究兴趣主要是机器学习、网络科学和自然语言处理的结合应用,目前专注于图表示学习领域的快速发展项目。目前他在 Google Scholar 上的论文总引用量在 5000 以上。

成为VIP会员查看完整内容
86

相关内容

图表示学习是2018年火爆全球的一个深度学习方向,从以 Line, meta-path 等为首的节点表示学习,到以 GCN,GraphSAGE,为首的图卷积方法,在到近期的以 GraphVAE 为首的生成图模型,图表示学习方向的文章如过江之鲫。
【干货书】图神经网络导论,清华大学刘知远老师著作
专知会员服务
104+阅读 · 2022年5月31日
《图表示学习》报告,McGill助理教授Hamilton讲授,79页ppt
【新书】图神经网络导论,清华大学刘知远老师著作
专知会员服务
356+阅读 · 2020年6月12日
中文书籍 | 图神经网络导论,清华刘知远出品
图与推荐
1+阅读 · 2022年6月1日
清华大学孙茂松组:图神经网络必读论文列表
机器之心
45+阅读 · 2018年12月27日
【WWW2018】网络表示学习Tutorial(附下载)
专知
11+阅读 · 2018年4月25日
网络表示学习领域(NRL/NE)必读论文汇总
AI科技评论
15+阅读 · 2018年2月18日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
4+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
3+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
23+阅读 · 2018年10月1日
Arxiv
19+阅读 · 2018年6月27日
Arxiv
11+阅读 · 2018年1月28日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
4+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
3+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
微信扫码咨询专知VIP会员