清华大学图神经网络综述:模型与应用

2018 年 12 月 26 日 机器之心
清华大学图神经网络综述:模型与应用

机器之心专栏

作者: PaperWeekly


近年来,图神经网络的研究成为深度学习领域的热点,机器之心曾介绍过清华大学朱文武等人综述的图网络。近日,清华大学孙茂松组在 arXiv 上发布预印版综述文章 Graph Neural Networks: A Review of Methods and Applications。



该文总结了近年来图神经网络领域的经典模型与典型应用,并提出了四个开放性问题。对于希望快速了解这一领域的读者,不妨先从这篇文章看起。 


除了这篇综述外,文章作者在 Github 中更新了该领域的参考文章列表(https://github.com/thunlp/GNNPapers),供各位读者参考查看。


引言


图是一种数据结构,它对一组对象(节点)及其关系(边)进行建模。近年来,由于图结构的强大表现力,用机器学习方法分析图的研究越来越受到重视。图神经网络(GNN)是一类基于深度学习的处理图域信息的方法。由于其较好的性能和可解释性,GNN 最近已成为一种广泛应用的图分析方法。


GNN 的第一个动机源于卷积神经网络(CNN)。CNN 的广泛应用带来了机器学习领域的突破并开启了深度学习的新时代。然而 CNN 只能在规则的 Euclidean 数据上运行,如图像(2 维网格)和文本(1 维序列)。如何将 CNN 应用于图结构这一非欧几里德空间,成为 GNN 模型重点解决的问题。


 图1. 左:图像(欧几里得空间) 右:图(非欧几里德空间)


GNN 的另一个动机来自图嵌入(Graph Embedding),它学习图中节点、边或子图的低维向量空间表示。DeepWalk、LINE、SDNE 等方法在网络表示学习领域取得了很大的成功。然而,这些方法在计算上较为复杂并且在大规模上的图上并不是最优的,GNN 旨在解决这些问题。


这篇文章对图神经网络进行了广泛的总结,并做出了以下贡献: 


  • 文章详细介绍了图神经网络的经典模型。主要包括其原始模型,不同的变体和几个通用框架。


  • 文章将图神经网络的应用系统地归类为结构化场景、非结构化场景和其他场景中,并介绍了不同场景中的主要应用。


  • 本文为未来的研究提出四个未解决的问题。文章对每个问题进行了详细分析,并提出未来的研究方向。


模型


在模型这一部分中,文章首先介绍了最经典的图神经网络模型 GNN,具体阐述了 GNN 的模型与计算方式,然而 GNN 模型仍然存在一定的限制,比如较高的计算复杂度以及表示能力不足等等。


后续的很多工作致力于解决 GNN 存在的种种问题,在 2.2 一节中文章详细介绍了 GNN 的不同变体。具体来说,文章分别介绍了适应于不同图类型、采用不同的信息传递方式以及采用了不同的训练方法的变体。


 图2. 不同的GNN变体


在 2.2.1 节中,文章介绍了处理不同图类型的 GNN 变体,包括有向图、异质图和具有边信息的图。在 2.2.2 节中,文章对于采用不同信息传递方式的变体进行了总结与概括。主要分为以下四个类别:


卷积。Graph Convolutional Network(GCN)希望将卷积操作应用在图结构数据上,主要分为Spectral Method和Spatial Method(Non-spectral Method)两类。Spectral Method希望使用谱分解的方法,应用图的拉普拉斯矩阵分解进行节点的信息收集。Spatial Method直接使用图的拓扑结构,根据图的邻居信息进行信息收集。


注意力机制。Graph Attention Network 致力于将注意力机制应用在图中的信息收集阶段。


门机制。这些变体将门机制应用于节点更新阶段。Gated graph neural network 将 GRU 机制应用于节点更新。很多工作致力于将 LSTM 应用于不同类型的图上,根据具体情境的不同,可以分为 Tree LSTM、Graph LSTM 和 Sentence LSTM 等。


残差连接。注意到堆叠多层图神经网络可能引起信息平滑的问题,很多工作将残差机制应用于图神经网络中,文中介绍了 Highway GNN 和 Jump Knowledge Network 两种不同的处理方式。


文章还对于不同的信息传递方式进行了公式化总结。简单来说,信息传递函数主要包括信息收集(agggregation)和节点信息更新(update)两个部分,在表格中列出了每种方法的不同配置。


 表1. 采用不同消息传递函数的GNN变体总结


在 2.2.3 节中,文章介绍了 GNN 的不同训练方法。譬如 GraphSAGE 从附近的邻居收集信息,并且能够应用于 inductive learning 领域;FastGCN 使用了 importance sampling 的方法,使用采样替代使用节点所有的邻居信息,加快了训练过程。 


在 2.3 节中,文章介绍了近年来文献中提出的图神经网络通用框架 MPNN(Message Passing Neural Network)、NLNN(Non-local Neural Network)以及 Deepmind 的 GN(Graph Network)。


MPNN 将模型总结为信息传递阶段和节点更新阶段,概括了多种图神经网络和图卷积神经网络方法。NLNN 总结了很多种基于自注意力机制的方法。GN 提出了更加通用的模型,能够总结概括几乎所有文中提到的框架,并且拥有更加灵活的表示能力、易于配置的块内结构以及易于组合的多模块架构。


 图3. GN Block组合成复杂网络结构


应用


GNN 被应用在众多的领域,文章具体将应用分为了结构化场景、非结构化场景以及其他三个类别。


在结构化场景中,GNN 被广泛应用在社交网络、推荐系统、物理系统、化学分子预测、知识图谱等领域。文章中主要介绍了其在物理、化学、生物和知识图谱中的部分应用。在非结构领域,文章主要介绍了在图像和文本中的应用。在其他领域,文章介绍了图生成模型以及使用 GNN 来解决组合优化问题的场景。


 图4. GNN的应用示例


 表2. 文章介绍的应用总结


开放问题


文章最后提出了图神经网络领域的四个开放问题:


1. 浅层结构。经验上使用更多参数的神经网络能够得到更好的实验效果,然而堆叠多层的 GNN 却会产生 over-smoothing 的问题。具体来说,堆叠层数越多,节点考虑的邻居个数也会越多,导致最终所有节点的表示会趋向于一致。


2. 动态图。目前大部分方法关注于在静态图上的处理,对于如何处理节点信息和边信息随着时间步动态变化的图仍是一个开放问题。


3. 非结构化场景。虽然很多工作应用于非结构化的场景(比如文本),然而并没有通用的方法用于处理非结构化的数据。


4. 扩展性。虽然已经有一些方法尝试解决这个问题,将图神经网络的方法应用于大规模数据上仍然是一个开放性问题。



本文为机器之心专栏,转载请联系本公众号获得授权

✄------------------------------------------------

加入机器之心(全职记者 / 实习生):hr@jiqizhixin.com

投稿或寻求报道:content@jiqizhixin.com

广告 & 商务合作:bd@jiqizhixin.com

登录查看更多
43

相关内容

图神经网络 (GNN) 是一种连接模型,它通过图的节点之间的消息传递来捕捉图的依赖关系。与标准神经网络不同的是,图神经网络保留了一种状态,可以表示来自其邻域的具有任意深度的信息。近年来,图神经网络(GNN)在社交网络、知识图、推荐系统、问答系统甚至生命科学等各个领域得到了越来越广泛的应用。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

题目: Graph Neural Networks:A Review of Methods and Applications

简介: 许多学习任务需要处理图形数据,该图形数据包含元素之间的关系信息。对物理系统进行建模,学习分子指纹,预测蛋白质界面以及对疾病进行分类,都需要从图输入中学习模型。在诸如从文本和图像之类的非结构数据中学习的其他领域中,对提取结构的推理,例如句子的依存关系树和图像的场景图,是一个重要的研究课题,它也需要图推理模型。图神经网络(GNN)是连接器模型,可通过在图的节点之间传递消息来捕获图的依赖性。与标准神经网络不同,图神经网络保留一种状态,该状态可以表示来自其邻域的任意深度的信息。尽管已经发现难以训练原始图神经网络来固定点,但是网络体系结构,优化技术和并行计算的最新进展已使他们能够成功学习。近年来,基于图卷积网络(GCN)和门控图神经网络(GGNN)的系统已经在上述许多任务上展示了突破性的性能。在本综述中,我们对现有的图神经网络模型进行了详细的回顾,对应用程序进行了系统分类,并提出了四个未解决的问题,供以后研究。

作者简介: 周杰,教授,清华大学自动化系党委书记,教授,博士生导师。

成为VIP会员查看完整内容
0
284
小贴士
相关资讯
相关VIP内容
【新书】图神经网络导论,清华大学刘知远老师著作
专知会员服务
219+阅读 · 2020年6月12日
【图神经网络(GNN)结构化数据分析】
专知会员服务
83+阅读 · 2020年3月22日
专知会员服务
97+阅读 · 2020年3月10日
注意力机制模型最新综述
专知会员服务
138+阅读 · 2019年10月20日
深度学习自然语言处理综述,266篇参考文献
专知会员服务
118+阅读 · 2019年10月12日
相关论文
Optimization for deep learning: theory and algorithms
Ruoyu Sun
75+阅读 · 2019年12月19日
Hyper-SAGNN: a self-attention based graph neural network for hypergraphs
Ruochi Zhang,Yuesong Zou,Jian Ma
10+阅读 · 2019年11月6日
Tutorial on NLP-Inspired Network Embedding
Boaz Shmueli
5+阅读 · 2019年10月16日
Zi-Yi Dou,Keyi Yu,Antonios Anastasopoulos
5+阅读 · 2019年8月27日
Kamran Kowsari,Kiana Jafari Meimandi,Mojtaba Heidarysafa,Sanjana Mendu,Laura E. Barnes,Donald E. Brown
9+阅读 · 2019年6月25日
A Comprehensive Survey on Graph Neural Networks
Zonghan Wu,Shirui Pan,Fengwen Chen,Guodong Long,Chengqi Zhang,Philip S. Yu
8+阅读 · 2019年3月10日
Joaquin Vanschoren
105+阅读 · 2018年10月8日
Ryan A. Rossi,Nesreen K. Ahmed,Eunyee Koh
10+阅读 · 2018年1月28日
Yike Liu,Abhilash Dighe,Tara Safavi,Danai Koutra
3+阅读 · 2017年4月12日
Kevin Taylor-Sakyi
3+阅读 · 2016年1月15日
Top