图神经网络 (GNN) 是一种连接模型,它通过图的节点之间的消息传递来捕捉图的依赖关系。与标准神经网络不同的是,图神经网络保留了一种状态,可以表示来自其邻域的具有任意深度的信息。近年来,图神经网络(GNN)在社交网络、知识图、推荐系统、问答系统甚至生命科学等各个领域得到了越来越广泛的应用。

知识荟萃

图神经网络(Graph Neural Networks, GNN)专知荟萃

入门

综述

  • A Comprehensive Survey on Graph Neural Networks. Zonghan Wu, Shirui Pan, Fengwen Chen, Guodong Long, Chengqi Zhang, Philip S. Yu. 2019
    https://arxiv.org/pdf/190-00596.pdf
  • Relational inductive biases, deep learning, and graph networks. Peter W. Battaglia, Jessica B. Hamrick, Victor Bapst, Alvaro Sanchez-Gonzalez, Vinicius Zambaldi, Mateusz Malinowski, Andrea Tacchetti, David Raposo, Adam Santoro, Ryan Faulkner, Caglar Gulcehre, Francis Song, Andrew Ballard, Justin Gilmer, George Dahl, Ashish Vaswani, Kelsey Allen, Charles Nash, Victoria Langston, Chris Dyer, Nicolas Heess, Daan Wierstra, Pushmeet Kohli, Matt Botvinick, Oriol Vinyals, Yujia Li, Razvan Pascanu. 2018.
    https://arxiv.org/pdf/1806.0126-pdf
  • Attention models in graphs. John Boaz Lee, Ryan A. Rossi, Sungchul Kim, Nesreen K. Ahmed, Eunyee Koh. 2018.
    https://arxiv.org/pdf/1807.07984.pdf
  • Deep learning on graphs: A survey. Ziwei Zhang, Peng Cui and Wenwu Zhu. 2018.
    https://arxiv.org/pdf/1812.04202.pdf
  • Graph Neural Networks: A Review of Methods and Applications. Jie Zhou, Ganqu Cui, Zhengyan Zhang, Cheng Yang, Zhiyuan Liu, Maosong Sun. 2018
    https://arxiv.org/pdf/1812.08434.pdf
  • Geometric deep learning: going beyond euclidean data. Michael M. Bronstein, Joan Bruna, Yann LeCun, Arthur Szlam, Pierre Vandergheynst. 2016.
    https://arxiv.org/pdf/161-08097.pdf

进阶论文

Recurrent Graph Neural Networks

Convolutional Graph Neural Networks

Spectral and Spatial

Architecture

Attention Mechanisms

Convolution

Training Methods

Pooling

Bayesian

Analysis

GAE

Spatial-Temporal Graph Neural Networks

应用

Physics

Knowledge Graph

Recommender Systems

  • STAR-GCN: Stacked and Reconstructed Graph Convolutional Networks for Recommender Systems. Jiani Zhang, Xingjian Shi, Shenglin Zhao, Irwin King. IJCAI 2019.
    https://arxiv.org/pdf/1905.13129.pdf

  • Binarized Collaborative Filtering with Distilling Graph Convolutional Networks. Haoyu Wang, Defu Lian, Yong Ge. IJCAI 2019.
    https://arxiv.org/pdf/1906.01829.pdf

  • Graph Contextualized Self-Attention Network for Session-based Recommendation. Chengfeng Xu, Pengpeng Zhao, Yanchi Liu, Victor S. Sheng, Jiajie Xu, Fuzhen Zhuang, Junhua Fang, Xiaofang Zhou. IJCAI 2019.
    https://www.ijcai.org/proceedings/2019/0547.pdf

  • Session-based Recommendation with Graph Neural Networks. Shu Wu, Yuyuan Tang, Yanqiao Zhu, Liang Wang, Xing Xie, Tieniu Tan. AAAI 2019.
    https://arxiv.org/pdf/181-00855.pdf

  • Geometric Hawkes Processes with Graph Convolutional Recurrent Neural Networks. Jin Shang, Mingxuan Sun. AAAI 2019.
    https://jshang2.github.io/pubs/geo.pdf

  • Knowledge-aware Graph Neural Networks with Label Smoothness Regularization for Recommender Systems. Hongwei Wang, Fuzheng Zhang, Mengdi Zhang, Jure Leskovec, Miao Zhao, Wenjie Li, Zhongyuan Wang. KDD 2019.
    https://arxiv.org/pdf/1905.04413

  • Exact-K Recommendation via Maximal Clique Optimization. Yu Gong, Yu Zhu, Lu Duan, Qingwen Liu, Ziyu Guan, Fei Sun, Wenwu Ou, Kenny Q. Zhu. KDD 2019.
    https://arxiv.org/pdf/1905.07089

  • KGAT: Knowledge Graph Attention Network for Recommendation. Xiang Wang, Xiangnan He, Yixin Cao, Meng Liu, Tat-Seng Chua. KDD 2019.
    https://arxiv.org/pdf/1905.07854

  • Knowledge Graph Convolutional Networks for Recommender Systems. Hongwei Wang, Miao Zhao, Xing Xie, Wenjie Li, Minyi Guo. WWW 2019.
    https://arxiv.org/pdf/1904.12575.pdf

  • Dual Graph Attention Networks for Deep Latent Representation of Multifaceted Social Effects in Recommender Systems. Qitian Wu, Hengrui Zhang, Xiaofeng Gao, Peng He, Paul Weng, Han Gao, Guihai Chen. WWW 2019.
    https://arxiv.org/pdf/1903.10433.pdf

  • Graph Neural Networks for Social Recommendation. Wenqi Fan, Yao Ma, Qing Li, Yuan He, Eric Zhao, Jiliang Tang, Dawei Yin. WWW 2019.
    https://arxiv.org/pdf/1902.07243.pdf

  • Graph Convolutional Neural Networks for Web-Scale Recommender Systems. Rex Ying, Ruining He, Kaifeng Chen, Pong Eksombatchai, William L. Hamilton, Jure Leskovec. KDD 2018.
    https://arxiv.org/abs/1806.01973

  • Geometric Matrix Completion with Recurrent Multi-Graph Neural Networks. Federico Monti, Michael M. Bronstein, Xavier Bresson. NIPS 2017.
    https://arxiv.org/abs/1704.06803

  • Graph Convolutional Matrix Completion. Rianne van den Berg, Thomas N. Kipf, Max Welling. 2017.
    https://arxiv.org/abs/1706.02263

Computer Vision

Natural Language Processing

Others

Tutorial

视频教程

代码

领域专家

VIP内容

深度学习方法在许多人工智能任务中实现了不断提高的性能。深度模型的一个主要限制是它们不具有可解释性。这种限制可以通过开发事后技术来解释预测来规避,从而产生可解释的领域。近年来,深度模型在图像和文本上的可解释性研究取得了显著进展。在图数据领域,图神经网络(GNNs)及其可解释性正经历着快速的发展。然而,对GNN解释方法并没有统一的处理方法,也没有一个标准的评价基准和试验平台。在这个综述中,我们提供了一个统一的分类的视角,目前的GNN解释方法。我们对这一问题的统一和分类处理,阐明了现有方法的共性和差异,并为进一步的方法论发展奠定了基础。为了方便评估,我们为GNN的可解释性生成了一组基准图数据集。我们总结了当前的数据集和评价GNN可解释性的指标。总之,这项工作为GNN的解释提供了一个统一的方法处理和一个标准化的评价测试平台。

引言

深度神经网络的发展彻底改变了机器学习和人工智能领域。深度神经网络在计算机视觉[1]、[2]、自然语言处理[3]、[4]、图数据分析[5]、[6]等领域取得了良好的研究成果。这些事实促使我们开发深度学习方法,用于在跨学科领域的实际应用,如金融、生物学和农业[7]、[8]、[9]。然而,由于大多数深度模型是在没有可解释性的情况下开发的,所以它们被视为黑盒。如果没有对预测背后的底层机制进行推理,深度模型就无法得到完全信任,这就阻止了它们在与公平性、隐私性和安全性有关的关键应用中使用。为了安全可靠地部署深度模型,有必要提供准确的预测和人类可理解的解释,特别是为跨学科领域的用户。这些事实要求发展解释技术来解释深度神经网络。

深度模型的解释技术通常研究深度模型预测背后的潜在关系机制。一些方法被提出来解释图像和文本数据的深度模型。这些方法可以提供与输入相关的解释,例如研究输入特征的重要分数,或对深度模型的一般行为有较高的理解。例如,通过研究梯度或权重[10],[11],[18],我们可以分析输入特征和预测之间的灵敏度。现有的方法[12],[13],[19]映射隐藏特征图到输入空间和突出重要的输入特征。此外,通过遮挡不同的输入特征,我们可以观察和监测预测的变化,以识别重要的特征[14],[15]。与此同时,一些[10]、[16]研究侧重于提供独立于输入的解释,例如研究能够最大化某类预测得分的输入模式。进一步探究隐藏神经元的含义,理解[17]、[22]的整个预测过程。近年来对[23]、[24]、[25]、[26]等方法进行了较为系统的评价和分类。然而,这些研究只关注图像和文本域的解释方法,忽略了深度图模型的可解释性。

近年来,图神经网络(Graph Neural network, GNN)越来越受欢迎,因为许多真实世界的数据都以图形的形式表示,如社交网络、化学分子和金融数据。其中,节点分类[27]、[28]、[29]、图分类[6]、[30]、链路预测[31]、[32]、[33]等与图相关的任务得到了广泛的研究。此外,许多高级的GNN操作被提出来提高性能,包括图卷积[5],[34],[35],图注意力[36],[37],图池化[38],[39],[40]。然而,与图像和文本领域相比,图模型的可解释性研究较少,这是理解深度图神经网络的关键。近年来,人们提出了几种解释GNN预测的方法,如XGNN[41]、GNNExplainer [42]、PGExplainer[43]等。这些方法是从不同的角度发展起来的,提供了不同层次的解释。此外,它仍然缺乏标准的数据集和度量来评估解释结果。因此,需要对GNN解释技术的方法和评价进行系统的综述。

为此,本研究提供了对不同GNN解释技术的系统研究。我们的目的是提供对不同方法的直观理解和高层次的洞察,让研究者选择合适的探索方向。这项工作的贡献总结如下:

本综述提供了对深度图模型的现有解释技术的系统和全面的回顾。据我们所知,这是第一次也是唯一一次关于这一主题的综述工作。

我们对现有的GNN解释技术提出了一个新的分类方法。我们总结了每个类别的关键思想,并提供了深刻的分析。

我们详细介绍了每种GNN解释方法,包括其方法论、优缺点以及与其他方法的区别。

我们总结了常用的GNN解释任务的数据集和评估指标。我们讨论了它们的局限性,并推荐了几个令人信服的度量标准。

通过将句子转换为图表,我们从文本领域构建了三个人类可理解的数据集。这些数据集不久将向公众开放,并可直接用于GNN解释任务。

GNN解释性分类法

近年来,人们提出了几种解释深图模型预测的方法。这些方法关注于图模型的不同方面,并提供不同的视图来理解这些模型。他们通常会回答几个问题;其中一些是,哪个输入边更重要?哪个输入节点更重要?哪个节点特性更重要?什么样的图形模式将最大化某个类的预测?为了更好地理解这些方法,我们为GNN提供了不同解释技术的分类。我们分类法的结构如图1所示。根据提供的解释类型,不同的技术分为两大类:实例级方法和模型级方法。

首先,实例级方法为每个输入图提供依赖于输入的解释。给出一个输入图,这些方法通过识别用于预测的重要输入特征来解释深度模型。根据获得的重要度分数,我们将方法分为4个不同的分支:基于梯度/特征的方法[53]1,[50],基于微扰的方法[42],[53]0,[53]3,[52],[53],分解方法[53]2,[50],[54],[55],以及代理方法[56],[57],[58]。具体来说,基于梯度/特征的方法使用梯度或特征值来表示不同输入特征的重要性。此外,基于扰动的方法监测预测的变化与不同的输入扰动,以研究输入的重要性得分。分解方法首先将预测得分(如预测概率)分解到最后一隐藏层的神经元中。然后逐层反向传播这些分数,直到输入空间,并使用这些分解后的分数作为重要分数。与此同时,对于给定的输入示例,基于代理的方法首先从给定示例的邻居中采样数据集。接下来,这些方法拟合一个简单的和可解释的模型,如决策树,以采样数据集。然后使用代理模型的解释来解释最初的预测。第二,模型级方法不考虑任何特定的输入实例来解释图神经网络。独立于输入的解释是高层次的,解释一般行为。与instance level方法相比,这个方向的研究仍然较少。现有的模型级方法只有基于图生成的XGNN[41]。它生成图形模式来最大化某个类的预测概率,并使用这些图形模式来解释该类。

总之,这两类方法从不同的角度解释了深度图模型。实例级方法提供了特定于示例的解释,而模型级方法提供了高层次的见解和对深度图模型如何工作的一般理解。要验证和信任深度图模型,需要人工监督检查解释。对于实例级方法,需要更多的人工监督,因为专家需要探索不同输入图的解释。对于模型级方法,由于解释是高层次的,因此涉及的人力监督较少。此外,实例级方法的解释基于真实的输入实例,因此它们很容易理解。然而,对模型级方法的解释可能不是人类能够理解的,因为获得的图形模式甚至可能不存在于现实世界中。总之,这两种方法可以结合起来更好地理解深度图模型,因此有必要对两者进行研究。

成为VIP会员查看完整内容
0
13

最新论文

Graph classification is a critical research problem in many applications from different domains. In order to learn a graph classification model, the most widely used supervision component is an output layer together with classification loss (e.g.,cross-entropy loss together with softmax or margin loss). In fact, the discriminative information among instances are more fine-grained, which can benefit graph classification tasks. In this paper, we propose the novel Label Contrastive Coding based Graph Neural Network (LCGNN) to utilize label information more effectively and comprehensively. LCGNN still uses the classification loss to ensure the discriminability of classes. Meanwhile, LCGNN leverages the proposed Label Contrastive Loss derived from self-supervised learning to encourage instance-level intra-class compactness and inter-class separability. To power the contrastive learning, LCGNN introduces a dynamic label memory bank and a momentum updated encoder. Our extensive evaluations with eight benchmark graph datasets demonstrate that LCGNN can outperform state-of-the-art graph classification models. Experimental results also verify that LCGNN can achieve competitive performance with less training data because LCGNN exploits label information comprehensively.

0
0
下载
预览
Top