GNN_Review

GNN综述阅读报告,报告涵盖有多篇GNN方面的论文,以及一个按照论文《The Graph Neural Network Model 》使用pytorch编写的模型例子,该模型在人工数据上进行运行和验证。项目仓的结构树为

|-/GNN_Review.md         # GNN综述Markdown文档
|-/GNN_Review1.1.pdf     # GNN综述PDF版文档
|-/README.md             # README文档
|-/GNN示例代码/           # 示例代码文档
  |-images/              # 示例图像
  |-GNN实例.ipynb         # .ipynb文件(可直接使用jupyter运行)
  |-node_dict.json       # 中间的字典文件
|-/pic/                  # GNN综述相关图片
|-/PyG和Pytorch实现GNN模型 # PyG和Pytorch的GNN模型实现文档和代码
  |-cora/                # cora数据集
  |-pic/                 # 文档图片
  |-data/                # 数据集文件夹
  |-Cora数据集.md         # Cora数据集介绍文档
  |-GNN_Implement_with_Pytorch.ipynb  # 使用Pytorch实现GCN和Linear GNN示例
  |-GNN_Implemet_with_PyG.ipynb   # 使用PyG实现GCN示例
  |-GNN与子图匹配.ipynb    # GNN的子图匹配示例
  |-GNN的Batch示例.ipynb  # GNN训练的Batch实现示例
  |-PyG.md               # PyG框架阅读报告
  • GNN_Review报告的结构如下

成为VIP会员查看完整内容
1
65

相关内容

图神经网络教程 Graph Convolutional Networks Graph Sampling Methods Application and PyTorch Implementation

成为VIP会员查看完整内容
0
41

近年来, 随着海量数据的涌现, 可以表示对象之间复杂关系的图结构数据越来越受到重视并给已有的算法带来了极大的挑战. 图神经网络作为可以揭示深层拓扑信息的模型, 已开始广泛应用于诸多领域,如通信、生命科学和经济金融等. 本文对近几年来提出的图神经网络模型和应用进行综述, 主要分为以下几类:基于空间方法的图神经网络模型、基于谱方法的图神经网络模型和基于生成方法的图神经网络模型等,并提出可供未来进一步研究的问题.

http://engine.scichina.com/publisher/scp/journal/SSM/50/3/10.1360/N012019-00133?slug=fulltext

图是对对象及其相互关系的一种简洁抽象的直观数学表达. 具有相互关系的数据—图结构数据在众多领域普遍存在, 并得到广泛应用. 随着大量数据的涌现, 传统的图算法在解决一些深层次的重要问题, 如节点分类和链路预测等方面有很大的局限性. 图神经网络模型考虑了输入数据的规模、异质性和深层拓扑信息等, 在挖掘深层次有效拓扑信息、 提取数据的关键复杂特征和 实现对海量数据的快速处理等方面, 例如, 预测化学分子的特性 [1]、文本的关系提取 [2,3]、图形图像的结构推理 [4,5]、社交网络的链路预测和节点聚类 [6]、缺失信息的网络补全 [7]和药物的相互作用预测 [8], 显示了令人信服的可靠性能.

图神经网络的概念最早于 2005 年由 Gori 等 [9]提出, 他借鉴神经网络领域的研究成果, 设计了一种用于处理图结构数据的模型. 2009 年, Scarselli 等 [10]对此模型进行了详细阐述. 此后, 陆续有关于图神经网络的新模型及应用研究被提出. 近年来, 随着对图结构数据研究兴趣的不断增加, 图神经网络研究论文数量呈现出快速上涨的趋势, 图神经网络的研究方向和应用领域都得到了很大的拓展.

目前已有一些文献对图神经网络进行了综述. 文献 [11]对图结构数据和流形数据领域的深度学习方法进行了综述, 侧重于将所述各种方法置于一个称为几何深度学习的统一框架之内; 文献[12]将图神经网络方法分为三类: 半监督学习、无监督学习和最新进展, 并根据发展历史对各种方法进行介绍、分析和对比; 文献[13]介绍了图神经网络原始模型、变体和一般框架, 并将图神经网络的应用划分为结构场景、非结构场景和其他场景; 文献[14]提出了一种新的图神经网络分类方法, 重点介绍了图卷积网络, 并总结了图神经网络方法在不同学习任务中的开源代码和基准.

本文将对图神经网络模型的理论及应用进行综述, 并讨论未来的方向和挑战性问题. 与其他综述文献的不同之处在于, 我们给出新的分类标准, 并且介绍图神经网络丰富的应用成果. 本文具体结构如下: 首先介绍三类主要的图神经网络模型, 分别是基于空间方法的图神经网络、基于谱方法的图神经网络和基于生成方法的图神经网络等; 然后介绍模型在节点分类、链路预测和图生成等方面的应用; 最后提出未来的研究方向.

成为VIP会员查看完整内容
图神经网络.pdf
0
46

【导读】CIKM 2019 (International Conference on Information and Knowledge Management),今年会议主题是 "AI for Future Life"。CIKM是数据库、数据挖掘与内容检索领域的旗舰会议。CIKM 2019共计收到1030篇长文有效投稿,其中200篇论文被大会录用,总录用率约19.4%。图神经网络(GNN)相关的论文依然很火爆,小编在官网上查看了,CIKM专门有专题,大约10篇长文接受为GNN专题论文。为此,专知小编提前为大家筛选了六篇GNN 长文论文供参考和学习!

  1. Fi-GNN: Modeling Feature Interactions via Graph Neural Networks for CTR Prediction

作者:Zekun Li,Zeyu Cui,Shu Wu,Xiaoyu Zhang,Liang Wang;

摘要:点击率(CTR)预测是在线广告和推荐系统等网络应用中的一项重要任务,其特点是多领域的。该任务的关键是对不同特征field之间的特征交互进行建模。最近提出的基于深度学习的模型遵循了一种通用的范式:首先将原始的稀疏输入multi-filed特征映射到密集的field嵌入向量中,然后简单地将其连接到深度神经网络(DNN)或其他专门设计的网络中,以学习高阶特征交互。然而,特征field的简单非结构化组合将不可避免地限制以足够灵活和显式的方式建模不同field之间复杂交互的能力。 在这项工作中,我们提出在一个图结构中直观地表示multi-field的特征,其中每个节点对应一个特征field,不同的field可以通过边进行交互。因此,建模特征交互的任务可以转换为对相应图上的节点交互进行建模。为此,我们设计了一个新的模型-Feature Interaction Graph Neural Networks (Fi-GNN)。利用图的强表征性,我们的模型不仅可以灵活、明确地对复杂的特征交互进行建模,而且可以为CTR预测提供良好的模型解释。在两个真实数据集上的实验结果显示了它的优越性。

网址: https://www.zhuanzhi.ai/paper/4d6897c6a057a33539d3e6758c223a9c

2、Graph Convolutional Networks with Motif-based Attention

作者:John Boaz Lee,Ryan A. Rossi,Xiangnan Kong,Sungchul Kim,Eunyee Koh,Anup Rao;

摘要:深度卷积神经网络在计算机视觉和语音识别领域的成功,使得研究人员开始研究该体系结构对图结构数据的泛化。最近提出的一种称为图卷积网络的方法能够在节点分类方面取得最新的成果。然而,由于所提出的方法依赖于spectral图卷积的局部一阶近似,因此无法捕获图中节点间的高阶相互作用。在这项工作中,我们提出了一个motif-based的图注意力模型,称为Motif Convolutional Networks,它通过使用加权多跳motif邻接矩阵来捕获高阶邻域,从而泛华了过去的方法。一个新的注意力机制被用来允许每个单独的节点选择最相关的邻居来应用它的过滤器。我们在不同领域(社会网络和生物信息学)的图上评估了我们的方法,结果表明它能够在半监督节点分类任务上胜过一组有竞争力的基准方法。其他结果证明了attention的有用性,表明不同的节点对不同的高阶邻域进行了优先排序。

网址: https://www.zhuanzhi.ai/paper/ecff4bfc2cc3a0a44307556c0cee2443

  1. Gravity-Inspired Graph Autoencoders for Directed Link Prediction

作者:Guillaume Salha,Stratis Limnios,Romain Hennequin,Viet Anh Tran,Michalis Vazirgian;

摘要:图自编码器(AE)和变分自编码器(VAE)是近年来出现的强有力的节点嵌入方法。特别是利用图AE和VAE成功地解决了具有挑战性的链路预测问题,目的是找出图上的一些节点对是否被未观察到的边所连接。然而,这些模型侧重于无向图,因此忽略了链接的潜在方向,这限制了许多实际应用程序。在本文中,我们扩展了graph AE和VAE框架来解决有向图中的链路预测问题。我们提出了一种新的gravity-inspired的解码器方案,可以有效地从节点嵌入中重建有向图。我们对标准graph AE和VAE表现较差的三种不同定向链路预测任务进行了实证评价。我们在三个真实世界的图上获得了具有竞争力的结果,超过了几个流行的baseline。

网址: https://www.zhuanzhi.ai/paper/7ac17bf2659eff0cfb0458ded56dcbb4

4、Hashing Graph Convolution for Node Classification

作者:Wenting Zhao, Zhen Cui, Chunyan Xu, Chengzheng Li, Tong Zhang,Jian Yang;

摘要:图数据卷积在non-gridded数据中的应用引起了人们的极大兴趣。为了克服相邻节点的排序和数量的影响,在以往的研究中,往往对局部接受域进行summing/average diffusion/aggregation。然而,这种压缩成一个节点的方法容易造成节点间的signal entanglement,导致次优特征信息,降低了节点的可分辨性。针对这一问题,本文提出了一种简单而有效的哈希图卷积(HGC)方法,该方法通过在节点聚合中使用全局哈希和局部投影来进行节点分类。与传统的完全collision聚合相比,hash-projection可以大大降低相邻节点聚合时的collision概率。我们认为基于hash-projection的方法可以更好地保持甚至增加局部区域的原始差异,并得到进一步的改进。hash-projection的另一个附带效果是将每个节点的接受域归一化为一个共同大小的bucket空间,不仅避免了大小不同的邻居节点及其顺序的麻烦,而且使图卷积运行起来就像标准的shape-girded卷积一样。考虑到训练样本较小,我们在HGC中引入预测一致性正则化项来约束图中未标记节点的得分一致性。HGC在transductive和inductive实验环境下进行评估。在节点分类任务上的大量实验表明,hash-projection确实可以提高性能,我们的HGC在所有实验数据集上都取得了最新最好的结果。

网址: https://easychair.org/publications/preprint/lhT3

5、Learning to Identify High Betweenness Centrality Nodes from Scratch: A Novel Graph Neural Network Approach

作者:Changjun Fan,Li Zeng,Yuhui Ding,Muhao Chen,Yizhou Sun,Zhong Liu;

摘要: Betweenness centrality (BC)是网络分析中广泛使用的一种中心性度量,它试图通过最短路径的比例来描述网络中节点的重要性。它是许多有价值的应用的关键,包括社区检测和网络拆除。由于时间复杂度高,在大型网络上计算BC分数在计算上具有挑战性。许多基于采样的近似算法被提出以加速BC的估计。然而,这些方法在大规模网络上仍然需要相当长的运行时间,并且它们的结果对网络的微小扰动都很敏感。 在这篇论文中,我们主要研究如何有效识别图中BC最高的top k节点,这是许多网络应用程序所必须完成的任务。与以往的启发式方法不同,我们将该问题转化为一个学习问题,并设计了一个基于encoder-decoder的框架作为解决方案。具体来说,encoder利用网络结构将每个节点表示为一个嵌入向量,该嵌入向量捕获节点的重要结构信息。decoder将每个嵌入向量转换成一个标量,该标量根据节点的BC来标识节点的相对rank。我们使用pairwise ranking损失来训练模型,以识别节点的BC顺序。通过对小规模网络的训练,该模型能够为较大网络的节点分配相对BC分数,从而识别出高排名的节点。在合成网络和真实世界网络上的实验表明,与现有的baseline相比,我们的模型在没有显著牺牲准确性的情况下大大加快了预测速度,甚至在几个大型真实世界网络的准确性方面超过了最先进的水平。

网址: https://www.zhuanzhi.ai/paper/7bde1414600ac4f4c33493994e3f80fc

6、Relation-Aware Graph Convolutional Networks for Agent-Initiated Social E-Commerce Recommendation

作者:Fengli Xu,Jianxun Lian,Zhenyu Han,Yong Li,Yujian Xu,Xing Xie;

摘要:近年来,agent-initiated社交电子商务模式取得了巨大的成功,这种模式鼓励用户成为销售代理商,通过他们的社交关系来推广商品。这种类型的社交电子商务中的复杂交互可以表述为异构信息网络(HIN),其中三种节点之间的关系有多种类型,分别为用户、销售代理和商品。学习高质量的节点嵌入是研究的重点,图卷积网络(GCNs)是近年来发展起来的最先进的表示学习方法。然而,现有的GCN模型在建模异构关系和有效地从大量邻域中采样相关接收域方面都存在基本的局限性。为了解决这些问题,我们提出了RecoGCN(a RElation-aware CO-attentive GCN model)来有效地聚合HIN中的异构特征。它弥补了目前GCN在使用关系感知聚合器建模异构关系方面的局限性,并利用语义感知元路径为每个节点开辟简洁和相关的接受域。为了有效地融合从不同元路径中学习到的嵌入,我们进一步提出了一种co-attentive机制,通过关注用户、销售代理和商品之间的三种交互来动态地为不同的元路径分配重要性权重。在真实数据集上的大量实验表明,RecoGCN能够学习HIN中有意义的节点嵌入,并且在推荐任务中始终优于baseline方法。

网址: https://www.zhuanzhi.ai/vip/4e1f4ba54086e64b3cb8e47b0c7f9ca3

成为VIP会员查看完整内容
0
21
小贴士
相关主题
相关VIP内容
相关论文
AdarGCN: Adaptive Aggregation GCN for Few-Shot Learning
Jianhong Zhang,Manli Zhang,Zhiwu Lu,Tao Xiang,Jirong Wen
32+阅读 · 2月28日
Zekun Li,Zeyu Cui,Shu Wu,Xiaoyu Zhang,Liang Wang
5+阅读 · 2019年10月12日
Signed Graph Attention Networks
Junjie Huang,Huawei Shen,Liang Hou,Xueqi Cheng
3+阅读 · 2019年9月5日
Semi-Supervised Graph Embedding for Multi-Label Graph Node Classification
Kaisheng Gao,Jing Zhang,Cangqi Zhou
4+阅读 · 2019年7月12日
Ziwei Zhang,Peng Cui,Wenwu Zhu
34+阅读 · 2018年12月11日
ML-Net: multi-label classification of biomedical texts with deep neural networks
Jingcheng Du,Qingyu Chen,Yifan Peng,Yang Xiang,Cui Tao,Zhiyong Lu
5+阅读 · 2018年11月15日
Self-Attention Recurrent Network for Saliency Detection
Fengdong Sun,Wenhui Li,Yuanyuan Guan
4+阅读 · 2018年8月5日
Muhan Zhang,Yixin Chen
20+阅读 · 2018年2月27日
Petar Veličković,Guillem Cucurull,Arantxa Casanova,Adriana Romero,Pietro Liò,Yoshua Bengio
4+阅读 · 2018年2月4日
Ruoyu Li,Sheng Wang,Feiyun Zhu,Junzhou Huang
4+阅读 · 2018年1月10日
Top