Graph neural networks (GNNs) have been widely used to learn vector representation of graph-structured data and achieved better task performance than conventional methods. The foundation of GNNs is the message passing procedure, which propagates the information in a node to its neighbors. Since this procedure proceeds one step per layer, the range of the information propagation among nodes is small in the lower layers, and it expands toward the higher layers. Therefore, a GNN model has to be deep enough to capture global structural information in a graph. On the other hand, it is known that deep GNN models suffer from performance degradation because they lose nodes' local information, which would be essential for good model performance, through many message passing steps. In this study, we propose a multi-level attention pooling (MLAP) for graph-level classification tasks, which can adapt to both local and global structural information in a graph. It has an attention pooling layer for each message passing step and computes the final graph representation by unifying the layer-wise graph representations. The MLAP architecture allows models to utilize the structural information of graphs with multiple levels of localities because it preserves layer-wise information before losing them due to oversmoothing. Results of our experiments show that the MLAP architecture improves deeper models' performance in graph classification tasks compared to the baseline architectures. In addition, analyses on the layer-wise graph representations suggest that aggregating information from multiple levels of localities indeed has the potential to improve the discriminability of learned graph representations.


翻译:图表神经网络(GNNs)已被广泛用于学习图形结构数据矢量的表达方式,并取得了比常规方法更好的任务性。 GNNs的基础是信息传递程序,该程序将信息以节点向邻居传播。由于该程序每层分一步,节点之间信息传播的范围在下层较小,向上层扩展。因此,GNN模式必须足够深,以图中显示全球结构信息。另一方面,众所周知,深GNN模式由于失去节点当地信息而出现性能退化,这对于通过许多信息传递步骤实现良好模型性能至关重要。在本研究中,我们建议为图形层次分类任务建立多层次关注集合(MLAP),这可以在图中适应本地和全球结构信息,在图层中扩展一个关注集合层层,通过统一图层图示来计算最后图表的表示方式。MLP架构允许模型使用多层次的图表结构信息,而这种信息对于良好的模型将至关重要,因为通过许多信息传递步骤的传递步骤。在本项中,我们提议将多层次的图像结构结构的模型进行更深层次分析,从而显示我们图层层的图像结构结构结构结构结构结构结构结构的升级。

0
下载
关闭预览

相关内容

《计算机信息》杂志发表高质量的论文,扩大了运筹学和计算的范围,寻求有关理论、方法、实验、系统和应用方面的原创研究论文、新颖的调查和教程论文,以及描述新的和有用的软件工具的论文。官网链接:https://pubsonline.informs.org/journal/ijoc
专知会员服务
30+阅读 · 2021年6月12日
专知会员服务
52+阅读 · 2020年11月3日
【KDD2020】 图神经网络在生物医药领域的应用
专知会员服务
37+阅读 · 2020年11月2日
【IJCAI2020】图神经网络预测结构化实体交互
专知会员服务
42+阅读 · 2020年5月13日
专知会员服务
109+阅读 · 2020年3月12日
《DeepGCNs: Making GCNs Go as Deep as CNNs》
专知会员服务
30+阅读 · 2019年10月17日
“CVPR 2020 接受论文列表 1470篇论文都在这了
CVPR 2019 | 重磅!34篇 CVPR2019 论文实现代码
AI研习社
11+阅读 · 2019年6月21日
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
24+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Capsule Networks解析
机器学习研究会
10+阅读 · 2017年11月12日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
12+阅读 · 2019年11月14日
Graph Analysis and Graph Pooling in the Spatial Domain
Arxiv
9+阅读 · 2018年2月4日
VIP会员
相关VIP内容
专知会员服务
30+阅读 · 2021年6月12日
专知会员服务
52+阅读 · 2020年11月3日
【KDD2020】 图神经网络在生物医药领域的应用
专知会员服务
37+阅读 · 2020年11月2日
【IJCAI2020】图神经网络预测结构化实体交互
专知会员服务
42+阅读 · 2020年5月13日
专知会员服务
109+阅读 · 2020年3月12日
《DeepGCNs: Making GCNs Go as Deep as CNNs》
专知会员服务
30+阅读 · 2019年10月17日
相关资讯
“CVPR 2020 接受论文列表 1470篇论文都在这了
CVPR 2019 | 重磅!34篇 CVPR2019 论文实现代码
AI研习社
11+阅读 · 2019年6月21日
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
24+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Capsule Networks解析
机器学习研究会
10+阅读 · 2017年11月12日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员