Graph Neural Networks (GNN) come in many flavors, but should always be either invariant (permutation of the nodes of the input graph does not affect the output) or equivariant (permutation of the input permutes the output). In this paper, we consider a specific class of invariant and equivariant networks, for which we prove new universality theorems. More precisely, we consider networks with a single hidden layer, obtained by summing channels formed by applying an equivariant linear operator, a pointwise non-linearity and either an invariant or equivariant linear operator. Recently, Maron et al. (2019) showed that by allowing higher-order tensorization inside the network, universal invariant GNNs can be obtained. As a first contribution, we propose an alternative proof of this result, which relies on the Stone-Weierstrass theorem for algebra of real-valued functions. Our main contribution is then an extension of this result to the equivariant case, which appears in many practical applications but has been less studied from a theoretical point of view. The proof relies on a new generalized Stone-Weierstrass theorem for algebra of equivariant functions, which is of independent interest. Finally, unlike many previous settings that consider a fixed number of nodes, our results show that a GNN defined by a single set of parameters can approximate uniformly well a function defined on graphs of varying size.


翻译:内建图网络( GNN) 以多种口味出现, 但应该总是有变式( 输入图形节点的变异并不影响输出) 或等式( 输入的变异( 输出的变异 ) 。 在本文中, 我们考虑一个特定的变异和变异网络类别, 我们证明是新的普遍性理论。 更确切地说, 我们考虑一个带有单一隐藏层的网络, 网络的隐藏层, 通过使用一个等式线性操作器, 一个点性非线性, 以及一个变异性或异性线性线性操作器。 最近, Maron 等人( 2019) 显示, 通过在网络中允许更高顺序的变异性参数变异( 输入的变异性 ), 可以获得通用 GNNNNNPs 。 作为第一个贡献, 我们提出这一结果的替代证据, 依靠“ 石头- Weierstra ” 等词来获取真值函数的升数。 我们的主要贡献就是将这种变异性案例扩展到这个案例, 在许多实际应用中出现, 但却不那么, Marononaltialal 的参数的缩缩缩化函数, 直立点的参数是用来显示一个固定的缩缩缩缩缩缩缩缩缩缩缩图图。

5
下载
关闭预览

相关内容

【清华大学】图随机神经网络,Graph Random Neural Networks
专知会员服务
152+阅读 · 2020年5月26日
【阿尔托大学】图神经网络,Graph Neural Networks,附60页ppt
专知会员服务
177+阅读 · 2020年4月26日
神经网络的拓扑结构,TOPOLOGY OF DEEP NEURAL NETWORKS
专知会员服务
29+阅读 · 2020年4月15日
开源书:PyTorch深度学习起步
专知会员服务
49+阅读 · 2019年10月11日
知识图谱本体结构构建论文合集
专知会员服务
100+阅读 · 2019年10月9日
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
Graph Neural Network(GNN)最全资源整理分享
深度学习与NLP
339+阅读 · 2019年7月9日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
暗通沟渠:Multi-lingual Attention
我爱读PAMI
7+阅读 · 2018年2月24日
Capsule Networks解析
机器学习研究会
10+阅读 · 2017年11月12日
基于注意力机制的图卷积网络
科技创新与创业
73+阅读 · 2017年11月8日
【论文】图上的表示学习综述
机器学习研究会
12+阅读 · 2017年9月24日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
23+阅读 · 2018年10月1日
Arxiv
12+阅读 · 2018年9月15日
Arxiv
26+阅读 · 2018年2月27日
Arxiv
9+阅读 · 2018年2月4日
Arxiv
7+阅读 · 2018年1月10日
VIP会员
相关资讯
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
Graph Neural Network(GNN)最全资源整理分享
深度学习与NLP
339+阅读 · 2019年7月9日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
暗通沟渠:Multi-lingual Attention
我爱读PAMI
7+阅读 · 2018年2月24日
Capsule Networks解析
机器学习研究会
10+阅读 · 2017年11月12日
基于注意力机制的图卷积网络
科技创新与创业
73+阅读 · 2017年11月8日
【论文】图上的表示学习综述
机器学习研究会
12+阅读 · 2017年9月24日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员