Learning a faithful directed acyclic graph (DAG) from samples of a joint distribution is a challenging combinatorial problem, owing to the intractable search space superexponential in the number of graph nodes. A recent breakthrough formulates the problem as a continuous optimization with a structural constraint that ensures acyclicity (Zheng et al., 2018). The authors apply the approach to the linear structural equation model (SEM) and the least-squares loss function that are statistically well justified but nevertheless limited. Motivated by the widespread success of deep learning that is capable of capturing complex nonlinear mappings, in this work we propose a deep generative model and apply a variant of the structural constraint to learn the DAG. At the heart of the generative model is a variational autoencoder parameterized by a novel graph neural network architecture, which we coin DAG-GNN. In addition to the richer capacity, an advantage of the proposed model is that it naturally handles discrete variables as well as vector-valued ones. We demonstrate that on synthetic data sets, the proposed method learns more accurate graphs for nonlinearly generated samples; and on benchmark data sets with discrete variables, the learned graphs are reasonably close to the global optima. The code is available at \url{https://github.com/fishmoon1234/DAG-GNN}.


翻译:由于在图形节点数中难以找到的搜索空间超光化模型,从联合分布样本中忠实地学习一个方向方向的自行车图(DAG)是一个具有挑战性的组合问题。最近的一项突破将这一问题描绘成一种持续优化,其结构制约确保了周期性(Zheng等人,2018年)。作者对线性结构方程模型(SEM)和最小方位损失功能采用了统计上理由充分但又有限的方法。受能够捕捉复杂的非线性绘图的深层次学习的广泛成功激励,我们在此工作中提出了一个深层次的基因模型,并应用了结构制约的变异模型来学习DAG。在基因模型的核心是由新型图形神经网络结构参数参数参数参数化的变异自动电码,我们用这个模型对DAG-GNNN。除了更丰富的能力外,拟议模型的一个优点是,它自然处理离式变量以及矢量值值的变量。我们在合成数据集上,拟议的方法在非线性数字基/数字基数上学习更精确的离心的图表。在可获取的离式模型上,在可比较的G_G_G_BAR的模型上,在可选择的模型上是接近的模型上学习的。

8
下载
关闭预览

相关内容

近期必读的五篇KDD 2020【图神经网络 (GNN) 】相关论文_Part2
专知会员服务
156+阅读 · 2020年6月30日
【清华大学】图随机神经网络,Graph Random Neural Networks
专知会员服务
152+阅读 · 2020年5月26日
近期必读的12篇KDD 2019【图神经网络(GNN)】相关论文
专知会员服务
62+阅读 · 2020年1月10日
必读的7篇 IJCAI 2019【图神经网络(GNN)】相关论文
专知会员服务
91+阅读 · 2020年1月10日
八篇NeurIPS 2019【图神经网络(GNN)】相关论文
专知会员服务
43+阅读 · 2020年1月10日
内涵网络嵌入:Content-rich Network Embedding
我爱读PAMI
4+阅读 · 2019年11月5日
Graph Neural Network(GNN)最全资源整理分享
深度学习与NLP
339+阅读 · 2019年7月9日
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
24+阅读 · 2019年5月18日
无监督元学习表示学习
CreateAMind
25+阅读 · 2019年1月4日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Arxiv
12+阅读 · 2019年11月14日
Geometric Graph Convolutional Neural Networks
Arxiv
10+阅读 · 2019年9月11日
Deep Graph Infomax
Arxiv
16+阅读 · 2018年12月21日
Arxiv
19+阅读 · 2018年10月25日
Arxiv
23+阅读 · 2018年10月24日
VIP会员
相关资讯
相关论文
Arxiv
12+阅读 · 2019年11月14日
Geometric Graph Convolutional Neural Networks
Arxiv
10+阅读 · 2019年9月11日
Deep Graph Infomax
Arxiv
16+阅读 · 2018年12月21日
Arxiv
19+阅读 · 2018年10月25日
Arxiv
23+阅读 · 2018年10月24日
Top
微信扫码咨询专知VIP会员