Graph structured data are abundant in the real world. Among different graph types, directed acyclic graphs (DAGs) are of particular interest to machine learning researchers, as many machine learning models are realized as computations on DAGs, including neural networks and Bayesian networks. In this paper, we study deep generative models for DAGs, and propose a novel DAG variational autoencoder (D-VAE). To encode DAGs into the latent space, we leverage graph neural networks. We propose an asynchronous message passing scheme that allows encoding the computations on DAGs, rather than using existing simultaneous message passing schemes to encode local graph structures. We demonstrate the effectiveness of our proposed D-VAE through two tasks: neural architecture search and Bayesian network structure learning. Experiments show that our model not only generates novel and valid DAGs, but also produces a smooth latent space that facilitates searching for DAGs with better performance through Bayesian optimization.


翻译:图表结构数据在现实世界中是丰富的。 在不同的图表类型中,定向环形图(DAGs)对机器学习研究人员特别感兴趣,因为许多机器学习模型是在DAGs的计算中实现的,包括神经网络和Bayesian网络。在本文中,我们研究了DAGs深层基因化模型,并提出了一个新的DAG变异自动编码器(D-VAE)。为了将DAGs编码到潜伏空间,我们利用图形神经网络。我们提出了一个非同步信息传递计划,允许将计算编码在DAGs上,而不是使用现有的同时传递信息计划编码本地图形结构。我们通过两项任务展示了我们提议的D-VAE的有效性:神经结构搜索和Bayesian网络结构学习。实验显示,我们的模型不仅生成了新颖和有效的DAGs,而且还产生了一种光滑的潜伏空间,通过Bayesian优化来更好地搜索DAGs。

7
下载
关闭预览

相关内容

因果图,Causal Graphs,52页ppt
专知会员服务
238+阅读 · 2020年4月19日
GAN新书《生成式深度学习》,Generative Deep Learning,379页pdf
专知会员服务
197+阅读 · 2019年9月30日
Transferring Knowledge across Learning Processes
CreateAMind
26+阅读 · 2019年5月18日
无监督元学习表示学习
CreateAMind
26+阅读 · 2019年1月4日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
vae 相关论文 表示学习 1
CreateAMind
12+阅读 · 2018年9月6日
探幽深度生成模型的两种方法:VAE和GAN
AI前线
15+阅读 · 2018年3月10日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Adversarial Variational Bayes: Unifying VAE and GAN 代码
CreateAMind
7+阅读 · 2017年10月4日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
4+阅读 · 2018年4月10日
Arxiv
15+阅读 · 2018年4月5日
Arxiv
6+阅读 · 2018年4月4日
Arxiv
3+阅读 · 2017年7月6日
VIP会员
相关VIP内容
因果图,Causal Graphs,52页ppt
专知会员服务
238+阅读 · 2020年4月19日
GAN新书《生成式深度学习》,Generative Deep Learning,379页pdf
专知会员服务
197+阅读 · 2019年9月30日
相关资讯
Transferring Knowledge across Learning Processes
CreateAMind
26+阅读 · 2019年5月18日
无监督元学习表示学习
CreateAMind
26+阅读 · 2019年1月4日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
vae 相关论文 表示学习 1
CreateAMind
12+阅读 · 2018年9月6日
探幽深度生成模型的两种方法:VAE和GAN
AI前线
15+阅读 · 2018年3月10日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Adversarial Variational Bayes: Unifying VAE and GAN 代码
CreateAMind
7+阅读 · 2017年10月4日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员