Learning the true density in high-dimensional feature spaces is a well-known problem in machine learning. In this work, we improve the recent Wasserstein autoencoders (WAEs) by proposing Coulomb autoencoders. We demonstrate that a source of sub-optimality in WAEs is the choice of kernel function, because of the additional local minima in the objective. To mitigate this problem, we propose to use Coulomb kernels. We show that, under some conditions on the capacity of the encoder and the decoder, global convergence in the function space can be achieved. Finally, we provide an upper bound on the generalization performance, which can be improved by increasing the capacity of the encoder and the decoder networks. The theory is corroborated by experimental comparisons on synthetic and real-world datasets against several approaches from the families of generative adversarial networks and autoencoder-based models.


翻译:在机器学习中,学习高维特征空间的真正密度是一个众所周知的问题。 在这项工作中,我们通过提出库伦普自动编码器改进了最近的瓦塞斯坦自动编码器(WAEs),我们证明,由于目标中增加了局部微型,WAE中一个亚优化来源是内核功能的选择。为了缓解这一问题,我们提议使用库伦内核。我们表明,在编码器和解密器能力的某些条件下,功能空间的全球趋同是可以实现的。最后,我们提供了通用性能的上限,可以通过提高编码器和解密器网络的能力加以改进。关于合成和真实世界数据集的实验性比较与基因对抗网络和自动编码器模型组合的若干方法的实验性比较证实了这一理论。

0
下载
关闭预览

相关内容

自动编码器是一种人工神经网络,用于以无监督的方式学习有效的数据编码。自动编码器的目的是通过训练网络忽略信号“噪声”来学习一组数据的表示(编码),通常用于降维。与简化方面一起,学习了重构方面,在此,自动编码器尝试从简化编码中生成尽可能接近其原始输入的表示形式,从而得到其名称。基本模型存在几种变体,其目的是迫使学习的输入表示形式具有有用的属性。自动编码器可有效地解决许多应用问题,从面部识别到获取单词的语义。
【ICIP2019教程-NVIDIA】图像到图像转换,附7份PPT下载
专知会员服务
53+阅读 · 2019年11月20日
开源书:PyTorch深度学习起步
专知会员服务
49+阅读 · 2019年10月11日
强化学习最新教程,17页pdf
专知会员服务
166+阅读 · 2019年10月11日
GAN新书《生成式深度学习》,Generative Deep Learning,379页pdf
专知会员服务
195+阅读 · 2019年9月30日
无监督元学习表示学习
CreateAMind
25+阅读 · 2019年1月4日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
vae 相关论文 表示学习 1
CreateAMind
12+阅读 · 2018年9月6日
【SIGIR2018】五篇对抗训练文章
专知
12+阅读 · 2018年7月9日
gan生成图像at 1024² 的 代码 论文
CreateAMind
4+阅读 · 2017年10月31日
Adversarial Variational Bayes: Unifying VAE and GAN 代码
CreateAMind
7+阅读 · 2017年10月4日
【推荐】GAN架构入门综述(资源汇总)
机器学习研究会
10+阅读 · 2017年9月3日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
6+阅读 · 2018年4月4日
Arxiv
10+阅读 · 2018年3月23日
Arxiv
6+阅读 · 2018年3月12日
Arxiv
6+阅读 · 2018年1月29日
Arxiv
9+阅读 · 2018年1月4日
VIP会员
相关资讯
无监督元学习表示学习
CreateAMind
25+阅读 · 2019年1月4日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
vae 相关论文 表示学习 1
CreateAMind
12+阅读 · 2018年9月6日
【SIGIR2018】五篇对抗训练文章
专知
12+阅读 · 2018年7月9日
gan生成图像at 1024² 的 代码 论文
CreateAMind
4+阅读 · 2017年10月31日
Adversarial Variational Bayes: Unifying VAE and GAN 代码
CreateAMind
7+阅读 · 2017年10月4日
【推荐】GAN架构入门综述(资源汇总)
机器学习研究会
10+阅读 · 2017年9月3日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
相关论文
Arxiv
6+阅读 · 2018年4月4日
Arxiv
10+阅读 · 2018年3月23日
Arxiv
6+阅读 · 2018年3月12日
Arxiv
6+阅读 · 2018年1月29日
Arxiv
9+阅读 · 2018年1月4日
Top
微信扫码咨询专知VIP会员