深度生成模型基本都是以某种方式寻找并表达(多变量)数据的概率分布。有基于无向图模型(马尔可夫模型)的联合概率分布模型,另外就是基于有向图模型(贝叶斯模型)的条件概率分布。前者的模型是构建隐含层(latent)和显示层(visible)的联合概率,然后去采样。基于有向图的则是寻找latent和visible之间的条件概率分布,也就是给定一个随机采样的隐含层,模型可以生成数据。加州理工学院Joe Marino讲述最新《深度生成模型》的进展,值得关注!

深度生成模型:

https://www.zhuanzhi.ai/topic/2001726307898767

https://joelouismarino.github.io/

成为VIP会员查看完整内容
0
29

相关内容

Andrew Gordon Wilson,纽约大学Courant数学科学研究所和数据科学中心助理教授,曾担任AAAI 2018、AISTATS 2018、UAI 2018、NeurIPS 2018、AISTATS 2019、ICML 2019、UAI 2019、NeurIPS 2019、AAAI 2020、ICLR 2020的区域主席/SPC以及ICML 2019、2020年EXO主席。 个人主页:https://cims.nyu.edu/~andrewgw/

贝叶斯深度学习与概率模型构建

贝叶斯方法的关键区别属性是间隔化,而不是使用单一的权重设置。贝叶斯间隔化尤其可以提高现代深度神经网络的准确性和标度,这些数据通常不充分指定,并可以代表许多引人注目但不同的解决方案。研究表明,深层的综合系统提供了一种有效的近似贝叶斯间隔化机制,并提出了一种相关的方法,在没有显著开销的情况下,通过在吸引 basins 内间隔化来进一步改进预测分布。我们还研究了神经网络权值的模糊分布所隐含的先验函数,从概率的角度解释了这些模型的泛化特性。从这个角度出发,我们解释了一些神秘而又不同于神经网络泛化的结果,比如用随机标签拟合图像的能力,并表明这些结果可以用高斯过程重新得到。我们还表明贝叶斯平均模型减轻了双下降,从而提高了灵活性,提高了单调性能。最后,我们提供了一个贝叶斯角度的调温校正预测分布。

视频地址:https://www.youtube.com/watch?v=E1qhGw8QxqY

成为VIP会员查看完整内容
0
63

【导读】来自加州大学圣地亚哥分校《计算机视觉中的领域自适应》中生成式对抗网络GAN介绍

成为VIP会员查看完整内容
0
66

报告主题: Energy-Based Self-Supervised Learning

报告摘要:

在监督或多任务学习中,将不会获得像人类一样可以泛化的智能。监督学习是有效的,但需要许多带标签的样本,通过举例而不是编程来训练机器,当输出错误时,调整机器的参数。在整个领域中可能需要在基于能量的学习方法上做更多的工作,能量函数在AI领域已经存在数十年了,无需创建大量带有标签的数据集,也不用花费数千个小时训练模型,而只是获取一些丰富的原始数据,让机器变得足够大,由此可以训练机器预测,预测与现实之间的兼容性就是所谓的能级。能量越少越好,更兼容、更准确,因此神经网络需要努力达到理想的低能量状态。

嘉宾介绍:

Yann Lecun是一位法裔美国计算机科学家,主要研究领域为机器学习、计算机视觉、移动机器人和计算神经科学。他是纽约大学Courant数学科学研究所的银牌教授,也是Facebook的副总裁兼首席人工智能科学家。他以研究卷积神经网络(CNN)的光学字符识别和计算机视觉而闻名,是卷积网络的创始人之一。他也是DjVu图像压缩技术的主要创建者之一(与Leon Bottou和Patrick Haffner一起)。他与Leon Bottou共同开发了Lush编程语言。他是2018年ACM A.M.的联合获奖者因为他在深度学习方面的工作获得了图灵奖。

成为VIP会员查看完整内容
0
50

O’Reilly Media 2019年新出版的关于GAN的书Generative Deep Learning_Teaching Machines to Paint, Write, Compose, and Play. 《生成式深度学习》是关于生成模型的最新指南——特别是如何构建最先进的深度学习模型,这样的模型可以绘画、写作、作曲和玩游戏。 更重要的是,这本书能让读者深入了解生成式深度学习,并构建能够做出各种令人惊叹的事情的模型

成为VIP会员查看完整内容
Generative Deep Learning - David Foster.pdf
0
63
小贴士
相关论文
José R. Berrendero,Alejandro Cholaquidis,Antonio Cuevas
0+阅读 · 2020年11月30日
Yi Gu,Yuting Gao,Jie Li,Chentao Wu,Weijia Jia
0+阅读 · 2020年11月27日
Seeing What a GAN Cannot Generate
David Bau,Jun-Yan Zhu,Jonas Wulff,William Peebles,Hendrik Strobelt,Bolei Zhou,Antonio Torralba
5+阅读 · 2019年10月24日
Deep Learning for Energy Markets
Michael Polson,Vadim Sokolov
3+阅读 · 2019年4月10日
A General and Adaptive Robust Loss Function
Jonathan T. Barron
7+阅读 · 2018年11月5日
ESRGAN: Enhanced Super-Resolution Generative Adversarial Networks
Xintao Wang,Ke Yu,Shixiang Wu,Jinjin Gu,Yihao Liu,Chao Dong,Chen Change Loy,Yu Qiao,Xiaoou Tang
5+阅读 · 2018年9月17日
Yong Wang,Xiao-Ming Wu,Qimai Li,Jiatao Gu,Wangmeng Xiang,Lei Zhang,Victor O. K. Li
8+阅读 · 2018年7月8日
Huiting Hong,Xin Li,Mingzhong Wang
4+阅读 · 2018年5月21日
Ngoc-Trung Tran,Tuan-Anh Bui,Ngai-Man Cheung
9+阅读 · 2018年3月23日
Chaowei Xiao,Bo Li,Jun-Yan Zhu,Warren He,Mingyan Liu,Dawn Song
8+阅读 · 2018年1月15日
Top