深度生成模型基本都是以某种方式寻找并表达(多变量)数据的概率分布。有基于无向图模型(马尔可夫模型)的联合概率分布模型,另外就是基于有向图模型(贝叶斯模型)的条件概率分布。前者的模型是构建隐含层(latent)和显示层(visible)的联合概率,然后去采样。基于有向图的则是寻找latent和visible之间的条件概率分布,也就是给定一个随机采样的隐含层,模型可以生成数据。加州理工学院Joe Marino讲述最新《深度生成模型》的进展,值得关注!
深度生成模型:
Andrew Gordon Wilson,纽约大学Courant数学科学研究所和数据科学中心助理教授,曾担任AAAI 2018、AISTATS 2018、UAI 2018、NeurIPS 2018、AISTATS 2019、ICML 2019、UAI 2019、NeurIPS 2019、AAAI 2020、ICLR 2020的区域主席/SPC以及ICML 2019、2020年EXO主席。 个人主页:https://cims.nyu.edu/~andrewgw/
贝叶斯深度学习与概率模型构建
贝叶斯方法的关键区别属性是间隔化,而不是使用单一的权重设置。贝叶斯间隔化尤其可以提高现代深度神经网络的准确性和标度,这些数据通常不充分指定,并可以代表许多引人注目但不同的解决方案。研究表明,深层的综合系统提供了一种有效的近似贝叶斯间隔化机制,并提出了一种相关的方法,在没有显著开销的情况下,通过在吸引 basins 内间隔化来进一步改进预测分布。我们还研究了神经网络权值的模糊分布所隐含的先验函数,从概率的角度解释了这些模型的泛化特性。从这个角度出发,我们解释了一些神秘而又不同于神经网络泛化的结果,比如用随机标签拟合图像的能力,并表明这些结果可以用高斯过程重新得到。我们还表明贝叶斯平均模型减轻了双下降,从而提高了灵活性,提高了单调性能。最后,我们提供了一个贝叶斯角度的调温校正预测分布。
报告主题: Energy-Based Self-Supervised Learning
报告摘要:
在监督或多任务学习中,将不会获得像人类一样可以泛化的智能。监督学习是有效的,但需要许多带标签的样本,通过举例而不是编程来训练机器,当输出错误时,调整机器的参数。在整个领域中可能需要在基于能量的学习方法上做更多的工作,能量函数在AI领域已经存在数十年了,无需创建大量带有标签的数据集,也不用花费数千个小时训练模型,而只是获取一些丰富的原始数据,让机器变得足够大,由此可以训练机器预测,预测与现实之间的兼容性就是所谓的能级。能量越少越好,更兼容、更准确,因此神经网络需要努力达到理想的低能量状态。
嘉宾介绍:
Yann Lecun是一位法裔美国计算机科学家,主要研究领域为机器学习、计算机视觉、移动机器人和计算神经科学。他是纽约大学Courant数学科学研究所的银牌教授,也是Facebook的副总裁兼首席人工智能科学家。他以研究卷积神经网络(CNN)的光学字符识别和计算机视觉而闻名,是卷积网络的创始人之一。他也是DjVu图像压缩技术的主要创建者之一(与Leon Bottou和Patrick Haffner一起)。他与Leon Bottou共同开发了Lush编程语言。他是2018年ACM A.M.的联合获奖者因为他在深度学习方面的工作获得了图灵奖。
O’Reilly Media 2019年新出版的关于GAN的书Generative Deep Learning_Teaching Machines to Paint, Write, Compose, and Play. 《生成式深度学习》是关于生成模型的最新指南——特别是如何构建最先进的深度学习模型,这样的模型可以绘画、写作、作曲和玩游戏。 更重要的是,这本书能让读者深入了解生成式深度学习,并构建能够做出各种令人惊叹的事情的模型