牛津大学YARIN GAL《贝叶斯深度学习》入门教程,336页ppt

2019 年 9 月 1 日 专知
牛津大学YARIN GAL《贝叶斯深度学习》入门教程,336页ppt

【导读】机器学习暑期班(MLSS)是一门关于统计机器学习和推理的现代方法的课程。近日,MLSS 2019莫斯科进行多项关于机器学习的教程讲授。其中,牛津大学Yarin Gal教授带来《贝叶斯深度学习》的教程报告,详细讲解了概率建模推断、不确定性度量、深度贝叶斯推断等,是很好的学习资料。


贝叶斯深度学习


虽然深度学习对于机器学习来说是革命性的,但是大多数现代的深度学习模型既不能表示它们的不确定性,也不能利用概率论中研究得很好的工具。随着最近将贝叶斯方法与深度学习相结合的工具和技术的发展,这种情况开始发生变化。过去几年,随着利用贝叶斯技术的新型深度学习模型的引入,以及包含深度学习元素的贝叶斯模型的引入,这两个领域的交集受到了社会各界的极大关注[1-11]。事实上,贝叶斯方法在深度学习中的应用可以追溯到20世纪90年代,由Radford Neal[12]、David MacKay[13]和Dayan等人的开创性著作。这些给了我们工具来推断深层模型的信心,并在许多任务上实现了最先进的性能。然而,当新的需求出现时(如大数据的可伸缩性),早期的工具没有适应,因此被遗忘了。鉴于该领域的新进展,目前正在重新考虑这些想法,产生了许多令人兴奋的新结果。


贝叶斯模型植根于贝叶斯统计,并且很容易从该领域的大量文献中获益。相比之下,深度学习缺乏扎实的数学基础。相反,深层学习的经验发展往往是通过隐喻来证明的,从而避开了无法解释的原理。这两个领域在各自的社区中被认为是相当对立的。也许令人惊讶的是,大多数现代的深度学习模型都可以转换为在贝叶斯设置下执行近似推理。其意义是深远的:我们可以使用丰富的贝叶斯统计文献和深度学习模型,用这种技术解释许多稀奇古怪的东西,将深度学习的结果结合到贝叶斯模型中,等等。


在这次演讲中,我将回顾一个新的理论,它将贝叶斯建模和深度学习联系起来,并通过一系列的实际应用来展示框架的实际影响。我还将探索未来研究的开放性问题——站在这一令人兴奋的新领域前沿的问题。


http://bdl101.ml/



更多请下载查看

更多内容,请关注专知公众号(点击上方蓝色专知关注)

后台回复“BDL2019”就可以获取完整版PPT下载链接~


参考文献

  1. Kingma, DP and Welling, M, ‘’Auto-encoding variational bayes’’, 2013.

  2. Rezende, D, Mohamed, S, and Wierstra, D, ‘’Stochastic backpropagation and approximate inference in deep generative models’’, 2014.

  3. Blundell, C, Cornebise, J, Kavukcuoglu, K, and Wierstra, D, ‘’Weight uncertainty in neural network’’, 2015.

  4. Hernandez-Lobato, JM and Adams, R, ’’Probabilistic backpropagation for scalable learning of Bayesian neural networks’’, 2015.

  5. Gal, Y and Ghahramani, Z, ‘’Dropout as a Bayesian approximation: Representing model uncertainty in deep learning’’, 2015.

  6. Gal, Y and Ghahramani, G, ‘’Bayesian convolutional neural networks with Bernoulli approximate variational inference’’, 2015.

  7. Kingma, D, Salimans, T, and Welling, M. ‘’Variational dropout and the local reparameterization trick’’, 2015.

  8. Balan, AK, Rathod, V, Murphy, KP, and Welling, M, ‘’Bayesian dark knowledge’’, 2015.

  9. Louizos, C and Welling, M, “Structured and Efficient Variational Deep Learning with Matrix Gaussian Posteriors”, 2016.

  10. Lawrence, ND and Quinonero-Candela, J, “Local distance preservation in the GP-LVM through back constraints”, 2006.

  11. Tran, D, Ranganath, R, and Blei, DM, “Variational Gaussian Process”, 2015.

  12. Neal, R, ‘’Bayesian Learning for Neural Networks’’, 1996.

  13. MacKay, D, ‘’A practical Bayesian framework for backpropagation networks‘’, 1992.




-END-

专 · 知


专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎登录www.zhuanzhi.ai,注册登录专知,获取更多AI知识资料!

欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程视频资料和与专家交流咨询

请加专知小助手微信(扫一扫如下二维码添加),加入专知人工智能主题群,咨询技术商务合作~

专知《深度学习:算法到实战》课程全部完成!560+位同学在学习,现在报名,限时优惠!网易云课堂人工智能畅销榜首位!

点击“阅读原文”,了解报名专知《深度学习:算法到实战》课程

登录查看更多
8

相关内容

贝叶斯方法可以用于学习神经网络权重的概率分布。将神经网络中的wi 和 b 由确定的值变成分布(distributions)。具体而言,为弥补反向传播的不足,通过在模型参数或模型输出上放置概率分布来估计。在权重上放置一个先验分布,然后尝试捕获这些权重在给定数据的情况下变化多少来模拟认知不确定性。该方法不是训练单个网络,而是训练网络集合,其中每个网络的权重来自共享的、已学习的概率分布。

机器学习暑期学校(MLSS)系列开始于2002年,致力于传播统计机器学习和推理的现代方法。今年因新冠疫情在线举行,从6月28号到7月10号讲述了众多机器学习主题。本文推荐来自牛津大学Yee Whye Teh教授讲述《元学习》,165页ppt系统性讲述了元学习基础知识和最新进展,非常干货。

地址: http://mlss.tuebingen.mpg.de/2020/schedule.html

作者介绍

Yee Whye Teh是牛津大学统计学系的统计机器学习教授,也是DeepMind研究人工智能的科学家。他在多伦多大学(Geoffrey E. Hinton教授)获得博士学位,并在加州大学伯克利分校(Michael I. Jordan教授)和新加坡国立大学(Lee Kuan Yew博士后研究员)从事博士后工作。在进入牛津大学和DeepMind之前,他是一名讲师,后来在伦敦大学学院(UCL)盖茨比计算神经科学单元(Gatsby computing Neuroscience Unit)担任读者。他计划联合主席(Michael Titterington教授)人工智能国际会议和统计(AISTATS) 2010年,项目主持国际会议(Precup试图教授)在2017年机器学习(ICML),和am /贝叶斯分析的副主编,IEEE模式分析与机器智能,机器学习日报,统计科学,英国皇家统计学会期刊B辑和机器学习研究期刊。他曾多次担任NIPS、ICML和AISTATS的区域主席。他的研究兴趣横跨机器学习和计算统计学,包括概率方法、贝叶斯非参数学和深度学习。他开发了新颖的模型以及高效的推理和学习算法。

http://csml.stats.ox.ac.uk/people/teh/

成为VIP会员查看完整内容
0
80

【导读】纽约大学的Andrew Gordon Wilson和Pavel Izmailov在论文中从概率角度的泛化性对贝叶斯深度学习进行了探讨。贝叶斯方法的关键区别在于它是基于边缘化,而不是基于最优化的,这为它带来了许多优势。

贝叶斯方法的关键区别是边缘化,而不是使用单一的权重设置。贝叶斯边缘化可以特别提高现代深度神经网络的准确性和校准,这是典型的不由数据完全确定,可以代表许多令人信服的但不同的解决方案。我们证明了深度集成为近似贝叶斯边缘化提供了一种有效的机制,并提出了一种相关的方法,通过在没有显著开销的情况下,在吸引域边缘化来进一步改进预测分布。我们还研究了神经网络权值的模糊分布所隐含的先验函数,从概率的角度解释了这些模型的泛化性质。从这个角度出发,我们解释了那些对于神经网络泛化来说神秘而独特的结果,比如用随机标签来拟合图像的能力,并证明了这些结果可以用高斯过程来重现。最后,我们提供了校正预测分布的贝叶斯观点。

成为VIP会员查看完整内容
0
39

​【导读】NeurIPS 2019刚落下帷幕,大会发布了7篇最佳论文,一系列论文和tutorial,涉及很多热点比如图机器学习、元学习、核方法、软硬一体化等。不得不看!NeurIPS 2019三个关键研究热点趋势:贝叶斯、GNN、凸优化。来自东京RIKEN研究中心的Emtiyaz Khan给了关于以贝叶斯原理进行深度学习的教程《Deep Learning with Bayesian Principles》,共有86页ppt,以及撰写了最新的论文,讲述贝叶斯和深度学习如何结合到一起进行学习新算法,提出了一种基于贝叶斯原理的学习规则,它使我们能够连接各种各样的学习算法。利用这一规则,可以在概率图形模型、连续优化、深度学习、强化学习、在线学习和黑盒优化等领域得到广泛的学习算法。非常具有启发性,值得查看!

深度学习和贝叶斯学习被认为是两个完全不同的领域,通常用于互补的设置情景。显然,将这两个领域的思想结合起来是有益的,但鉴于它们的根本区别,我们如何才能做到这一点呢?

本教程将介绍现代贝叶斯原理来填补这一空白。利用这些原理,我们可以推出一系列学习算法作为特例,例如,从经典算法,如线性回归和前向后向算法,到现代深度学习算法,如SGD、RMSprop和Adam。然后,这个视图提供了新的方法来改进深度学习的各个方面,例如,不确定性、健壮性和解释。它也使设计新的方法来解决挑战性的问题,如那些出现在主动学习,持续学习,强化学习等。

总的来说,我们的目标是让贝叶斯和深度学习比以往任何时候都更接近,并激励它们一起工作,通过结合他们的优势来解决具有挑战性的现实问题。

成为VIP会员查看完整内容
0
89
小贴士
相关论文
Emmanuel Bengio,Joelle Pineau,Doina Precup
6+阅读 · 3月13日
A Modern Introduction to Online Learning
Francesco Orabona
10+阅读 · 2019年12月31日
Sneha Chaudhari,Gungor Polatkan,Rohan Ramanath,Varun Mithal
11+阅读 · 2019年4月5日
Zhiqing Sun,Zhi-Hong Deng,Jian-Yun Nie,Jian Tang
7+阅读 · 2019年2月26日
Ke Sun,Bin Xiao,Dong Liu,Jingdong Wang
4+阅读 · 2019年2月25日
Knowledge Representation Learning: A Quantitative Review
Yankai Lin,Xu Han,Ruobing Xie,Zhiyuan Liu,Maosong Sun
24+阅读 · 2018年12月28日
Benjamin Recht
4+阅读 · 2018年6月25日
Ryo Takahashi,Ran Tian,Kentaro Inui
3+阅读 · 2018年5月24日
Zhanxiang Feng,Jianhuang Lai,Xiaohua Xie
7+阅读 · 2018年3月30日
Matthias Plappert,Rein Houthooft,Prafulla Dhariwal,Szymon Sidor,Richard Y. Chen,Xi Chen,Tamim Asfour,Pieter Abbeel,Marcin Andrychowicz
3+阅读 · 2018年1月31日
Top