贝叶斯与深度学习如何结合?看这份256页《贝叶斯深度学习原理 》SPCOM2020硬核教程

7 月 22 日 专知
贝叶斯与深度学习如何结合?看这份256页《贝叶斯深度学习原理 》SPCOM2020硬核教程

【导读】来自东京RIKEN研究中心的Emtiyaz Khan在SPCOM2020上给了关于以贝叶斯原理进行深度学习的教程《Deep Learning with Bayesian Principles》,共有256页ppt,以及撰写了最新的论文,讲述贝叶斯和深度学习如何结合到一起进行学习新算法,提出了一种基于贝叶斯原理的学习规则,它使我们能够连接各种各样的学习算法。利用这一规则,可以在概率图形模型、连续优化、深度学习、强化学习、在线学习和黑盒优化等领域得到广泛的学习算法。非常具有启发性,值得查看!


教程地址:

https://ece.iisc.ac.in/~spcom/2020/tutorials.html#Tut6


Deep Learning with Bayesian Principles


摘要


深度学习和贝叶斯学习被认为是两个完全不同的领域,通常用于互补的设置情景。显然,将这两个领域的思想结合起来是有益的,但鉴于它们的根本区别,我们如何才能做到这一点呢?


本教程将介绍现代贝叶斯原理来填补这一空白。利用这些原理,我们可以推出一系列学习算法作为特例,例如,从经典算法,如线性回归和前向后向算法,到现代深度学习算法,如SGD、RMSprop和Adam。然后,这个视图提供了新的方法来改进深度学习的各个方面,例如,不确定性、健壮性和解释。它也使设计新的方法来解决挑战性的问题,如那些出现在主动学习,持续学习,强化学习等。


总的来说,我们的目标是让贝叶斯和深度学习比以往任何时候都更接近,并激励它们一起工作,通过结合他们的优势来解决具有挑战性的现实问题



我研究的目标

“理解从数据中学习的基本原理,并利用它们来开发可以像生物智能一样学习的算法。”


与常规的深度学习相比,贝叶斯深度学习主要有两个优点:不确定性估计和对小数据集的更好的泛化。在实际应用中,仅仅系统做出预测是不够的。知道每个预测的确定性是很重要的。例如,预测癌症有50.1%的确定性需要不同的治疗,同样的预测有99.9%的确定性。在贝叶斯学习中,不确定性估计是一个内置特性。

  • 贝叶斯原理作为一般准则

    • 设计/改进/推广学习算法

    • 通过计算“后验近似”

  • 衍生出许多现有的算法,

    • 深度学习(SGD, RMSprop, Adam)

    • 精确贝叶斯,拉普拉斯,变分推论等

  • 设计新的深度学习算法

    • 不确定性、数据重要性、终身学习

  • 影响力:每件事都有一个共同的原则。








梯度下降法是利用具有固定协方差的高斯分布,并估计其均值

  • 牛顿法是用多元高斯法推导出来的

  • RMSprop是使用对角协方差得到的

  • 亚当是由添加重球动量项

  • 对于“牛顿系综”,使用混合高斯[1]

  • 为了推导DL算法,我们需要从“全局”近似转换到“局部”近似

  • 然后,为了改进DL算法,我们只需要添加一些“全局”触摸到DL算法

两篇重要论文


从贝叶斯原则中学习算法


机器学习算法通常使用来自优化和统计的思想,然后通过广泛的经验努力使它们变得实用,因为缺乏指导这一过程的基本原则。在本文中,我们提出了一种基于贝叶斯原理的学习规则,它使我们能够连接各种各样的学习算法。利用这一规则,我们可以在概率图形模型、连续优化、深度学习、强化学习、在线学习和黑盒优化等领域得到广泛的学习算法。这包括经典算法,如最小二乘法、牛顿法、卡尔曼滤波,以及现代深度学习算法,如随机-梯度下降、RMSprop和Adam。总体上,我们证明贝叶斯原则不仅能统一、推广和改进现有的学习算法,而且还能帮助我们设计新的学习算法。


论文地址:

https://emtiyaz.github.io/papers/learning_from_bayes.pdf




贝叶斯原理的深度学习实践

贝叶斯方法有望解决深度学习的许多缺点,但它们很少与标准方法的性能相匹配,更不用说对其进行改进了。在本文中,我们通过自然梯度变分推断演示了深度网络的实践训练。通过应用批处理归一化、数据增强和分布式训练等技术,即使在大型数据集(例如ImageNet)上,我们也可以在与Adam优化器大致相同的训练周期内获得类似的性能。

重要的是,这种方法保留了贝叶斯原理的优势:很好地校准了预测概率,改善了分布外数据的不确定性,并提高了持续学习的能力。这项工作可以实现实用的深度学习,同时保留贝叶斯原理的优点。其PyTorch实现可作为即插即用优化器使用。


地址:

https://arxiv.org/pdf/1906.02506.pdf

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“DLBP 就可以获取Deep Learning with Bayesian Principles》256页PPT下载链接索引~ 

专 · 知


专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取5000+AI主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程视频资料和与专家交流咨询
点击“阅读原文”,了解使用专知,查看5000+AI主题知识资料
登录查看更多
3

相关内容

Andrew Gordon Wilson,纽约大学Courant数学科学研究所和数据科学中心助理教授,曾担任AAAI 2018、AISTATS 2018、UAI 2018、NeurIPS 2018、AISTATS 2019、ICML 2019、UAI 2019、NeurIPS 2019、AAAI 2020、ICLR 2020的区域主席/SPC以及ICML 2019、2020年EXO主席。 个人主页:https://cims.nyu.edu/~andrewgw/

贝叶斯深度学习与概率模型构建

贝叶斯方法的关键区别属性是间隔化,而不是使用单一的权重设置。贝叶斯间隔化尤其可以提高现代深度神经网络的准确性和标度,这些数据通常不充分指定,并可以代表许多引人注目但不同的解决方案。研究表明,深层的综合系统提供了一种有效的近似贝叶斯间隔化机制,并提出了一种相关的方法,在没有显著开销的情况下,通过在吸引 basins 内间隔化来进一步改进预测分布。我们还研究了神经网络权值的模糊分布所隐含的先验函数,从概率的角度解释了这些模型的泛化特性。从这个角度出发,我们解释了一些神秘而又不同于神经网络泛化的结果,比如用随机标签拟合图像的能力,并表明这些结果可以用高斯过程重新得到。我们还表明贝叶斯平均模型减轻了双下降,从而提高了灵活性,提高了单调性能。最后,我们提供了一个贝叶斯角度的调温校正预测分布。

视频地址:https://www.youtube.com/watch?v=E1qhGw8QxqY

成为VIP会员查看完整内容
0
50

【导读】深度学习中的优化问题是非常关键的。今年国立台湾大学教授、IEEE Fellow、ACM Fellow、AAAI Fellow,也是大名鼎鼎LIBSVM作者林智仁教授开设了《深度学习优化方法》课程,讲解深度学习涉及到非常难的非凸优化问题,研究了深度学习优化方法的实现,值得跟踪学习。

https://www.csie.ntu.edu.tw/~cjlin/courses/optdl2020/

Chih-Jen Lin,现任台湾大学计算机科学系特聘教授。1993年获国立台湾大学学士学位,1998年获密歇根大学博士学位。他的主要研究领域包括机器学习、数据挖掘和数值优化。他最著名的工作是支持向量机(SVM)数据分类。他的软件LIBSVM是最广泛使用和引用的支持向量机软件包之一。由于他的研究工作,他获得了许多奖项,包括ACM KDD 2010和ACM RecSys 2013最佳论文奖。因为他对机器学习算法和软件设计的贡献,他是IEEE fellow,AAAI fellow,ACM fellow。更多关于他的信息可以在http://www.csie.ntu.edu.tw/~cjlin

目录内容:

  • 正则化线性分类
  • 全连接网络优化问题
  • 卷积神经网络优化问题
成为VIP会员查看完整内容
Optimization Problems for Neural Networks.pdf
0
84

作为布尔逻辑的替代

虽然逻辑是理性推理的数学基础和计算的基本原理,但它仅限于信息既完整又确定的问题。然而,许多现实世界的问题,从金融投资到电子邮件过滤,本质上是不完整或不确定的。概率论和贝叶斯计算共同提供了一个处理不完整和不确定数据的框架。

不完全和不确定数据的决策工具和方法

贝叶斯编程强调概率是布尔逻辑的替代选择,它涵盖了为真实世界的应用程序构建概率程序的新方法。本书由设计并实现了一个高效概率推理引擎来解释贝叶斯程序的团队编写,书中提供了许多Python示例,这些示例也可以在一个补充网站上找到,该网站还提供了一个解释器,允许读者试验这种新的编程方法。

原则和建模

只需要一个基本的数学基础,本书的前两部分提出了一种新的方法来建立主观概率模型。作者介绍了贝叶斯编程的原理,并讨论了概率建模的良好实践。大量简单的例子突出了贝叶斯建模在不同领域的应用。

形式主义和算法

第三部分综合了已有的贝叶斯推理算法的工作,因为需要一个高效的贝叶斯推理引擎来自动化贝叶斯程序中的概率演算。对于想要了解贝叶斯编程的形式主义、主要的概率模型、贝叶斯推理的通用算法和学习问题的读者,本文提供了许多参考书目。

常见问题

第四部分连同词汇表包含了常见问题的答案。作者比较了贝叶斯规划和可能性理论,讨论了贝叶斯推理的计算复杂性,讨论了不完全性的不可约性,讨论了概率的主观主义和客观主义认识论。

贝叶斯计算机的第一步

创建一个完整的贝叶斯计算框架需要新的建模方法、新的推理算法、新的编程语言和新的硬件。本书着重于方法论和算法,描述了实现这一目标的第一步。它鼓励读者探索新兴领域,例如仿生计算,并开发新的编程语言和硬件架构。

成为VIP会员查看完整内容
0
80

【导读】终身学习是机器学习中的热门研究话题之一。如何实现持续学习?来自东京RIKEN研究中心的Emtiyaz Khan给了关于从深度神经网络到高斯过程的教程《DNN2GP: From Deep Networks to Gaussian Processes》,共有45页ppt,以及撰写了最新的论文,通过提出一种新的函数正则化方法来解决这个问题,该方法利用了一些过去的难忘样例,这些样例对于避免遗忘至关重要。通过使用深度网络的高斯过程公式,能够在权重空间中进行训练,同时识别难忘的过去样例和功能性样例。非常具有启发性,值得查看!

** 持续深度学习**

不断学习新技能对智能系统来说很重要,但大多数深度学习方法都存在严重的遗忘问题。最近的研究用权重调整来解决这个问题。函数正则化虽然在计算上很昂贵,但人们期望它能表现得更好,但在实践中却很少这样做。在本文中,我们通过提出一种新的函数正则化方法来解决这个问题,该方法利用了一些过去的难忘的例子,这些例子对于避免遗忘至关重要。通过使用深度网络的高斯过程公式,我们的方法能够在权重空间中进行训练,同时识别难忘的过去样例和功能性样例。我们的方法在标准基准上实现了最先进的性能,并为终身学习开辟了一个新的方向,使正则化和基于记忆的方法自然地结合在一起。

DNN2GP: 从深度神经网络到高斯过程

成为VIP会员查看完整内容
0
33

​【导读】NeurIPS 2019刚落下帷幕,大会发布了7篇最佳论文,一系列论文和tutorial,涉及很多热点比如图机器学习、元学习、核方法、软硬一体化等。不得不看!NeurIPS 2019三个关键研究热点趋势:贝叶斯、GNN、凸优化。来自东京RIKEN研究中心的Emtiyaz Khan给了关于以贝叶斯原理进行深度学习的教程《Deep Learning with Bayesian Principles》,共有86页ppt,以及撰写了最新的论文,讲述贝叶斯和深度学习如何结合到一起进行学习新算法,提出了一种基于贝叶斯原理的学习规则,它使我们能够连接各种各样的学习算法。利用这一规则,可以在概率图形模型、连续优化、深度学习、强化学习、在线学习和黑盒优化等领域得到广泛的学习算法。非常具有启发性,值得查看!

深度学习和贝叶斯学习被认为是两个完全不同的领域,通常用于互补的设置情景。显然,将这两个领域的思想结合起来是有益的,但鉴于它们的根本区别,我们如何才能做到这一点呢?

本教程将介绍现代贝叶斯原理来填补这一空白。利用这些原理,我们可以推出一系列学习算法作为特例,例如,从经典算法,如线性回归和前向后向算法,到现代深度学习算法,如SGD、RMSprop和Adam。然后,这个视图提供了新的方法来改进深度学习的各个方面,例如,不确定性、健壮性和解释。它也使设计新的方法来解决挑战性的问题,如那些出现在主动学习,持续学习,强化学习等。

总的来说,我们的目标是让贝叶斯和深度学习比以往任何时候都更接近,并激励它们一起工作,通过结合他们的优势来解决具有挑战性的现实问题。

成为VIP会员查看完整内容
0
89
小贴士
相关论文
A Survey on Bayesian Deep Learning
Hao Wang,Dit-Yan Yeung
23+阅读 · 7月2日
Meng Qu,Jian Tang
3+阅读 · 2019年6月20日
Deep Graph Infomax
Petar Veličković,William Fedus,William L. Hamilton,Pietro Liò,Yoshua Bengio,R Devon Hjelm
4+阅读 · 2018年12月21日
Parsimonious Bayesian deep networks
Mingyuan Zhou
3+阅读 · 2018年10月17日
Learning to Importance Sample in Primary Sample Space
Quan Zheng,Matthias Zwicker
3+阅读 · 2018年8月23日
Feature Selection Library (MATLAB Toolbox)
Giorgio Roffo
3+阅读 · 2018年8月6日
Felix Laumann,Kumar Shridhar,Adrian Llopart Maurin
15+阅读 · 2018年6月27日
Jack Baker,Paul Fearnhead,Emily B Fox,Christopher Nemeth
3+阅读 · 2018年6月19日
KiJung Yoon,Renjie Liao,Yuwen Xiong,Lisa Zhang,Ethan Fetaya,Raquel Urtasun,Richard Zemel,Xaq Pitkow
3+阅读 · 2018年5月25日
Zhihui Guo,Ling Zhang,Le Lu,Mohammadhadi Bagheri,Ronald M. Summers,Milan Sonka,Jianhua Yao
12+阅读 · 2018年1月25日
Top