【导读】来自东京RIKEN研究中心的Emtiyaz Khan在SPCOM2020上给了关于以贝叶斯原理进行深度学习的教程《Deep Learning with Bayesian Principles》,共有256页ppt,以及撰写了最新的论文,讲述贝叶斯和深度学习如何结合到一起进行学习新算法,提出了一种基于贝叶斯原理的学习规则,它使我们能够连接各种各样的学习算法。利用这一规则,可以在概率图形模型、连续优化、深度学习、强化学习、在线学习和黑盒优化等领域得到广泛的学习算法。非常具有启发性,值得查看!

教程地址: https://ece.iisc.ac.in/~spcom/2020/tutorials.html#Tut6

Deep Learning with Bayesian Principles

深度学习和贝叶斯学习被认为是两个完全不同的领域,通常用于互补的设置情景。显然,将这两个领域的思想结合起来是有益的,但鉴于它们的根本区别,我们如何才能做到这一点呢?

本教程将介绍现代贝叶斯原理来填补这一空白。利用这些原理,我们可以推出一系列学习算法作为特例,例如,从经典算法,如线性回归和前向后向算法,到现代深度学习算法,如SGD、RMSprop和Adam。然后,这个视图提供了新的方法来改进深度学习的各个方面,例如,不确定性、健壮性和解释。它也使设计新的方法来解决挑战性的问题,如那些出现在主动学习,持续学习,强化学习等。

总的来说,我们的目标是让贝叶斯和深度学习比以往任何时候都更接近,并激励它们一起工作,通过结合他们的优势来解决具有挑战性的现实问题。

成为VIP会员查看完整内容
0
81

相关内容

Andrew Gordon Wilson,纽约大学Courant数学科学研究所和数据科学中心助理教授,曾担任AAAI 2018、AISTATS 2018、UAI 2018、NeurIPS 2018、AISTATS 2019、ICML 2019、UAI 2019、NeurIPS 2019、AAAI 2020、ICLR 2020的区域主席/SPC以及ICML 2019、2020年EXO主席。 个人主页:https://cims.nyu.edu/~andrewgw/

贝叶斯深度学习与概率模型构建

贝叶斯方法的关键区别属性是间隔化,而不是使用单一的权重设置。贝叶斯间隔化尤其可以提高现代深度神经网络的准确性和标度,这些数据通常不充分指定,并可以代表许多引人注目但不同的解决方案。研究表明,深层的综合系统提供了一种有效的近似贝叶斯间隔化机制,并提出了一种相关的方法,在没有显著开销的情况下,通过在吸引 basins 内间隔化来进一步改进预测分布。我们还研究了神经网络权值的模糊分布所隐含的先验函数,从概率的角度解释了这些模型的泛化特性。从这个角度出发,我们解释了一些神秘而又不同于神经网络泛化的结果,比如用随机标签拟合图像的能力,并表明这些结果可以用高斯过程重新得到。我们还表明贝叶斯平均模型减轻了双下降,从而提高了灵活性,提高了单调性能。最后,我们提供了一个贝叶斯角度的调温校正预测分布。

视频地址:https://www.youtube.com/watch?v=E1qhGw8QxqY

成为VIP会员查看完整内容
0
69

【导读】纽约大学的Andrew Gordon Wilson和Pavel Izmailov在论文中从概率角度的泛化性对贝叶斯深度学习进行了探讨。贝叶斯方法的关键区别在于它是基于边缘化,而不是基于最优化的,这为它带来了许多优势。

贝叶斯方法的关键区别是边缘化,而不是使用单一的权重设置。贝叶斯边缘化可以特别提高现代深度神经网络的准确性和校准,这是典型的不由数据完全确定,可以代表许多令人信服的但不同的解决方案。我们证明了深度集成为近似贝叶斯边缘化提供了一种有效的机制,并提出了一种相关的方法,通过在没有显著开销的情况下,在吸引域边缘化来进一步改进预测分布。我们还研究了神经网络权值的模糊分布所隐含的先验函数,从概率的角度解释了这些模型的泛化性质。从这个角度出发,我们解释了那些对于神经网络泛化来说神秘而独特的结果,比如用随机标签来拟合图像的能力,并证明了这些结果可以用高斯过程来重现。最后,我们提供了校正预测分布的贝叶斯观点。

成为VIP会员查看完整内容
0
56

​【导读】NeurIPS 2019刚落下帷幕,大会发布了7篇最佳论文,一系列论文和tutorial,涉及很多热点比如图机器学习、元学习、核方法、软硬一体化等。不得不看!NeurIPS 2019三个关键研究热点趋势:贝叶斯、GNN、凸优化。来自东京RIKEN研究中心的Emtiyaz Khan给了关于以贝叶斯原理进行深度学习的教程《Deep Learning with Bayesian Principles》,共有86页ppt,以及撰写了最新的论文,讲述贝叶斯和深度学习如何结合到一起进行学习新算法,提出了一种基于贝叶斯原理的学习规则,它使我们能够连接各种各样的学习算法。利用这一规则,可以在概率图形模型、连续优化、深度学习、强化学习、在线学习和黑盒优化等领域得到广泛的学习算法。非常具有启发性,值得查看!

深度学习和贝叶斯学习被认为是两个完全不同的领域,通常用于互补的设置情景。显然,将这两个领域的思想结合起来是有益的,但鉴于它们的根本区别,我们如何才能做到这一点呢?

本教程将介绍现代贝叶斯原理来填补这一空白。利用这些原理,我们可以推出一系列学习算法作为特例,例如,从经典算法,如线性回归和前向后向算法,到现代深度学习算法,如SGD、RMSprop和Adam。然后,这个视图提供了新的方法来改进深度学习的各个方面,例如,不确定性、健壮性和解释。它也使设计新的方法来解决挑战性的问题,如那些出现在主动学习,持续学习,强化学习等。

总的来说,我们的目标是让贝叶斯和深度学习比以往任何时候都更接近,并激励它们一起工作,通过结合他们的优势来解决具有挑战性的现实问题。

成为VIP会员查看完整内容
0
100

【导读】今年 8 月份,毕业于斯坦福、现就职于英伟达人工智能应用团队的 Chip Huyen 撰写了一篇博客,讲述她对NeurlPS2019的观感,讲述了研究热点与发展趋势,感兴趣的三个方向是: 贝叶斯学习、图神经网络和凸优化,来看下。

地址: https://huyenchip.com/2019/12/18/key-trends-neurips-2019.html

  1. 深度学习与贝叶斯原理

正如Emtiyaz Khan在他的《深度学习与贝叶斯原则》演讲中所强调的那样,贝叶斯学习和深度学习是非常不同的。根据Khan的说法,深度学习使用“试错”的方法——让我们看看实验会把我们带向何方——而贝叶斯原则迫使你事先思考一个假设(先验)。

与常规的深度学习相比,贝叶斯深度学习主要有两个优点:不确定性估计和对小数据集的更好的泛化。在实际应用中,仅仅系统做出预测是不够的。知道每个预测的确定性是很重要的。例如,预测癌症有50.1%的确定性需要不同的治疗,同样的预测有99.9%的确定性。在贝叶斯学习中,不确定性估计是一个内置特性。

传统的神经网络给出单点估计——它们使用一组权值在数据点上输出预测。另一方面,Bayesian神经网络使用网络权值上的概率分布,并输出该分布中所有权值集的平均预测,其效果与许多神经网络上的平均预测相同。因此,贝叶斯神经网络是自然的集合体,它的作用类似于正则化,可以防止过度拟合。

拥有数百万参数的贝叶斯神经网络的训练在计算上仍然很昂贵。收敛到一个后验值可能需要数周时间,因此诸如变分推论之类的近似方法已经变得流行起来。概率方法-变分贝叶斯推理会议上发表了10篇关于这种变分贝叶斯方法的论文。

我喜欢读一些关于贝叶斯深度学习的NeurIPS论文:

  1. 图神经网络(GNNs)

多年来,我一直在谈论图论是机器学习中最被低估的话题之一。我很高兴看到图机器学习在今年的NeurIPS上非常流行。

对于许多类型的数据,例如社交网络、知识库和游戏状态,图形是美丽而自然的表示。用于推荐系统的用户项数据可以表示为一个二部图,其中一个不相交集由用户组成,另一个由物品组成。

图也可以表示神经网络的输出。正如 Yoshua Bengio在他的特邀演讲中提醒我们的那样,任何联合分布都可以表示为一个因子图。

这使得graph neural network对于组合优化(例如旅行推销员、日程安排)、身份匹配(这个Twitter用户和这个Facebook用户一样吗?)、推荐系统等任务来说是完美的。

最流行的图神经网络是图卷积神经网络(GCNN),这是预期的,因为它们都对本地信息进行编码。卷积倾向于寻找输入相邻部分之间的关系。图通过边编码与输入最相关的部分。

推荐阅读:

  1. 凸优化

我很欣赏Stephen Boyd关于凸优化的工作,所以很高兴看到它在NeurIPS上越来越受欢迎——有32篇论文与这个主题相关(1,2)。Stephen Boyd和J. Zico Kolter的实验室也发表了他们的论文《可微凸优化层》,展示了如何通过凸优化问题的解决方案进行区分,使其有可能嵌入可微程序(如神经网络)并从数据中学习它们。

凸优化问题是有吸引力的,因为它们可以准确地解决(1e-10的误差容忍度是可以实现的)和快速。它们也不会产生奇怪的/意料之外的输出,而这对于真实的应用程序是至关重要的。尽管在开放环境遇到的许多问题都是非凸的,但将它们分解成一系列凸问题是可行的。

利用凸优化算法训练神经网络。然而,虽然神经网络的重点是从头开始学习,但在端到端的方式中,凸优化问题的应用明确地强调建模系统,使用领域特定的知识。当可以以凸的方式显式地对系统建模时,通常需要的数据要少得多。可微凸优化层的工作是混合端到端学习和显式建模的优点的一种方法。

当你想控制一个系统的输出时,凸优化特别有用。例如,SpaceX使用凸优化来让火箭着陆,贝莱德(BlackRock)将其用于交易算法。在深度学习中使用凸优化真的很酷,就像现在的贝叶斯学习。

Akshay Agrawal推荐的关于凸优化的NeurIPS论文。

NeurlPS 2019 研究内容分析

  • 强化学习甚至在机器人学之外也越来越流行。有显著正性变化的关键词有bandit、feedback、regret、control。
  • 生成模型仍然很流行。GAN仍然吸引着我们的想象力,但远没有那么夸张。
  • 递归神经网络和卷积神经网络在去年确实如此。
  • 硬件关键字也在上升,信号更多的硬件感知算法。这是对硬件是机器学习瓶颈这一担忧的回答。
  • 我很难过数据在下降。
  • Meta learning预计,今年这一比例的增幅最高。
  • 尽管贝叶斯定理下降了,不确定性却上升了。去年,有很多论文使用了贝叶斯原理,但没有针对深度学习。

参考链接: https://huyenchip.com/2019/12/18/key-trends-neurips-2019.html

成为VIP会员查看完整内容
0
51

报告主题: Bayesian Deep Learning for Medical

报告摘要: 在过去的几年中,深度学习取得了飞速的发展,从而在许多医学图像分析任务中取得了显着的性能改善,包括解剖标志的检测,病理结果的分类,多个器官的语义分割以及医学报告的自动生成。虽然深度学习的大部分工作都集中在提高最终性能上,但是了解深度网络何时无法正常运行对于许多医疗和保健系统(尤其是那些具有较高安全标准的系统)至关重要。不幸的是,大多数现代深度学习算法无法可靠地估计深度网络的不确定性。如果没有用于模型高度不确定的故障安全模式,则系统可能会具有灾难性的行为,例如缺少明显的异常或包含种族歧视。

最近,人们对将贝叶斯方法与深度神经网络相结合以估计模型预测的置信度越来越感兴趣。尽管传统方法将深度网络视为确定性功能,但该功能只能为输入生成单个输出。相反,贝叶斯深度学习通过考虑训练数据和建模参数固有的随机性来计算每个输入的输出分布。这种分布可以估算输出的置信度。已经证明,基于随机正则化技术(例如丢包或可伸缩的蒙特卡洛干扰)的新方法可以捕获有意义的不确定性,同时可以很好地缩放至高维数据。根据深度学习对贝叶斯技术的重新研究已经产生了许多有希望的结果。

尽管它很重要,但在MICCAI社区中,对该主题的研究仍很少。本教程的目的是通过从理论,实践和未来方向方面全面介绍贝叶斯深度学习方法来弥合差距。该教程将邀请贝叶斯深度学习领域的领先研究人员介绍其最新技术,并深入说明该技术如何应用于选定的一组主题图像检测,分割和放射治疗。最近在2018年神经信息处理系统会议上举行的贝叶斯深度学习研讨会吸引了大量论文和受众。我们的教程有望对MICCAI产生相似的兴趣。

报告流程:

  • 贝叶斯建模与变分推理简介
  • 贝叶斯深度学习
  • 贝叶斯深度网络的不确定性:DropConnect建模有效性
  • 贝叶斯深度学习demo

邀请嘉宾:

Dan Nguyen,德克萨斯大学西南医学中心助理教授。

Pengyu“ Ben” Yuan,休斯顿大学算法(HULA)实验室的博士。他的研究兴趣是元学习和强化学习及其在医学图像分析中的应用。

成为VIP会员查看完整内容
Session1-MICCAI19.pdf
MICCAI_Bayesian_Deep_Learning_Tutorial.pdf
Session3-MC-DropConnect.pdf
0
19
小贴士
相关论文
Filippo Maria Bianchi,Daniele Grattarola,Cesare Alippi
21+阅读 · 2020年6月3日
Hongteng Xu,Dixin Luo,Lawrence Carin
4+阅读 · 2019年10月9日
Hardness-Aware Deep Metric Learning
Wenzhao Zheng,Zhaodong Chen,Jiwen Lu,Jie Zhou
5+阅读 · 2019年3月13日
Parsimonious Bayesian deep networks
Mingyuan Zhou
3+阅读 · 2018年10月17日
Towards Scalable Spectral Clustering via Spectrum-Preserving Sparsification
Yongyu Wang,Zhuo Feng
4+阅读 · 2018年10月11日
A Dual Approach to Scalable Verification of Deep Networks
Krishnamurthy, Dvijotham,Robert Stanforth,Sven Gowal,Timothy Mann,Pushmeet Kohli
3+阅读 · 2018年8月3日
Brendan O'Donoghue
3+阅读 · 2018年7月25日
Wenbin Li,Jing Huo,Yinghuan Shi,Yang Gao,Lei Wang,Jiebo Luo
7+阅读 · 2018年5月15日
Sham Kakade,Mengdi Wang,Lin F. Yang
3+阅读 · 2018年4月25日
Wenhu Chen,Wenhan Xiong,Xifeng Yan,William Wang
14+阅读 · 2018年4月5日
Top