【导读】终身学习是机器学习中的热门研究话题之一。如何实现持续学习?来自东京RIKEN研究中心的Emtiyaz Khan给了关于从深度神经网络到高斯过程的教程《DNN2GP: From Deep Networks to Gaussian Processes》,共有45页ppt,以及撰写了最新的论文,通过提出一种新的函数正则化方法来解决这个问题,该方法利用了一些过去的难忘样例,这些样例对于避免遗忘至关重要。通过使用深度网络的高斯过程公式,能够在权重空间中进行训练,同时识别难忘的过去样例和功能性样例。非常具有启发性,值得查看!

** 持续深度学习**

不断学习新技能对智能系统来说很重要,但大多数深度学习方法都存在严重的遗忘问题。最近的研究用权重调整来解决这个问题。函数正则化虽然在计算上很昂贵,但人们期望它能表现得更好,但在实践中却很少这样做。在本文中,我们通过提出一种新的函数正则化方法来解决这个问题,该方法利用了一些过去的难忘的例子,这些例子对于避免遗忘至关重要。通过使用深度网络的高斯过程公式,我们的方法能够在权重空间中进行训练,同时识别难忘的过去样例和功能性样例。我们的方法在标准基准上实现了最先进的性能,并为终身学习开辟了一个新的方向,使正则化和基于记忆的方法自然地结合在一起。

DNN2GP: 从深度神经网络到高斯过程

成为VIP会员查看完整内容
0
33

相关内容

高斯过程(GPs)为核机器的学习提供了一种有原则的、实用的、概率的方法。在过去的十年中,GPs在机器学习社区中得到了越来越多的关注,这本书提供了GPs在机器学习中理论和实践方面长期需要的系统和统一的处理。该书是全面和独立的,针对研究人员和学生在机器学习和应用统计学。

这本书处理监督学习问题的回归和分类,并包括详细的算法。提出了各种协方差(核)函数,并讨论了它们的性质。从贝叶斯和经典的角度讨论了模型选择。讨论了许多与其他著名技术的联系,包括支持向量机、神经网络、正则化网络、相关向量机等。讨论了包括学习曲线和PAC-Bayesian框架在内的理论问题,并讨论了几种用于大数据集学习的近似方法。这本书包含说明性的例子和练习,和代码和数据集在网上是可得到的。附录提供了数学背景和高斯马尔可夫过程的讨论。

成为VIP会员查看完整内容
0
59

我们考虑了一种用于求解非线性逆问题的新型深度神经网络。特别地,我们考虑一个波动方程的反问题,在这个方程中,人们想要从边界测量中确定一个未知的波速。特别地,我们考虑的模型中,波的传播是由线性声波方程在一个区间。所研究的神经网络的一个新特性是数据本身在网络中形成层次。这对应的事实是,逆问题的数据是一个线性算子,它将边界源映射到从未知介质反射回来的波的边界值。虽然波动方程的建模是线性的,但求方程系数的逆问题是非线性的。利用经典的逆问题理论,设计了一个神经网络结构来求解求未知波速的逆问题。这使得严格分析神经网络的特性成为可能。

对于逆问题,主要的理论问题涉及逆问题的唯一性、范围特征、稳定性和正则化策略。我们将讨论当一个解算法从训练数据中推广时的问题,也就是说,当用有限数量的样本训练的解算法可以用训练数据中不包含的新输入来解决问题时。这可以看作是一个经典的逆问题的一个新的问题,它的动机来自于机器学习。

研究结果是与Christopher A. Wong和Maarten de Hoop合作完成的。

成为VIP会员查看完整内容
0
14

题目: Bayesian Neural Networks With Maximum Mean Discrepancy Regularization

摘要: 贝叶斯神经网络(BNNs)训练来优化整个分布的权重,而不是一个单一的集合,在可解释性、多任务学习和校准等方面具有显著的优势。由于所得到的优化问题的难解性,大多数BNNs要么通过蒙特卡罗方法采样,要么通过在变分近似上最小化一个合适的样本下界(ELBO)来训练。在这篇论文中,我们提出了后者的一个变体,其中我们用最大平均偏差(MMD)估计器代替了ELBO项中的Kullback-Leibler散度,这是受到了最近的变分推理工作的启发。在根据MMD术语的性质提出我们的建议之后,我们接着展示了公式相对于最先进的公式的一些经验优势。特别地,我们的BNNs在多个基准上实现了更高的准确性,包括多个图像分类任务。此外,它们对权重上的先验选择更有鲁棒性,而且它们的校准效果更好。作为第二项贡献,我们提供了一个新的公式来估计给定预测的不确定性,表明与更经典的标准(如微分熵)相比,它在对抗攻击和输入噪声的情况下表现得更稳定。

成为VIP会员查看完整内容
0
28

​【导读】NeurIPS 2019刚落下帷幕,大会发布了7篇最佳论文,一系列论文和tutorial,涉及很多热点比如图机器学习、元学习、核方法、软硬一体化等。不得不看!NeurIPS 2019三个关键研究热点趋势:贝叶斯、GNN、凸优化。来自东京RIKEN研究中心的Emtiyaz Khan给了关于以贝叶斯原理进行深度学习的教程《Deep Learning with Bayesian Principles》,共有86页ppt,以及撰写了最新的论文,讲述贝叶斯和深度学习如何结合到一起进行学习新算法,提出了一种基于贝叶斯原理的学习规则,它使我们能够连接各种各样的学习算法。利用这一规则,可以在概率图形模型、连续优化、深度学习、强化学习、在线学习和黑盒优化等领域得到广泛的学习算法。非常具有启发性,值得查看!

深度学习和贝叶斯学习被认为是两个完全不同的领域,通常用于互补的设置情景。显然,将这两个领域的思想结合起来是有益的,但鉴于它们的根本区别,我们如何才能做到这一点呢?

本教程将介绍现代贝叶斯原理来填补这一空白。利用这些原理,我们可以推出一系列学习算法作为特例,例如,从经典算法,如线性回归和前向后向算法,到现代深度学习算法,如SGD、RMSprop和Adam。然后,这个视图提供了新的方法来改进深度学习的各个方面,例如,不确定性、健壮性和解释。它也使设计新的方法来解决挑战性的问题,如那些出现在主动学习,持续学习,强化学习等。

总的来说,我们的目标是让贝叶斯和深度学习比以往任何时候都更接近,并激励它们一起工作,通过结合他们的优势来解决具有挑战性的现实问题。

成为VIP会员查看完整内容
0
89
小贴士
相关论文
Filippo Maria Bianchi,Daniele Grattarola,Cesare Alippi
14+阅读 · 6月3日
Anomalous Instance Detection in Deep Learning: A Survey
Saikiran Bulusu,Bhavya Kailkhura,Bo Li,Pramod K. Varshney,Dawn Song
17+阅读 · 3月16日
Saurabh Verma,Zhi-Li Zhang
4+阅读 · 2019年9月25日
CHIP: Channel-wise Disentangled Interpretation of Deep Convolutional Neural Networks
Xinrui Cui,Dan Wang,Z. Jane Wang
5+阅读 · 2019年2月7日
A Survey of the Recent Architectures of Deep Convolutional Neural Networks
Asifullah Khan,Anabia Sohail,Umme Zahoora,Aqsa Saeed Qureshi
34+阅读 · 2019年1月17日
Tong Qin,Ling Zhou,Dongbin Xiu
3+阅读 · 2018年8月17日
Felix Laumann,Kumar Shridhar,Adrian Llopart Maurin
15+阅读 · 2018年6月27日
Guillaume Klein,Yoon Kim,Yuntian Deng,Vincent Nguyen,Jean Senellart,Alexander M. Rush
3+阅读 · 2018年5月28日
Brian Kenji Iwana,Seiichi Uchida
6+阅读 · 2018年1月25日
Roberto DiCecco,Griffin Lacey,Jasmina Vasiljevic,Paul Chow,Graham Taylor,Shawki Areibi
5+阅读 · 2016年9月30日
Top