题目: Efficient and Scalable Bayesian Neural Nets with Rank-1 Factors

摘要:

贝叶斯神经网络(BNNs)在提高现代深度学习的鲁棒性和不确定性量化方面取得了成功。然而,它们通常在规模和参数效率上与欠拟合作斗争。另一方面,深度集成已成为不确定性量化的替代方案,虽然在某些问题上表现优于BNNs,但也存在效率问题。目前还不清楚如何结合这两种方法的优点并纠正它们的共同问题。为了解决这个问题,我们提出一个BNNs的秩-1参数化,其中每个权矩阵只涉及一个秩-1子空间上的分布。我们还重新使用混合近似后验来捕获多个模式,与典型的混合不同,这种方法允许的内存增加要小得多(例如,对于大小为10的ResNet-50混合,仅增加0.4%)。我们进行了一个系统的实证研究来改善训练。对于ImageNet上的ResNet-50、CIFAR-10/100上的ResNet 28-10和MIMIC-III上的RNN, rank-1 BNNs在测试集和out- distribution变体上的对数似然、准确性和校准方面实现了最先进的性能。

成为VIP会员查看完整内容
13

相关内容

机器学习的一个分支,它基于试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的一系列算法。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
【清华大学】图随机神经网络,Graph Random Neural Networks
专知会员服务
152+阅读 · 2020年5月26日
非平衡数据集 focal loss 多类分类
AI研习社
33+阅读 · 2019年4月23日
介绍高维超参数调整 - 优化ML模型的最佳实践
AI研习社
7+阅读 · 2019年4月17日
注意力能提高模型可解释性?实验表明:并没有
黑龙江大学自然语言处理实验室
11+阅读 · 2019年4月16日
Perseus(擎天):统一深度学习分布式通信框架
云栖社区
4+阅读 · 2019年3月10日
贝叶斯神经网络(系列)第一篇
AI研习社
14+阅读 · 2019年3月1日
已删除
将门创投
7+阅读 · 2018年11月5日
EKF常用于目标跟踪系统的扩展卡尔曼滤波器
无人机
9+阅读 · 2017年7月25日
MNIST入门:贝叶斯方法
Python程序员
20+阅读 · 2017年7月3日
Sparsifying Neural Network Connections for Face Recognition
统计学习与视觉计算组
7+阅读 · 2017年6月10日
EfficientDet: Scalable and Efficient Object Detection
Arxiv
6+阅读 · 2019年11月20日
Arxiv
8+阅读 · 2019年5月20日
Arxiv
6+阅读 · 2018年10月3日
Arxiv
19+阅读 · 2018年6月27日
Arxiv
5+阅读 · 2017年12月14日
VIP会员
相关VIP内容
【清华大学】图随机神经网络,Graph Random Neural Networks
专知会员服务
152+阅读 · 2020年5月26日
相关资讯
非平衡数据集 focal loss 多类分类
AI研习社
33+阅读 · 2019年4月23日
介绍高维超参数调整 - 优化ML模型的最佳实践
AI研习社
7+阅读 · 2019年4月17日
注意力能提高模型可解释性?实验表明:并没有
黑龙江大学自然语言处理实验室
11+阅读 · 2019年4月16日
Perseus(擎天):统一深度学习分布式通信框架
云栖社区
4+阅读 · 2019年3月10日
贝叶斯神经网络(系列)第一篇
AI研习社
14+阅读 · 2019年3月1日
已删除
将门创投
7+阅读 · 2018年11月5日
EKF常用于目标跟踪系统的扩展卡尔曼滤波器
无人机
9+阅读 · 2017年7月25日
MNIST入门:贝叶斯方法
Python程序员
20+阅读 · 2017年7月3日
Sparsifying Neural Network Connections for Face Recognition
统计学习与视觉计算组
7+阅读 · 2017年6月10日
微信扫码咨询专知VIP会员