Attention-based neural networks have achieved state-of-the-art results on a wide range of tasks. Most such models use deterministic attention while stochastic attention is less explored due to the optimization difficulties or complicated model design. This paper introduces Bayesian attention belief networks, which construct a decoder network by modeling unnormalized attention weights with a hierarchy of gamma distributions, and an encoder network by stacking Weibull distributions with a deterministic-upward-stochastic-downward structure to approximate the posterior. The resulting auto-encoding networks can be optimized in a differentiable way with a variational lower bound. It is simple to convert any models with deterministic attention, including pretrained ones, to the proposed Bayesian attention belief networks. On a variety of language understanding tasks, we show that our method outperforms deterministic attention and state-of-the-art stochastic attention in accuracy, uncertainty estimation, generalization across domains, and robustness to adversarial attacks. We further demonstrate the general applicability of our method on neural machine translation and visual question answering, showing great potential of incorporating our method into various attention-related tasks.


翻译:基于关注的神经网络在一系列广泛的任务中取得了最先进的结果。 多数这类模型使用确定性关注,而由于优化困难或复杂的模型设计,对随机关注的探索较少。 本文介绍贝叶斯注意信仰网络,通过模拟伽马分布等级的不正常化关注权重,构建一个解码网络,通过将确定性关注权重与伽马分布等级挂钩,并通过堆叠Weibul分布,将确定性向上和自上向下的结构堆放到接近后方。 由此形成的自动编码网络可以以不同的方式优化,而变化程度较低。 将任何具有确定性关注的模型,包括预先培训的模型,转换到拟议的巴伊斯注意力信仰网络是简单易事。 关于多种语言理解任务,我们表明,我们的方法超越了确定性关注和状态的诊断性关注力,在准确性、不确定性估计、跨领域的总体化和对对抗性攻击的稳健性方面。 我们进一步展示了我们的方法在神经相关机器和视觉问题分析中的一般适用性, 展示了我们与神经相关和视觉问题有关的各种方法。

9
下载
关闭预览

相关内容

Attention机制最早是在视觉图像领域提出来的,但是真正火起来应该算是google mind团队的这篇论文《Recurrent Models of Visual Attention》[14],他们在RNN模型上使用了attention机制来进行图像分类。随后,Bahdanau等人在论文《Neural Machine Translation by Jointly Learning to Align and Translate》 [1]中,使用类似attention的机制在机器翻译任务上将翻译和对齐同时进行,他们的工作算是是第一个提出attention机制应用到NLP领域中。接着类似的基于attention机制的RNN模型扩展开始应用到各种NLP任务中。最近,如何在CNN中使用attention机制也成为了大家的研究热点。下图表示了attention研究进展的大概趋势。
【Nature】贝叶斯统计与建模综述,26页pdf
专知会员服务
71+阅读 · 2021年1月21日
专知会员服务
44+阅读 · 2020年10月31日
【清华大学】图随机神经网络,Graph Random Neural Networks
专知会员服务
152+阅读 · 2020年5月26日
鲁棒机器学习相关文献集
专知
8+阅读 · 2019年8月18日
强化学习三篇论文 避免遗忘等
CreateAMind
19+阅读 · 2019年5月24日
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
先睹为快:神经网络顶会ICLR 2019论文热点分析
深度学习与NLP
43+阅读 · 2018年12月22日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
强化学习族谱
CreateAMind
26+阅读 · 2017年8月2日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Arxiv
0+阅读 · 2021年8月1日
Arxiv
9+阅读 · 2020年2月15日
Area Attention
Arxiv
5+阅读 · 2019年2月5日
Arxiv
19+阅读 · 2018年6月27日
Arxiv
8+阅读 · 2018年5月24日
Arxiv
11+阅读 · 2018年5月21日
Arxiv
9+阅读 · 2018年2月4日
VIP会员
相关资讯
鲁棒机器学习相关文献集
专知
8+阅读 · 2019年8月18日
强化学习三篇论文 避免遗忘等
CreateAMind
19+阅读 · 2019年5月24日
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
先睹为快:神经网络顶会ICLR 2019论文热点分析
深度学习与NLP
43+阅读 · 2018年12月22日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
强化学习族谱
CreateAMind
26+阅读 · 2017年8月2日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
相关论文
Arxiv
0+阅读 · 2021年8月1日
Arxiv
9+阅读 · 2020年2月15日
Area Attention
Arxiv
5+阅读 · 2019年2月5日
Arxiv
19+阅读 · 2018年6月27日
Arxiv
8+阅读 · 2018年5月24日
Arxiv
11+阅读 · 2018年5月21日
Arxiv
9+阅读 · 2018年2月4日
Top
微信扫码咨询专知VIP会员